# lawbench / lawbench-3-2-15-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一名交通警察正在路口执勤，发现有一辆私家车不按规定车道行驶。根据哪个法律法规，交通警察可以对不按规定车道行驶的车辆进行执法？"}
{"id": "1", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一名交通警察正在路段上执行警卫任务，准备指挥车辆缓行通过。根据哪个法律法规，交通警察在路段执行警卫任务时应站在哪里，要做什么？"}
{"id": "2", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一名交通警察在道路执勤执法，正在对一辆执勤警车进行检查。根据哪个法规，交通警察执勤警车应该具备怎样的条件？"}
{"id": "3", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一名交通警察在执勤中出现了偏差或失误。根据哪条法规，公安机关交通管理部门应该如何处理这种情况？"}
{"id": "4", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:小明在驾驶自己的汽车时遇到了一个红灯，但他想要快速通过，于是就选择了闯红灯。根据法律规定，小明将会被处罚吗？"}
{"id": "5", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:小明因违反交通规则被扣了一分，希望申请接受交通安全教育扣减记分。根据法律规定，小明的申请是否能够受理？"}
{"id": "6", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一家特种设备生产单位收到了市场监督管理部门的常规监督检查通知。根据哪条法规进行常规监督检查？被检查单位范围是怎样的？"}
{"id": "7", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一家特种设备生产单位私自生产了国家明令淘汰的特种设备并进行销售。根据哪条法律行为构成了重大违法行为？"}
{"id": "8", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:某特种设备生产企业被市场监督管理部门进行了证后监督检查。根据哪一法律法规，市场监督管理部门对特种设备生产企业进行证后监督检查？"}
{"id": "9", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:某个企业在上一年度生产的特种设备发生了事故并对事故负有责任。根据哪个法律条文，这个企业应该被列入特种设备安全监督检查的重点单位名录？"}
{"id": "10", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:某公司申请补发医疗器械注册证，但收到原发证机关的回复却超过了规定时间。根据哪个法规，原发证机关应当在多长时间内给予补发医疗器械注册证？"}
{"id": "11", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:某家医疗器械公司提交了一份注册申请，但在初步审核时，市场监督管理总局发现申请资料存在虚假情况。根据哪一条法规，市场监督管理总局可以中止审评审批？"}
{"id": "12", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:某医疗器械生产企业正在开展新型口罩的研制工作。根据相关法规，医疗器械研制需要进行哪些非临床研究？"}
{"id": "13", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一家医疗器械公司正在进行产品注册，现场接到药品监督管理部门的核查要求。根据相关法律法规，药品监督管理部门可以通过何种方式进行质量管理体系核查？"}
{"id": "14", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一家医疗器械公司申请进行临床试验，但在资料中虚假陈述了实验的内容。根据相关法律法规，对于申请临床试验时出现虚假资料的情况，以及被发现后的处理方式是什么？"}
{"id": "15", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:某医疗器械公司申请注册新型医疗器械时，想要使用之前已登记的医疗器械主文档。根据哪条法律条款，申请人可以引用已登记的医疗器械主文档呢？"}
{"id": "16", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一家医疗器械企业开发了一个全新的医疗产品，想要申请适用创新产品注册程序。根据哪一条法律规定，一款医疗器械可以适用创新产品注册程序？"}
{"id": "17", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一家公司生产的医疗器械进行了修改并需要更新注册文件。根据什么规定，更新的医疗器械注册文件和原注册证有效期一致吗？"}
{"id": "18", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:某家医疗器械公司正在进行临床试验，药品监督管理部门有意对其现场进行检查。根据哪一条法律规定，药品监督管理部门可以对临床试验现场进行检查？"}
{"id": "19", "q": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:一家医疗器械生产企业希望上市其新开发的透明口罩，需要进行注册备案的相关手续。根据相关法规，医疗器械注册和备案应该由哪个机构负责，并具体负责什么内容？"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp