# lawbench / lawbench-2-6-24-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:5、2018年7月1日24时左右，被告人柴某某来到万年县**镇**村，将被害人胡某某停放在家中院子里车库内的1辆比德文牌二轮电动车（经鉴定价值人民币2240元）盗走。"}
{"id": "1", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:综上，2017年12月份至2018年7月2日期间，被告人柴某某共计盗窃7次（其中入户盗窃3次），盗窃数额共计价值人民币9965元。"}
{"id": "2", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:被盗的1辆台铃牌二轮电动车、1辆欧派牌二轮电动车经万年县公安局扣押后分别发还了被害人曹某某、徐某某。"}
{"id": "3", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2018年6月25日至7月16日，被告人白某某单独或伙同他人先后4次盗窃电动车4部，经鉴定总价值人民币10210元：1.2018年6月25日中午12时许，被告人白某某到福清市龙江街道苍下村国际贸易批发项目部工地附近，盗走被害人徐某某黑色追翔电动车1部。"}
{"id": "4", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经鉴定该车价值人民币2470元。"}
{"id": "5", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2.2018年6月29日中午13时许，被告人白某某伙同另一同案人（身份尚未查明，现在逃）到福清市**街道**村**号门口，盗走被害人周某某蓝色心艺牌电动车1部。"}
{"id": "6", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经鉴定该车价值人民币2560元。"}
{"id": "7", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:3.2018年7月6日晚23时许，被告人白某某伙同一个彝族朋友（身份尚未查明，现在逃）到福清市**街道**村**号出租房停车场，盗走被害人吕某某黑色心艺牌电动车1部。"}
{"id": "8", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经鉴定该车价值人民币2940元。"}
{"id": "9", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:4.2018年7月16日晚，被告人白某某伙同一个彝族朋友（身份尚未查明，现在逃）到**街道**村**超市对面**家属楼下，盗走被害人王某某黑色爱玛牌电动车1部。"}
{"id": "10", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经鉴定该车价值人民币2240元。"}
{"id": "11", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:被告人白某某将盗得的电动车4辆均卖给过路人，总计卖得人民币1300元，其中600元分给同案人，自己得款700元。"}
{"id": "12", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2018年7月21日，被告人白某某在福清市宏路街道洋洋百货附近被。"}
{"id": "13", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2015年6月至7月间，被告人宋某某采取翻墙、翻窗入户等方式，在庐江县境内先后多次实施盗窃。"}
{"id": "14", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:分述如下：1、2015年6月15日，被告人宋某某撬开一楼窗户防盗网后进入罗河镇鲍店村瓦窑村民组黄某某户室内，窃得几十元零钱及房内电线。"}
{"id": "15", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:3、2015年6月30日，被告人宋某某盗窃泥河镇八里村杜榜村民组胡某某户电线及几十元零钱。"}
{"id": "16", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:4、2015年6月30日，被告人宋某某盗窃泥河镇八里村杜榜村民组王某甲户室内电线。"}
{"id": "17", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:5、2015年7月8日，被告人宋某某盗窃泥河镇沙溪社区曹老村民组曹某某户电线及水龙头。"}
{"id": "18", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:6、2015年7月份的一天，被告人宋某某盗窃泥河镇八里村钱冲村民组钱某某户室内电线及门把手。"}
{"id": "19", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:7、2015年7月份的一天，被告人宋某某盗窃泥河镇八里村童冲村民组查某某户(飞华农家乐)室内电线。"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp