# lawbench / lawbench-2-6-0-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:破案后，公安机关将查获手机依法返还给了被害人严某某、肖某某。"}
{"id": "1", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:1、2017年6月底的一天13时许，被告人黄某某在嵊州市剡溪小学斜对面的花木田，扳开坐垫后，窃得戚某某电动自行车上的电瓶4只，计价值人民币352元。"}
{"id": "2", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:案发后，被告人家属退赔戚某某损失，获谅解。"}
{"id": "3", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2、2017年7月初的一天19时许，被告人黄某某在嵊州市鹿山街道李西村李家路口花木田，用车主遗留钥匙打开一辆红色电动自行车的坐垫，窃得绿派电瓶5只，计价值人民币600元。"}
{"id": "4", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:案发后，绿派电瓶5只被嵊州市公安机关追回。"}
{"id": "5", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:3、2017年8月10日左右的一天13时许，被告人黄某某在浙江**领带服饰有限公司宿舍一楼，从郭某某停放的电动自行车储物箱内，窃得“lovme”牌手机一只，计价值人民币285元。"}
{"id": "6", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:案发后，被告人家属退赔郭某某损失，获谅解。"}
{"id": "7", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:4、2017年8月13日左右的一天，被告人黄某某在上述公司宿舍二楼北侧第二间宿舍外过道处，伸手通过窗户窃得张某甲黑色联想G470笔记本电脑一台，计价值人民币1110元。"}
{"id": "8", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:案发后，黑色联想G470笔记本电脑被嵊州市公安局追回，并发还给被害人。"}
{"id": "9", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:5、2017年8月17日20时许，被告人黄某某在上述公司宿舍一楼过道处，窃得张某甲保时马电动自行车一辆，计价值人民币1680元。"}
{"id": "10", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:案发后，保时马电动自行车被嵊州市公安局追回，并发还给被害人。"}
{"id": "11", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:综上，被告人黄某某盗窃作案5起，窃得财物共计价值人民币4027元。"}
{"id": "12", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2017年8月18日，被告人黄某某因形迹可疑被盘问，主动交代自己的犯罪事实。"}
{"id": "13", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2018年6月8日5时许，被告人张某某来到靖州县**路许某某、董某某经营的“缺一色”服装店，用扳手和自制钥匙打开服装店卷闸门，进入店内拿了收银台装钱的盒子，正在值守的许某某听到响声后喊了一声，被告人张某某惊慌逃走时将盒子掉在店里，遂拿走盒子内人民币2000元离开。"}
{"id": "14", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2018年6月17日4时许，被告人张某某来到通道县县溪镇正街吴某某经营的“沃WO4G＋”手机专卖店，用扳手和自制钥匙打开手机专卖店卷闸门，将1台价值人民币1490元华为荣耀9青春版尊享全网通手机和1台价值人民币650元华为荣耀畅玩6A全网通公开高配版手机拿走。"}
{"id": "15", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:“缺一色”服装店被盗当天许某某报案，接报案的靖州县公安民警经研判认为被告人张某某有重大嫌疑。"}
{"id": "16", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2018年7月3日，公安民警在靖州县“步步高”超市巡逻时发现张某某并将其传唤至派出所。"}
{"id": "17", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:到案后被告人张某某如实供述了自己盗窃的犯罪事实。"}
{"id": "18", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2018年7月3日，公安民警从被告人张某某所住的“常友”公寓418房间内搜查出作案工具扳手、自制钥匙、2台华为手机等物品。"}
{"id": "19", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:后公安民警将2台华为手机发还被害人吴某某。"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp