# lawbench / lawbench-2-6-17-zero-shot - taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md) - difficulty: medium - category: legal NLP benchmark - language: - runnable from the site: no - agent timeout: 3600s ## Results by harness _none yet_ ## Instruction ``` You have 20 cases to process. You must answer ALL of them. Create the file `/app/answer.jsonl` and write your output there. OUTPUT FORMAT (STRICT, JSON Lines / ndjson): 1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines. 2. Each line must be a valid JSON object with EXACTLY two keys: - "id": string - "answer": string No extra keys are allowed. 3. The "id" must match the input id exactly. 4. Output must be JSON lines only: - No markdown fences (no ```). - No headings, numbering, commentary, or extra text. - No blank lines. 5. Output language: Chinese. 6. For each case, output ONLY the final answer text required by the question. Do not add explanations. 7. Answers must be single-line strings. Do not include line breaks. If the answer would normally include line breaks, replace them with a single space. 8. Do not skip any case. If you cannot answer a case, output: {"id":"<id>","answer":""} Example Output (format only; do not copy the placeholder text): {"id":"0","answer":"<这里填写对应题目的中文答案>"} {"id":"1","answer":"<这里填写对应题目的中文答案>"} INPUT CASES: {"id": "0", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经鉴定，上述8捆钢筋共计价值87173元。"} {"id": "1", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2017年8月19日，被害单位向公安机关报案后，公安机关在华生城市广场三期生活区将被告人李某某。"} {"id": "2", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:案发后，被告人李某某、胡某某家属及收购钢材的兰某某退出赃款人民币3.7万元，已发还被害单位。"} {"id": "3", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:1.2018年3月下旬的一天晚上，被告人陈某某在南宁市西乡塘区鲁班路振宁现代鲁班小区住宅楼下的电动车停放处，徒手将被害人甘某某公司安装在该处的一个电动自行车自助投币充电箱拉开，将箱内30余枚一元面额硬币盗走。"} {"id": "4", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:次日早上，被告人陈某某再次来到该处，采用同样的方法将约八、九个电动自行车自助投币充电箱内的340余枚一元面额硬币全部盗走。"} {"id": "5", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2.2018年3月下旬的一天下午，被告人陈某某来到南宁市西乡塘区相思湖东路**号**小区负一层停车场电动车停放处，用事先准备好的同款挂锁钥匙将被害人甘某某公司安装在该处的3个电动自行车自助投币充电箱的挂锁打开，后将箱内共计620余枚的一元面额硬币盗走。"} {"id": "6", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:3.2018年3月28日9时许，经事先商议，被告人陈某某与被告人韦某某来到南宁市西乡塘区龙腾路**号**小区住宅楼下的电动车停放处，由被告人陈某某使用事先准备的螺丝批将被害人甘某某公司安装在该处的7、8个电动自行车自助投币充电箱的挂锁撬开、由被告人韦某某将充电箱内共计2100余枚的一元面额硬币取出盗走。"} {"id": "7", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:4.2018年3月29日15时许，经事先商议，被告人陈某某和被告人韦某某来到南宁市西乡塘区新阳路**小区住宅楼下的电动车停放处，由被告人陈某某使用事先准备的螺丝批将被害人甘某某公司安装在该处的7、8个电动自行车自助投币充电箱的挂锁撬开、由被告人韦某某将充电箱内共计1300余枚的一元面额硬币取出盗走。"} {"id": "8", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:1、2017年6月份的一天下午，被告人蔡某某到南安市**镇**宿舍**楼**室内，盗走被害人康某某的现金人民币500元。"} {"id": "9", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2、2017年7、8月份的一天晚上23时许，被告人蔡某某到南安市**镇**宿舍**楼**室内，盗走被害人孙某某的现金人民币7000元。"} {"id": "10", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:次日，被害人孙某某发现现金系蔡某某所盗，后被告人蔡某某及其父亲将人民币7000元归还给被害人孙某某。"} {"id": "11", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:3、2017年7、8月份的一天晚上，被告人蔡某某到南安市**镇**宿舍**楼**室内，盗走被害人孙某某的现金人民币500元。"} {"id": "12", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:4、2017年7、8月份的一天晚上23时许，被告人蔡某某到南安市**镇**宿舍**楼**室内，在欲实施盗窃时被被害人孙某某当场发现，后被告人蔡某某用手推了一下被害人孙某某后逃跑。"} {"id": "13", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:5、2018年5月3日下午14时许，被告人蔡某某伙同一姓“李”的男子（另案处理）到南安市**镇**宿舍**楼，由被告人蔡某某负责望风，该姓“李”男子通过攀爬窗户进入员工宿舍716室内，盗走被害人苏某某的现金人民币900元。"} {"id": "14", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:6、2018年5月7日下午14时许，被告人蔡某某伙同一姓“李”的男子到被害人张某某位于南安市**镇**宿舍**楼**室的宿舍内实施盗窃，后因该宿舍未存放财物而未能得逞。"} {"id": "15", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:7、2018年5月9日上午9时许，被告人蔡某某到南安市**镇**宿舍**楼**室内，盗得被害人林某某的现金22.5元，后在从该宿舍的窗户翻出来时被曾某某抓住并报警至南安市公安局。"} {"id": "16", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:后南安市公安局民警出警至现场后抓获被告人蔡某某，并当场扣押到其盗得的人民币22.5元。"} {"id": "17", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:现该人民币22.5元已发还给被害人林某某。"} {"id": "18", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:被告人吴某甲系朝阳**房地产开发有限公司法定代表人，取得建平县大市场的开发权，被告人焦某某系**公司**。"} {"id": "19", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:被告人李某甲系朝阳**建筑工程有限公司法定代表人，负责开发地的拆除工作。"} ``` --- Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp