# lawbench / lawbench-2-6-20-zero-shot - taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md) - difficulty: medium - category: legal NLP benchmark - language: - runnable from the site: no - agent timeout: 3600s ## Results by harness _none yet_ ## Instruction ``` You have 20 cases to process. You must answer ALL of them. Create the file `/app/answer.jsonl` and write your output there. OUTPUT FORMAT (STRICT, JSON Lines / ndjson): 1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines. 2. Each line must be a valid JSON object with EXACTLY two keys: - "id": string - "answer": string No extra keys are allowed. 3. The "id" must match the input id exactly. 4. Output must be JSON lines only: - No markdown fences (no ```). - No headings, numbering, commentary, or extra text. - No blank lines. 5. Output language: Chinese. 6. For each case, output ONLY the final answer text required by the question. Do not add explanations. 7. Answers must be single-line strings. Do not include line breaks. If the answer would normally include line breaks, replace them with a single space. 8. Do not skip any case. If you cannot answer a case, output: {"id":"<id>","answer":""} Example Output (format only; do not copy the placeholder text): {"id":"0","answer":"<这里填写对应题目的中文答案>"} {"id":"1","answer":"<这里填写对应题目的中文答案>"} INPUT CASES: {"id": "0", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:某某某将此事告诉刘某甲，刘某甲遂答应条件。"} {"id": "1", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:某某某、万某甲共同将事先谈好的5000元现金交给张某某帮忙办理保外就医，后刘某甲多次催问某某某事情的办理情况，某某某约两人在西安见面，互留联系方式双方自己联系事情的办理情况。"} {"id": "2", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:此后张某某分四次以办理保外就医需要钱为由向刘某甲索要现金共计50000元（1、2013年11月3日刘某甲向张某某指定的邮政储蓄卡号62109879100********打款20000元；"} {"id": "3", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2、2015年4月18日刘某甲向张某某指定的农业银行卡号62284802112********打款10000元；"} {"id": "4", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:3、2015年4月28日刘某甲向张某某指定的邮政储蓄卡号62109879100********打款10000元；"} {"id": "5", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:4、2015年4月28日刘某甲向张某某指定的邮政储蓄卡号62109879100********打款10000元）。"} {"id": "6", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2016年底张某某失去联系。"} {"id": "7", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2018年6月8日16时许，被告人刘某某受雇在乌拉特前旗**村**社种葵花，当时他骑着摩托车经过一块葵花地，看到地里停着一辆四轮车，四轮车后还挂着一台点播机。"} {"id": "8", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:到了晚上回到家后，其与邻居三人共同喝了2斤白酒后睡觉。"} {"id": "9", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:睡到次日凌晨时醒来，其突然想起下午看到的那台点播机，就想把这台点播机盗回来。"} {"id": "10", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:于是被告人刘某某开上自己的四轮车就去了乌拉特前旗**村**社放置点播机的地里，将点播机从原来挂载的四轮车上卸下来，安装在自己的四轮车上，连同点播机中放置的化肥、葵花种子、地膜一起拉上逃离现场。"} {"id": "11", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:被告人刘某某担心这台点播机拉回自己家后和村里邻居说不清楚来历，就将点播机拉到位于乌拉特前旗西**镇**社其大兄哥王某甲的地边上，卸下来后，其打电话通知了王某甲的妻子吕某甲，但未说明点播机的来历，吕某甲又告诉其丈夫王某甲，王某甲在不知情的情况下开着四轮车将这台点播机拉回自己家。"} {"id": "12", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:当日被害人王某乙向公安机关报案，公安机关当日将被告人刘某某在其家中。"} {"id": "13", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:所盗赃物已发还失主。"} {"id": "14", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:案发后，经乌拉特前旗价格认证中心认定，被盗点播机、化肥、葵花种子、地膜价值共计3867元。"} {"id": "15", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:被告人刘某某已取得被害人王某乙的谅解。"} {"id": "16", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2017年12月至2018年1月，被告人李某玲驾驶车先后行至小金县沃日镇、八角乡、两河口镇电信基站实施盗窃，共盗得“OLT用户板-10GEPON接口板-PRX30光模板-8口”（以下简称：“10GEPON”用户板）11张（其中“ETGO”型号8张、“ETTO”型号3张）、“OLTC300”设备机框含配套1台，后通过网络销赃“10GEPON”用户板9张，将获得赃款共计32400元予以挥霍。"} {"id": "17", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:具体犯罪事实如下：1、2017年12月11日，被告人李某玲驾车行至小金县沃日镇电信基站，进入基站内盗窃“10GEPON”用户板ETGO型号2张；"} {"id": "18", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2、2018年1月2日，被告人李某玲驾车行至小金县八角乡电信基站，进入基站内盗窃“10GEPON”用户板ETGO型号1张、ETTO型号1张；"} {"id": "19", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:3、2018年1月6日，被告人李某玲驾车行至小金县八角乡电信基站，进入基站内盗窃“10GEPON”用户板ETGO型号1张、ETTO型号1张；"} ``` --- Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp