# lawbench / lawbench-2-6-3-zero-shot - taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md) - difficulty: medium - category: legal NLP benchmark - language: - runnable from the site: no - agent timeout: 3600s ## Results by harness _none yet_ ## Instruction ``` You have 20 cases to process. You must answer ALL of them. Create the file `/app/answer.jsonl` and write your output there. OUTPUT FORMAT (STRICT, JSON Lines / ndjson): 1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines. 2. Each line must be a valid JSON object with EXACTLY two keys: - "id": string - "answer": string No extra keys are allowed. 3. The "id" must match the input id exactly. 4. Output must be JSON lines only: - No markdown fences (no ```). - No headings, numbering, commentary, or extra text. - No blank lines. 5. Output language: Chinese. 6. For each case, output ONLY the final answer text required by the question. Do not add explanations. 7. Answers must be single-line strings. Do not include line breaks. If the answer would normally include line breaks, replace them with a single space. 8. Do not skip any case. If you cannot answer a case, output: {"id":"<id>","answer":""} Example Output (format only; do not copy the placeholder text): {"id":"0","answer":"<这里填写对应题目的中文答案>"} {"id":"1","answer":"<这里填写对应题目的中文答案>"} INPUT CASES: {"id": "0", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经鉴定，涉案被盗的索尼数码相机价值462元人民币，其余被盗物品未达到价格认定要求，按规定不予认定。"} {"id": "1", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经检验，送检的案发现场红色纸盒上提取的检材手印与被告人田某某的左手环指指印样本为同一人所留。"} {"id": "2", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2017年9月23日20时许，被告人田某某去到广州市花都区**镇**村**出租屋**房、**房，以撬开防盗网翻窗的方式进入上述两间出租房内，分别窃得被害人杨某某的联想牌手提电脑1台、被害人胡某某的现金人民币210元。"} {"id": "3", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:得手后，逃离案发现场，随后销赃。"} {"id": "4", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经鉴定，涉案被盗联想牌手提电脑未达到价格认定要求，按规定不予认定。"} {"id": "5", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2018年5月30日，公安人员在广州市花都区**镇**村**市场**街**出租屋**房被告人田某某。"} {"id": "6", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2017年10月27日2时许，被告人谢某某窜至长沙市岳麓区**街道**大学**小区**栋，采取爬窗入室的手段进入A230寝室内盗得被害人章某某“苹果”6S型手机一台（经鉴定价值人民币2328元）、被害人李某某“小米”牌3型手机一台（经鉴定价值人民币280元）、被害人夏某某“红米”牌PRO4G型手机（经鉴定价值人民币960元）。"} {"id": "7", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:得手后谢某某将三台被盗手机以800元销赃，赃款已被挥霍。"} {"id": "8", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2017年10月31日2时许，被告人谢某某窜至长沙市芙蓉区**宿舍楼**栋**室，趁被害人柳某某熟睡之机，将其放在床上的一台“OPPO”牌R11型手机盗走（经鉴定价值人民币2375元）。"} {"id": "9", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:随后谢某某又窜至长沙市芙蓉区**大学**小区**栋**室，采取同样手段盗得被害人吴某甲“OPPO”R9S型手机一台（经鉴定价值人民币2550元）、被害人吴某乙“魅族”5S型手机一台（经鉴定价值人民币855元）、被害人朱某某“OPPO”A33型手机一台（经鉴定价值人民币579元），得手后迅速逃离现场后被群众发现并。"} {"id": "10", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:公安机关扣押了谢某某身上的四台被盗手机被发还给被害人。"} {"id": "11", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:1.2018年2月7日11时许，被告人杨某甲在黑河市爱辉区**冻货店门前看到许多冻货，便产生盗窃之念，将一袋虾仁盗走，并逃离作案现场。"} {"id": "12", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经黑河市爱辉区价格认证中心价格鉴定：被盗虾仁价值人民币100.00元。"} {"id": "13", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:2.2018年2月8日11时许，被告人杨某甲在黑河市爱辉区**冻货店门前看到许多冻货，便产生盗窃之念，将两袋虾仁盗走，并逃离作案现场。"} {"id": "14", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经黑河市爱辉区价格认证中心价格鉴定：被盗虾仁价值人民币200.00元。"} {"id": "15", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:3.2018年2月9日11时许，被告人杨某甲在黑河市爱辉区**冻货店门前看到许多冻货，便产生盗窃之念，分三次将三袋虾仁盗走，并逃离作案现场。"} {"id": "16", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经黑河市爱辉区价格认证中心价格鉴定：被盗虾仁价值人民币300.00元。"} {"id": "17", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:4.2018年2月11日11时许，被告人杨某甲在黑河市爱辉区**冻货店门前看到许多冻货，便产生盗窃之念，将两袋虾仁盗走，在杨某甲准备逃离现场时，被魏某甲发现报警，当场被公安机关。"} {"id": "18", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:经黑河市爱辉区价格认证中心价格鉴定：被盗虾仁价值人民币200.00元。"} {"id": "19", "q": "依据给出的实体类型提取句子的实体信息，实体类型包括:犯罪嫌疑人、受害人、被盗货币、物品价值、盗窃获利、被盗物品、作案工具、时间、地点、组织机构。逐个列出实体信息。\n句子:综上，2018年2月，被告人杨某甲在黑河市内共实施盗窃作案4起，所盗财物合计人民币800.00元。"} ``` --- Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp