# lawbench / lawbench-2-4-18-zero-shot - taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md) - difficulty: medium - category: legal NLP benchmark - language: - runnable from the site: no - agent timeout: 3600s ## Results by harness _none yet_ ## Instruction ``` You have 20 cases to process. You must answer ALL of them. Create the file `/app/answer.jsonl` and write your output there. OUTPUT FORMAT (STRICT, JSON Lines / ndjson): 1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines. 2. Each line must be a valid JSON object with EXACTLY two keys: - "id": string - "answer": string No extra keys are allowed. 3. The "id" must match the input id exactly. 4. Output must be JSON lines only: - No markdown fences (no ```). - No headings, numbering, commentary, or extra text. - No blank lines. 5. Output language: Chinese. 6. For each case, output ONLY the final answer text required by the question. Do not add explanations. 7. Answers must be single-line strings. Do not include line breaks. If the answer would normally include line breaks, replace them with a single space. 8. Do not skip any case. If you cannot answer a case, output: {"id":"","answer":""} Example Output (format only; do not copy the placeholder text): {"id":"0","answer":"<这里填写对应题目的中文答案>"} {"id":"1","answer":"<这里填写对应题目的中文答案>"} INPUT CASES: {"id": "0", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n我今天骑摩托车回家，碰上派出所车辆，他见我没戴安全帽，就直接扣了我的车他们这种做法合理吗？"} {"id": "1", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n你好！车位交接书能作为车位拥有的法律依据吗？"} {"id": "2", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n您好，通过中介购买在建中的还迁房怎样得到利益保障"} {"id": "3", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n查想一个人在贵州当地的案底 可以委托律师查询吗"} {"id": "4", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n有关报到证的问题，没有在规定的两年期限内领取报到证，会造成什么结果，因为在此期间在读研究生"} {"id": "5", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n三四个人晚上用枪打鸟，鸟掉到河里人去捡，人死到河里了，那二三个人有什么法律责任没"} {"id": "6", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n由于年龄放小，我想改年龄。但是我是在家生的，所以没有出生证明。没有出生证明可以改年龄吗？"} {"id": "7", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n找擅长债务追回的律师"} {"id": "8", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n买了XX泵车，湖南XX的，用了几个月臂架断了，怎么维权？能退吗？"} {"id": "9", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n我是想问一下比如对方没财产我们要怎样处理"} {"id": "10", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n你好咨询一下高栏板货车取下高栏板会受到怎样的处罚谢谢??"} {"id": "11", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n东西安装好后 客户要扣货款 作为后期维修费 合法吗"} {"id": "12", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n你好，我是军人家属想咨询一下开发拆千军人有补尝吗？"} {"id": "13", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n找擅长子女监护权家庭婚姻破裂"} {"id": "14", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n最新刑诉法全文下载，2018年10月26日执行的"} {"id": "15", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n这么严重可以退房吗？可以要求赔偿吗？怎么赔偿呢？如果可以退房会有什么补偿如果可以退房会有什么补偿？"} {"id": "16", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n我俩吵架，他把我手指头弄成粉碎性骨折，轻伤，他有证人说他没打，我该怎么办"} {"id": "17", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n邻居家的狗锁链散了跑到我家锁链拌倒了老人致老重伤，坐股粉碎性骨折。"} {"id": "18", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n工人从梯子上摔下来，导致两手一只骨裂，另一只粉碎性骨折，都没做手术保守治疗请问私了最多赔多少合适？"} {"id": "19", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n咨询：\n看守所现在以寻衅滋事的性质把人关在里面，人是因为打架关的，然后我们现在给伤者合解了这样子人还会关多久？"} ``` --- Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp