# lawbench / lawbench-2-4-21-zero-shot - taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md) - difficulty: medium - category: legal NLP benchmark - language: - runnable from the site: no - agent timeout: 3600s ## Results by harness _none yet_ ## Instruction ``` You have 20 cases to process. You must answer ALL of them. Create the file `/app/answer.jsonl` and write your output there. OUTPUT FORMAT (STRICT, JSON Lines / ndjson): 1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines. 2. Each line must be a valid JSON object with EXACTLY two keys: - "id": string - "answer": string No extra keys are allowed. 3. The "id" must match the input id exactly. 4. Output must be JSON lines only: - No markdown fences (no ```). - No headings, numbering, commentary, or extra text. - No blank lines. 5. Output language: Chinese. 6. For each case, output ONLY the final answer text required by the question. Do not add explanations. 7. Answers must be single-line strings. Do not include line breaks. If the answer would normally include line breaks, replace them with a single space. 8. Do not skip any case. If you cannot answer a case, output: {"id":"<id>","answer":""} Example Output (format only; do not copy the placeholder text): {"id":"0","answer":"<这里填写对应题目的中文答案>"} {"id":"1","answer":"<这里填写对应题目的中文答案>"} INPUT CASES: {"id": "0", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n拥有双重国籍，用外国护照飞过XX，现在想去XX，可以办理中国护照飞吗？会不会有什么处罚？"} {"id": "1", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我2009年在济南办了护照和港\n澳通行证，现在我的户口迁回上海，护照也快到期了，如何申办新的护照？\n-"} {"id": "2", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n跟几个朋友合资开了一家酒店，现在有一个合资人偷偷的拿了六十万走，叫他拿出来他说没钱了我该怎么办？"} {"id": "3", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n请问父亲被限高，我还能出国留学吗？"} {"id": "4", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n外国留学生可以在中国兼职打工吗？或者说语言类培训机构能找外国留学生做兼"} {"id": "5", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n出口的货物集装箱已经送进码头仓库，因为台风集装箱进水浸湿货物，码头仓库有赔偿责任吗有赔偿责任吗？"} {"id": "6", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n物流委托物流把货物送到以后货物受损收货方发现货物损坏，要求赔偿应该怎么办办？"} {"id": "7", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n你好，海事关于目的港弃货的问题想咨询"} {"id": "8", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n 我的货发物流 转运过程中货物卸货的时候淋湿了 客户要求退货 我怎么办"} {"id": "9", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n青岛XX拖欠船员工资，通过什么途径要回"} {"id": "10", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n晚上准备回家，我们在农村，经过铁路，没有注意到，被经过的火车碰了一下，"} {"id": "11", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我在物流发了个船舶，货在途中坏了，我没有买保险，船舶是塑胶的，没有外包装物流应该理赔吗？"} {"id": "12", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n8人码头洗澡，一人弱水死亡，同伴没有叫救命，回家后也有说给家人。当时码头上有大人在打牌同伴有责任赔偿吗？"} {"id": "13", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n蔬菜收完货，拉走的给钱了，没拉走的货还在当地市场，没钱给了，货也不想要了怎么办了怎么办？"} {"id": "14", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n你好！一方在余杭地区服刑 另一方户籍所在地比较远 可以在余杭起诉离婚吗"} {"id": "15", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n没收涉渔船舶是否属于重大行政案件"} {"id": "16", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\nFOB 货物遇海关查验，未能赶上客户要求的船期，客户要求删单退仓，改走"} {"id": "17", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n国外购买的古玩艺术品邮寄的国内在海关被查扣了，现在XX局通知让收货人到XX局去说明情况问题该怎么应对呢？"} {"id": "18", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n就是石油走失但是运石油的不知道自己在走私也不知道自己有没有走私的情况下走私运石油被在家缓行了是什么意思"} {"id": "19", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n请问什么情况下承运人必须先行行使留置权，留置权可以放弃吗"} ``` --- Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp