# lawbench / lawbench-2-4-22-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n  货运部把我的货弄坏了 不给赔  因为我的货是中转过来的  西安到兰州  兰州接货中转发到我这边  现在他说让我找西安那边  让我找公司去"}
{"id": "1", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n近期在XX子大世界购买的笔记本电脑感觉被黑了好多钱卖给我的型号不对是老款的机器还说什么拆机后不给退换我认为这个是引导我拆机然后不给我退换我该怎么做"}
{"id": "2", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我是跑运输的司机。我在货车帮上以货运部签订了一份协议。是普货。但到了装货地点"}
{"id": "3", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我在x上面买一条拘，他说，加微信我没有加他，是他自己加我的。他说，连运费跟狗89他说是的要两百几？"}
{"id": "4", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n船舶被政府相关单位收购了，同样的船舶赔偿不一样，赔偿款已领取4个多月了还可以申诉吗？"}
{"id": "5", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我从北京运到湖北宜昌XX的货，到武汉了中转时找我要全程运费，我的运费方式是到付我现在怎么办？"}
{"id": "6", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n货物安全送达，完成交接后，几天后货物出现问题，运输方要不要承担责任？"}
{"id": "7", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我海上养殖船上干活一个船2个人有一天那个人不干了结果晚上海上队长给我打电话让我找一个人之后那个人在船上碰伤了我有责任吗"}
{"id": "8", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我是大货车主，在运输过程中货物有潮湿，当时收货方都给挑出来了让我赔偿现在找我我该怎么办？"}
{"id": "9", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\nXX公司委托我司（物流）海运进口一批货物，前期报了价格，后因为清关问题"}
{"id": "10", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\nA我是哈尔滨南岗区XX业主，由于物业公司将我的户号搞错，导致我在12我应该怎么解决？"}
{"id": "11", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n请教我的再审申请通过XX院已经九个月，至今，我没有收到立案再审通知打12368电话多次询问）我能怎么办？"}
{"id": "12", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n在一个网购APP上购买了两件东西，刚被通知说其中一件，过不了海关要我直接退款请问除了退款还有别的方式吗？"}
{"id": "13", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n在装修有点违规物业有权停电吗？"}
{"id": "14", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我是物业项目经理，为了提高业绩 我向业主收取物业费的时候只问业主收了7成另外3成由我自己掏腰包交给公司估计在10-20万之间 这个如果说出来 法院判决下会说我职务侵占金额增加吗 还是不说有利？"}
{"id": "15", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我们商品房入住多年电表换过两次了，但都是一直显示0，也没交过电费这是违法行为吗？"}
{"id": "16", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n你好，我在沈阳普洛斯物流园，掉进施工中下水道里了。需要怎么解决处理。"}
{"id": "17", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\nA，可以免费咨询么？小区外商铺前的空地可以停车么？归属权是开发商的么（商铺未出租）设置路障合法吗？"}
{"id": "18", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n事由小区业主与物业物权侵权纠纷\n事实1、小区无业委会；2、物业未经大多数业主批准单个业主是否可作为诉讼主体起诉物业要求停止侵权？"}
{"id": "19", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我加盟了XX生态便利店，想退出，那边说不给退，也不能退款，他们这样做是可以的吗做是可以的吗？"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp