# lawbench / lawbench-2-4-7-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我被人起诉合同纠纷、但合同的名字不是我本人签的"}
{"id": "1", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n小学生中午没有回家吃饭跟同学出去玩掉到水池溺亡，学校有没有责任？"}
{"id": "2", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我有房子承包出去了，租期30年，可他又租出去了，我要和新租户签合同吗"}
{"id": "3", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\nx彩是正规的么，买了没中，钱能退么"}
{"id": "4", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我为了学手艺，签了一条欠条，学手艺费用是1万元，我没学之前交一半5000元我该怎么办？"}
{"id": "5", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n请问打工钱要不上谁来解决？有人管吗？"}
{"id": "6", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我在店里没签合同，已经过试用期不满一个月店里要扣我百分之五十"}
{"id": "7", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我卖了手机给朋友，货到付款。到货后他要求退货，最后他又没有退货，把我拉黑了怎么办？"}
{"id": "8", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n:荒山承包合同还差两年到期再续签五十年这样违法吗？"}
{"id": "9", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n你好！我的房子出租給一家管理公司進行轉租，一次性簽4年，付款是季度支付"}
{"id": "10", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n对公安XX处理不负，怎样向上一级公安申诉，找什么样的律师"}
{"id": "11", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n请问，购买顶账房都是什么程序啊？"}
{"id": "12", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n买房好几年了，一直未拿到房产证。也有人起诉。但还是未果。小区有以前的老房子未拆请问我们该怎么维权？"}
{"id": "13", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我想在湖北买房，但是人在北京回不去，想委托他人帮忙买，我想知道需要双方什么资料以及我在北京需要办哪些手续"}
{"id": "14", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n你好，可以话单查出xx或者短信内容吗？"}
{"id": "15", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n见证书一份需要多少钱，生前房产"}
{"id": "16", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n什么部门能监督法院，我家有一个民事纠纷案件，一审，二审法院判决书都下达了"}
{"id": "17", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我儿被人带进传销里了，我该怎么办？"}
{"id": "18", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\nA，开发商将一套房子卖了，未办理过户，之后，又将此套住房产权拿去银行贷款能执行吗？"}
{"id": "19", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和<eoa>之间，例如[类别]婚姻家庭<eoa>。请严格按照这个格式回答。\n咨询：\n我是房产卖方，房子合同完成了网签，监管在进入过户时买方拒绝了过户，现以裁决让买方继续履行合同这样申请法院强制执行行吗？"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp