# lawbench / lawbench-3-8-3-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我朋友今年1月借款16.4万元，目前未还款，已起诉，胜诉。法院限期25日内归还就只能列入失信被执行人吗？"}
{"id": "1", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我是一名农村低层干部，今天县改革，说我们年满50周岁，社保交15年，提前办退休手续叫我们提前办退休合理吗？"}
{"id": "2", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n双方父母离异并且在组成各自家庭生儿育女的情况下，并且按照法院判决书规定男方应向女方支付每月的抚养费直到18岁那原配子女有对男方有赡养义务吗？"}
{"id": "3", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n如果一个人去世了，没有立遗嘱，而她只有一个儿子，也没有父母了，她的遗产是不是她儿子一个人继承的遗产是不是她儿子一个人继承？"}
{"id": "4", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我在入职前自己已经交了社保，入职后公司是否可以不再交纳社保，我可不可以向公司要求社保补贴公司是必须给还是可以不给？"}
{"id": "5", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n假如账上面剩下20万按比例退给对方，退五万给对方，然后他股份就没了。我以后的股份是多少现在是A30%我25%退股那个25％C10％D10％？"}
{"id": "6", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n单位给我多交9个月社保，我在另一个地方上班，交不上社保，现在原单位让我退换个人所交部分钱我是否应该退？"}
{"id": "7", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n对方欠我钱，判决书是7月30日立案，10月28日终本，对方被列为失信被执行人具体情形是有能力而拒不履行生效的法律文书请问我什么时候可以让法院判他拒不履行裁判罪？"}
{"id": "8", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n甲公司解散，申请法院组织清算，已经组成清算组。关于公司债权人，下列说法正确的是债权人可以清算组为被告提起诉讼？"}
{"id": "9", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n就是我这边因为一些民事上诉了法院，但是后面又与和被告那方谈清楚了，法院传来让我交诉讼费我没交但是被告人在今日收到了法院受理的消息是怎么回事13203？"}
{"id": "10", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我家小孩户口是江西的，我想把她迁到娘家浙江，小孩18岁未满18周岁，迁户需要什么证明条件户需要什么证明条件？"}
{"id": "11", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n交通事故判定对方全责因没钱治疗可以先办理出院起诉，如果还要继续治疗再住院后续的治疗费等还可以再起诉吗交通事故"}
{"id": "12", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n只签了购房预售合同，正式合同没签，签正式合同时房产商不给更名，说是已经备案无法更改了正式合同没签就备案对吗？"}
{"id": "13", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我老公家里拆迁，公婆是处于离婚状态的，房子是双方各有一部分的，我老公和公婆的户口住都是在拆迁的这个房子里算不算夫妻共有的？"}
{"id": "14", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我从2003年～2018开始己签定三次分别是5年的劳动合同，那么之后是否应签无固定期限合同否应签无固定期限合同？"}
{"id": "15", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n开发商没有结顶，合同要去3月10号提交贷款证明，4月10贷款要下来。但是开发商售楼部一直没通知我贷款的事情"}
{"id": "16", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n与中介签劳务合同，合同没公司盖章也没中介全名，而且签了大半个月之后，中介说是代替其他人签的请问这合同生效吗？"}
{"id": "17", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我在网上办理了一个证件，办是网上人员说他就是帮忙跑办保证真证，现在公安机关鉴定为假证我应该会会受到处理吗？"}
{"id": "18", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n在保护区没成立时盖的种地看护房，工作人员依建设污染环境，破坏资源或景观的生产设施的罪名进行罚款我该怎么办办？"}
{"id": "19", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我婚前贷款买的房子，我本人的房子，婚后爱人给买了并收取了定金，我知道后不同意我想知道这种情况属于什么？"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp