# lawbench / lawbench-3-8-12-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我在A地已交保险，但因要去B地上大学（AB两地为同一个省），大学已交自行划扣社保的钱那么我在A地所交的钱能退款吗？"}
{"id": "1", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n技术开发合作合同，合同期限2018-2020年，2020-2022没签合同是否能追索2020—2022的经济利益？"}
{"id": "2", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我怎样维护我的权益,还没装完,导致合同俞期三个月了,反复反工,装修过程每个环节都不能顺利完成,我在异地装修?"}
{"id": "3", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n之前被抓进去在警察局呆了好几天，后来没有人拿钱取我，就把我已取保候审的名义放出来了要是后面开庭的话会判刑吗？"}
{"id": "4", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n因公司和第三方劳务派遣合作，我们的劳动合同，社保，公积金均由第三方发放工资及缴纳社保这样公司违法吗？"}
{"id": "5", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我老婆被车撞了去医院拍片，第一次没拍出胸骨骨折，回来两天痛受不了又到同一家医院拍CT我们该如何维护自己的权利一家医院拍CT我们该如何维护自己的权利？"}
{"id": "6", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n开车意外撞到电动车，但是但是没有注意到撞到了什么，于是开车掉头绕了一圈回到事故现场配合处理事故算是逃逸吗？"}
{"id": "7", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n男方想和我结婚，并且全款买房，都是他们家出钱，加上我的名字，他们不让我出钱这个房屋的分割什么的怎么分配？"}
{"id": "8", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我是在医疗器械厂上班的，八月没上班，九月上了九天半的班，两个月的保险厂里交的现在不想干了需要倒给老板钱吗？"}
{"id": "9", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n张X与于X有恋爱关系，于X欲分手，张X不同意，于X偷偷和人相亲求爱，张X发现后暴力袭击那名男青年于X构成故意杀人吗？"}
{"id": "10", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我在焦作中梁首府小区，给郑州一绿化公司干绿化养护，从5月中间到9月中旬望专业律师帮忙看怎样让把工钱给我们？"}
{"id": "11", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n因开发商违约无法办理房产证，房子没装修，入住已有七年了，物业也没通知交物业费现我装修物业要收我全部物业费合理吗？"}
{"id": "12", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我想起诉离婚，户籍与对方不在同一省份，又不想到对方法院去起诉，可以在自已所居住地起诉对方吗以在自已所居住地起诉对方吗？"}
{"id": "13", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我在2013年在信用社为别人担保过钱，担保期限为一年，至今银行也没找我我的担保责任是不是可以取消了？"}
{"id": "14", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n女方是非农业，男方是农业，两个小孩户口入在女方，现居住农村，在村里说非农业无职业的也分配土地。96年土地改革也分到了农田，将来土地再变动会不会还能得到土地分配权?"}
{"id": "15", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n亲戚委托我和买方签订一个定金收据，现在房屋不打算卖了，是否成立，如成立违约金是由我赔付吗违约金是由我赔付吗？"}
{"id": "16", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n跟合伙人说合伙做个小型加工厂，30000元钱拿给他几个月了说买机器，但是现在我让他拿出一系列购买合同和一些相关的文件有效吗？"}
{"id": "17", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我家儿子7岁在学校被他的同岁的同学给抓伤了脸部，很多伤，我该怎么去找他同学家长怎么个说法同学家长怎么个说法？"}
{"id": "18", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我签署了一份暑假工协议交了150服务费，说面试不通过退款，这种中介公司协议有效吗中介公司协议有效吗？"}
{"id": "19", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \nA在代理一起诉讼案件时编造了一份对自己代理人有利的虚假证言，并指使证人A后向法庭陈述是妨害作证罪还是辩护人妨害作证罪A后向法庭陈述是妨害作证罪还是辩护人妨害作证罪？"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp