# lawbench / lawbench-3-8-18-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n是这样，我在世友地板签了2000元的订金合同，但还没有确定是具体是哪个地板我想问这2000元订金要的回来吗？"}
{"id": "1", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我想抵押车去借钱，但是车我还得用，那边机构讲可以办理，但是需要先过户到他们公司名下请问这有什么风险吗？"}
{"id": "2", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n还没开始代练先交了199押金，后来又让交150保证金现在感觉是骗子让他退钱他扣199押金的百分之三十合理吗"}
{"id": "3", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n没有结婚证，怀孕就分开。后面各种原因，小孩户口上在男方家。协议抚养权归女方男方又不愿意一直拖着怎么？"}
{"id": "4", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n情况是这样的，老人有两儿两女，有一个房子，农村宅基地，二儿子去世了，二儿子的儿子也去世了还有这个老人的二儿子也有一套房产是属于谁？"}
{"id": "5", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n在征收过程中，征收方在没有看到承包人拿出任何依据的情况下，就和承包人签订了房屋征收补偿协议请问这份协议能够合法吗？"}
{"id": "6", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我开车把别人的狗撞死，走的保险保险公司理赔4000元。狗的主人不同意非要5000元如果让狗的主人起诉对我有什么不利之处？"}
{"id": "7", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n与单位解除关系后发现档案丢失，经协商单位补建了新档案，办退休时发现档案中存在几份与单位解除关系后的材料时发现档案中存在几份与单位解除关系后的材料？"}
{"id": "8", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n高校毕业生王X,在毕业前夕与某公司签订了《就业协议书》,并且毕业后按照协议约定到该公司上班王X是否需要缴纳5万元的约金？"}
{"id": "9", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我是深户，离退休还有两年多，这个月我提高了缴费基数，原来是按深圳的最低标准缴的对以后的退休工资影响大吗？"}
{"id": "10", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n在学校工作了20年，但是每年只签了一份协议，现在因为67岁的年纪，学校要将他辞退请问辞退后有什么福利待遇吗？"}
{"id": "11", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n农村房屋拆迁，需要提供什么证明才能被分配到房产？目前父母户口不在拆迁地如果不给房子的话赔偿金额的标准是怎么样的呢？"}
{"id": "12", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n这个人在农民在交社保期间嗯，没满60岁突然死亡，在死亡企业交的养老保险还有没有补偿啊补偿还有没有补偿啊补偿？"}
{"id": "13", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n法院执法局打电话说，在一定时间内不还款的直接拉黑名单，但被执行人没有任何财产执法局在不了解执法人的实际请款可以直接拉黑名单吗或拘留吗"}
{"id": "14", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我租的房子在经营小作坊，现面临拆迁，房子刚刚装修完，花了好几万块钱，我能得到相应的补偿吗能得到相应的补偿吗？"}
{"id": "15", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n在附近村子得水库钓鱼，过来一群人说水库里面鱼是他们养的，不让钓，然后把钓的鱼放生了还把我鱼具拿走了不给我怎么办？"}
{"id": "16", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n男方户籍是信阳市固始县的，长期居住在珠海，珠海有一套房，我想诉讼离婚，是在信阳市还是居住地起诉离婚？"}
{"id": "17", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我们三人合伙做装饰工程，一个人出人脉资源不出钱，一个人出资金不管理，另外一个出管理不出钱请教怎么分配合理净利润？"}
{"id": "18", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n租房合同我签了7个月，但是最近过年回家我就不想租了嘛，然后我在交1月份房租的时候他又索要了我800押金我想问一下这800块钱拿不回来吗？"}
{"id": "19", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我们有个员工因多次接到客户投诉，且之前造成过公司重大损失，有发过公告处罚需要怎么操作才能将损失降到最低呢？"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp