# lawbench / lawbench-3-8-21-zero-shot

- taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md)
- difficulty: medium
- category: legal NLP benchmark
- language: 
- runnable from the site: no
- agent timeout: 3600s

## Results by harness

_none yet_

## Instruction

```
You have 20 cases to process. You must answer ALL of them.
Create the file `/app/answer.jsonl` and write your output there.

OUTPUT FORMAT (STRICT, JSON Lines / ndjson):

1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines.
2. Each line must be a valid JSON object with EXACTLY two keys:
   - "id": string
   - "answer": string
     No extra keys are allowed.
3. The "id" must match the input id exactly.
4. Output must be JSON lines only:
   - No markdown fences (no ```).
   - No headings, numbering, commentary, or extra text.
   - No blank lines.
5. Output language: Chinese.
6. For each case, output ONLY the final answer text required by the question. Do not add explanations.
7. Answers must be single-line strings. Do not include line breaks.
   If the answer would normally include line breaks, replace them with a single space.
8. Do not skip any case. If you cannot answer a case, output:
   {"id":"<id>","answer":""}

Example Output (format only; do not copy the placeholder text):
{"id":"0","answer":"<这里填写对应题目的中文答案>"}
{"id":"1","answer":"<这里填写对应题目的中文答案>"}

INPUT CASES:
{"id": "0", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我是劳务分包队伍，我又找的劳务分包活干了点没有工人了，他不干了，要求我按当时的口头协议全额付他的工程款我该怎么办？"}
{"id": "1", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n甲乙双方签订一份买卖合同，合同中约定违约金为不履行合同标的的10%。乙方预付定金30万元（3）此案应如何处理方预付定金30万元（3）此案应如何处理？"}
{"id": "2", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n两年前我和阾居有了婚外情，他老婆看他手机发现了，他老婆这两年他们一吵架或打架就来找我赔偿各种费用敲诈勒索吗？"}
{"id": "3", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n要离职但是工资未结清，公司预计下个月才给，需要写工资未结清证明吗？工资未结清证明是员工自己写还是公司写呢未结清证明是员工自己写还是公司写呢？"}
{"id": "4", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我前几天发生了一起交通事故，我的车辆交警判定同等责任，对方驾驶三轮车无证驾驶我应该怎么办证驾驶我应该怎么办？"}
{"id": "5", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n就是原来做的那家企业，我3月3号已经辞职了，但是他没去帮我办理减员也没给我交社保那我应该怎么样去投诉原来那家企业？"}
{"id": "6", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我在工地做事，右大母指凭指夹切除了，公司没买工伤保险，由老板负责，住院费老板付的请问您老板负那些责任？"}
{"id": "7", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n1999年买的房子，现在要过户，找不到房主，去法院起诉，告之必须有被告房主的住址和联系方式这种情况怎么办？"}
{"id": "8", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n父母出资交首付买房，利用儿子的公积借贷3年，后因儿子失业无力还贷，由父母出资偿还全部贷款是否属于恶性转够财产？"}
{"id": "9", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n合同到期，公司还在考虑要不要续签，这时候我需要做什么吗？如果不来上班还能拿到赔偿吗不来上班还能拿到赔偿吗？"}
{"id": "10", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n工地上工人和管理人员打架，管理人员被打伤，管理人员要向工人的直接管理人索要赔偿有这样的法律规定吗索要赔偿请问有这样的法律规定吗？"}
{"id": "11", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n别人欠我50多万，法院判决欠债方第二年开始的房租由我收款，但第二年收款时发现他的所有铺面均因抵押被银行收回了该怎么处理？"}
{"id": "12", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我姑姑借了高利贷，具体利率怎么算的不知道，现在没有钱还，拖累了好几个家庭想问问如果实在还不起会怎么样吗？"}
{"id": "13", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n想问问你一些法律的知识，一份房屋的买卖合同，没有具体写上过户的确切时间合同没有特别约定一般在签定后多少天后会自动作废？"}
{"id": "14", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n前面有车向左进小区，我向右打方向准备过去，同向的车子从后面超车我的右前方和他的左侧发生了擦挂是我的责任吗？"}
{"id": "15", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n涉嫌猥亵儿童罪，初犯，无前科，取得了谅解书，取保候审，案件公安机关侦查阶段下一步该怎么走下去阶段下一步该怎么走下去？"}
{"id": "16", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我妈在我七岁那年抛弃了我，这二十年都是我爸抚养我长大，她没有管过我。我现在有赡养我妈的义务么问我现在有赡养我妈的义务么？"}
{"id": "17", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我以前在农村交的五百块钱农，现在公司帮我交了社保。问一下我以前交了十年的农保怎么把农保的钱转入公司社保？"}
{"id": "18", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我父亲是国家事业单位人员，今年80岁了，去时候实行的是土葬，生前俺规定每个月都缴纳养老保险能享受国家丧葬费和补贴政策吗？"}
{"id": "19", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n如果我把一本书的内容，然后给我自己的一个视频做字幕做配音内容，但是我会在标题或者是某处注明这种侵权吗？"}
```
---
Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp