# lawbench / lawbench-3-8-22-zero-shot - taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md) - difficulty: medium - category: legal NLP benchmark - language: - runnable from the site: no - agent timeout: 3600s ## Results by harness _none yet_ ## Instruction ``` You have 20 cases to process. You must answer ALL of them. Create the file `/app/answer.jsonl` and write your output there. OUTPUT FORMAT (STRICT, JSON Lines / ndjson): 1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines. 2. Each line must be a valid JSON object with EXACTLY two keys: - "id": string - "answer": string No extra keys are allowed. 3. The "id" must match the input id exactly. 4. Output must be JSON lines only: - No markdown fences (no ```). - No headings, numbering, commentary, or extra text. - No blank lines. 5. Output language: Chinese. 6. For each case, output ONLY the final answer text required by the question. Do not add explanations. 7. Answers must be single-line strings. Do not include line breaks. If the answer would normally include line breaks, replace them with a single space. 8. Do not skip any case. If you cannot answer a case, output: {"id":"<id>","answer":""} Example Output (format only; do not copy the placeholder text): {"id":"0","answer":"<这里填写对应题目的中文答案>"} {"id":"1","answer":"<这里填写对应题目的中文答案>"} INPUT CASES: {"id": "0", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我的社保是在佛山买的，本来打算在佛山生，现在计划赶不上变化，要在老家生如果选择更改医院定点还来得及吗？"} {"id": "1", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我是从南向北XX靠右路边带头盔后面带坐个人正常行驶电动车，被对方逆行没带头盔女士骑电动车急转弯对着我猛烈击撞到我"} {"id": "2", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n派出所做出处罚决定书，我是受害人。故意伤害人伤害成立！四十三条规定，我是残疾人及60岁以上老人行政复议如何办理？"} {"id": "3", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n这种情况我应该怎么办,但是他那边去法院起诉我说我欠他佣金,开发商没把佣金结给我,已经三年时间,朋友把客户购房挂在我的名下,我是属于一个销售?"} {"id": "4", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n出现交通事故，对方当事人驾驶无手续车辆，而且在交警来之前离开现场，交警也没有第一时间去调查对方当事人是否酒驾怎么处理？"} {"id": "5", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我公司因经营困难，现决定长时间停工，且为员工安排到别的工作，如员工不愿意去可以不支付补偿金吗意去可以不支付补偿金吗？"} {"id": "6", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n如果父亲过世，奶奶可以继承父亲的遗产，奶奶没有继承，知道直到奶奶也过世了，父亲的兄弟姐妹可以继承吗?"} {"id": "7", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我去年是劳务派遣，可今年单位非要我改成劳务外包，我不知道劳务派遣和劳务外包是什么概念外包是什么概念？"} {"id": "8", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我们离婚前给借方打的欠条双方都签字了，借方已起诉我们，现在我前夫没能力还钱我是否需要一个人承担责任？"} {"id": "9", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我问问我车子在高速发生交通事故，对方主责，我次责，交警开了事故认定书，我要承担自己和对方的修车费用吗？"} {"id": "10", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n公司产假只有98天，说是不履行地方的条例，只遵守国家的法律，我要是申请劳动仲裁后公司会不会不给我补差了？"} {"id": "11", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n做的烤瓷牙，多次重做不合适，医生拒绝负责了，说解决不了，但是要我承担一系列的费用退部分款不是我顾客的问题为什么要我承担？"} {"id": "12", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n是这样的，我们找中介买的二手房，付了1万的定金，现在不想买，中介要我们付中介费交易没有成功也要付中介费吗？"} {"id": "13", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n工资卡近期被限制去银行也解决不了又不允许开新户，公司发工资打不进去和公司协商现金或者换银行卡都被拒绝就是一直这理由不发工资而我确实又办不了那个银行卡了想请教下"} {"id": "14", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n在新公司面试，说有7天试岗期，如果没有通过，就不录用，没得工资，第7天下午通知没有通过公司考核合法吗？"} {"id": "15", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我是一名公交车司机，我正常出站时，突然有一辆小车从我左面强行变道，导致我紧急刹车请问这事故算谁的主要责任？"} {"id": "16", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我叫戴XX我是61出生的，已到退休年龄，但单位设给我交够15年现在还在上班到23年4月才能办退休请问我能补缴办退休吗？"} {"id": "17", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n是不是学校也有责任,他们班里还有很多孩子依然把书包挂在桌子上,他的执行力理解力并不成熟,但是考虑孩子才11岁,老师虽然讲过不让把书包放桌子边,孩子的人身安全学校的老师就有一定责任,既然送到学校,在家?"} {"id": "18", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n我在租房的时候把房东的沙发用烟头烫了两个洞，房东要求半价赔偿，而且房东签的一年的合约房东这样做是合法的吗？"} {"id": "19", "q": "请回答下列问题，首先给出回答，然后给出对应的法律依据: \n能要回来么,不给我退,现在房东手里有我的一万房租一万押金,想退租,东西都老化了我不想做了,还在打官司,那个家具都不是房东的而是上一个房客走了房东强制留下来的?"} ``` --- Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp