# lawbench / lawbench-2-4-15-one-shot - taskset: [lawbench](https://harnessreport.com/tasks/lawbench.md) - difficulty: medium - category: legal NLP benchmark - language: - runnable from the site: no - agent timeout: 3600s ## Results by harness _none yet_ ## Instruction ``` You have 20 cases to process. You must answer ALL of them. Create the file `/app/answer.jsonl` and write your output there. OUTPUT FORMAT (STRICT, JSON Lines / ndjson): 1. `/app/answer.jsonl` must contain EXACTLY 20 non-empty lines. 2. Each line must be a valid JSON object with EXACTLY two keys: - "id": string - "answer": string No extra keys are allowed. 3. The "id" must match the input id exactly. 4. Output must be JSON lines only: - No markdown fences (no ```). - No headings, numbering, commentary, or extra text. - No blank lines. 5. Output language: Chinese. 6. For each case, output ONLY the final answer text required by the question. Do not add explanations. 7. Answers must be single-line strings. Do not include line breaks. If the answer would normally include line breaks, replace them with a single space. 8. Do not skip any case. If you cannot answer a case, output: {"id":"","answer":""} Example Output (format only; do not copy the placeholder text): {"id":"0","answer":"<这里填写对应题目的中文答案>"} {"id":"1","answer":"<这里填写对应题目的中文答案>"} INPUT CASES: {"id": "0", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n去年年底早已完工，至今也没有拿到去年工资，一而再再而三找开发商总是推托不知如何是好了？"} {"id": "1", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n我哥是在3福建泉州XX打工，这个老板只有营业执照，没有资质，这个事应该怎么解决？"} {"id": "2", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\nA你好，请问江苏XX公司自己有挖掘机驾驶员不用，现场管理负责人叫我们分"} {"id": "3", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n我是做工程的，带了一帮兄弟伙些做劳务，工程完工之后，上面老板总是不兑现诚诺这欠条咋写才有法律効义？"} {"id": "4", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n工程竣工验收了，甲方不予按合同结算，我有一个兄弟在上海XX承包了一个厂房工程时效多久？"} {"id": "5", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n我借朋友40万元钱给了A，按约定应付利息12万，A让我替他支付12万利息是不是诈骗罪？"} {"id": "6", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n房东和包工头一起去我店里买了八千六百元钱瓷砖，后来包工头帮助付了三千元定金咨询一下能否去法院起诉？"} {"id": "7", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n16年6月份在做工程时受伤，造成左腿胫骨骨折，左手小母指惯穿性骨折，绕骨粉碎性骨折为什么？"} {"id": "8", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n没签合同 ，工程干完了，不支付工程款项"} {"id": "9", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n朋友在一家公司签订合同，拉运水泥，他有3辆车拉不完，打电话让我也来拉。"} {"id": "10", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n受包工头，给工地干活，我喊的人出事，责任谁重"} {"id": "11", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n国家给的贫困户安居工程，到了村里面就成了村干部想给谁就给谁了!真正的贫困户到没有房了农民工怎么办？"} {"id": "12", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n我和工友在工地抬钢筋，钢筋反弹误伤工友一颗门牙，请问我要赔药费吗？"} {"id": "13", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n你好，我想问下，工程项目公司对劳务分包班组乱开罚款单，属于那一条违规"} {"id": "14", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n我在现在XX所干工程维修近十年是水电工，现在叫我看大门，我要辞职能有补偿吗有法吗？"} {"id": "15", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n昨天下午，原因是房东和工人因工钱发生冲突，工人拉白布行为把我的店铺堵了一下午请问我给怎么维护自己利益？"} {"id": "16", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n我帮别人介绍个工程几千万的工程，合同怎么写？"} {"id": "17", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n我们装修工期是四个月 订的是八月十五交工 结果截止到现在工程还没完工 无数次打电话沟通 还是没解决 我该怎么办"} {"id": "18", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n我在山西太原XX做的煤改气工程。2017年7月份施工的。现在已经施工完毕但是工程款还未结清请问起诉他们的话能追回损失吗？"} {"id": "19", "q": "确定以下咨询的类别，每个咨询仅属于一个类别，类别包括：婚姻家庭、劳动纠纷、交通事故、债权债务、刑事辩护、合同纠纷、房产纠纷、侵权、公司法、医疗纠纷、拆迁安置、行政诉讼、建设工程、知识产权、综合咨询、人身损害、涉外法律、海事海商、消费权益、抵押担保。将答案写在[类别]和之间，例如[类别]婚姻家庭。请严格按照这个格式回答。\n下面是一个例子：\n咨询：交通事故中，保险公司及肇事者司机方全部不闻不问。把伤者拖在医院，一直由家属自行在治疗请问律师该如何处理？\n答案：[类别]婚姻家庭\n请你回答：\n咨询：\n本人于2018年5月8号带着6名农民工到青岛即墨XX安装钢结构厂房，于5月10号签订工程施工分包合同能委托您全权处理吗？"} ``` --- Harness Report runs agent harnesses from their GitHub repos on Harbor tasks and records every model call. Every page is also `.md` and `.json`; index: https://harnessreport.com/llms.txt · MCP: https://harnessreport.com/mcp