1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:大模型法律推理优势难复制!LEXam评测集引领新标准

大模型推理能力备受关注,但在法律等实际应用领域仍有局限。近日,苏黎世联邦理工学院等机构发布全新法律推理基准数据集LEXam,涵盖瑞士、欧洲及国际法,包含4886道题目,覆盖本科至硕士水平的法律考试。该数据集在Hugging Face趋势榜排名第一,下载量超1700次。

LEXam不仅提供标准答案,还详细记录推理路径,包括问题识别、规则回忆及适用等步骤。这种设计帮助评估LLM在复杂推理中的缺陷,而非仅关注最终正确性。团队引入“LLM-as-a-Judge”模式,通过模型评估自身推理步骤质量,结果显示与专家评分高度一致,为自动化评估提供了高效路径。

测试显示,专精推理优化模型表现最佳,Gemini-2.5-Pro以82.2分领先。GPT-4系列虽表现优异,但仍落后于专精模型。此外,模型在英文任务上优于德语,跨学科法律领域表现更优,国际法题目得分高于地区法律。多选题测试表明,模型在选项增多时准确率显著下降,凸显其依赖浅层特征的局限性。

LEXam为法律推理评估提供了透明、可靠的工具,推动相关研究发展。项目主页和论文已公开供参考。

原文链接
本文链接:https://kx.umi6.com/article/19779.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
DeepSeek新大招曝光:下一步智能体
2025-09-05 10:15:28
GPT-5能让普通人变成博士,但魔法依旧没有
2025-08-08 12:10:14
DeepSeek V3.2、GLM4.6等大模型即将发布
2025-09-29 17:14:30
IDC评测9家座舱大模型产品 斑马获最多项满分推荐
2025-07-18 11:36:59
大模型产生幻觉,全怪人类PUA吗?
2025-09-10 15:36:03
商汤需要「网感」
2025-07-09 13:03:03
AI玩具有多火?连马斯克都入场了
2025-07-29 21:36:44
你用的大模型是什么MBTI?
2025-09-23 20:23:14
被AI “霸凌”失去连接词自由后,我找到了AI 写作最大的秘密
2025-07-05 19:03:37
GPT-5 没有惊喜,但信号拉满
2025-08-11 13:00:45
数字人,正在逼近盈利线
2025-07-17 12:20:37
字节&MAP重塑大模型推理算法优化重点,强化学习重在高效探索助力LLM提升上限
2025-08-11 10:59:04
高性能计算群星闪耀时
2025-08-21 12:35:24
24小时热文
更多
扫一扫体验小程序