标题:60%情况下主流大模型未真正理解风险,存在系统性漏洞
让推理模型生成安全输出的背后,隐藏着认知危机:超60%的案例中,模型并未真正理解风险,主流推理模型的安全性能存在系统性漏洞。淘天集团算法技术-未来实验室团队用「表面安全对齐」(SSA)描述这一现象,并推出首个针对推理模型风险认知准确性的Benchmark——Beyond Safe Answers(BSA)。
BSA包含三个关键特征:挑战性的数据集、全面的覆盖范围和详细的风险注释。它评测了19个开源和闭源大模型,结果显示,表现最佳的Deepseek-R1-671B模型,其思维过程准确率不到40%。团队还识别出SSA的三种普遍场景:过度敏感、认知捷径和风险遗漏,并构建了2000条样本进行系统验证。
研究发现,模型推理准确性越高,回答越安全;反之则不稳定。多风险场景下,模型常选择性忽视部分风险,且在复杂场景中,风险识别阈值可能过低,导致误判。此外,模型规模扩大能显著提升性能,特别是风险遗漏场景。
研究还探讨了安全规则、微调及采样参数对模型的影响。加入安全指令后,模型的安全性和推理准确性显著提升,但可能变得过度敏感。微调虽能改善表现,但也增加了过度敏感倾向。调整解码参数对安全性和推理准确性影响有限,模型的核心能力依赖于训练和对齐阶段。
这项研究由郑柏会、郑博仁、曹珂瑞、谭映水等完成,论文及相关资源已在多个平台公开,未来将继续更新和完善。
原文链接
本文链接:https://kx.umi6.com/article/19998.html
转载请注明文章出处
相关推荐
换一换
WAIC信息爆炸!大佬们都在说什么,笔记看这里
2026-07-18 12:23:17
阿里Qwen3.8正式发布,编程与办公再进化,推理更快更稳定
2026-08-03 13:59:45
你放假 AI在进化:一文补完OpenAI与Anthropic的假期动态
2026-10-07 16:36:22
中信建投通信及人工智能中期策略:大模型持续迭代 算力需求强劲增长
2026-05-13 09:05:16
全球首份大模型业绩报!MiniMax预判2026三大超级PMF,AI平台公司启程了
2026-03-03 11:54:49
至知研究院提出大模型可解释性新路线:拆权重,数据成本不到1%
2026-08-15 15:15:17
全球开发者狂喜!Codex移除5小时限制,Fable 5订阅再延7天,有人烧token烧到住院
2026-07-13 13:10:48
苹果中文AI终于要落地了:iPhone史诗级升级
2026-10-14 20:54:30
B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首
2026-09-16 14:38:42
高通CEO:AI厂商28年要在手机跑1000亿参数大模型 还要自己造手机
2026-10-11 22:07:19
5 年前的机密文档被泄露:Anthropic 的所有胜利,早在 2021 年就写好了
2026-10-16 08:55:45
赌注十万亿:字节拒绝走蒸馏捷径背后,张一鸣的长期主义有多狠?
2026-08-07 23:43:38
随便用用额度就没了!月之暗面K3.1 Pro上线48小时致歉
2026-10-27 00:25:19
796 文章
1050778 浏览
24小时热文
更多
-
2026-10-28 01:44:43 -
2026-10-28 01:43:24 -
2026-10-27 22:29:51