1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:DeepSeek们越来越聪明,却也越来越不听话了

正文:
今年,DeepSeek R1火了之后,几乎形成共识:AI推理能力越强,执行任务时就越聪明。从2022年Chain-of-Thought问世,到今天Gemini 2.5 Pro、DeepSeek-R1等模型的表现,我们相信让模型先思考是一个好策略。

然而,这种聪明也带来了副作用——提示词遵循能力变差,模型越来越不听话。我在写DeepSeek攻略文时就提到这一点,但未经过验证不敢确定。直到最近读到一篇论文《When Thinking Fails》,才确认了自己的感受。

这篇论文由哈佛、亚马逊和NYU团队完成,验证了“推理可能导致执行准确率下降”的观点。研究团队在IFEval和ComplexBench测试中发现,大多数模型在使用CoT(思维链)后准确率下降,甚至一些参数较大的模型也受到影响。

例如,LLaMA-3-70B-Instruct的准确率从85.6%降到77.3%,损失8个百分点。论文还发现,模型变得更聪明的同时,也会擅自修改或添加内容,因为它试图表现得更理解任务。

为解决这一问题,研究团队提出了几种方案,其中最有效的是“Classifier-Selective Reasoning”,即用一个小模型判断任务是否需要推理。

论文让我意识到,真正的智能不是把所有细节都考虑一遍,而是知道何时聚焦于关键点。成年人、企业决策如此,AI亦然。我们需要的不仅是聪明,更是思考的分寸感。

原文链接
本文链接:https://kx.umi6.com/article/18916.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
Transformer作者:DeepSeek才有搞头,OpenAI指望不上了
2025-09-12 11:09:05
Nature封面文章: DeepSeek-R1通过强化学习激励的LLM推理
2025-09-18 08:48:39
DeepSeek成了硅谷最大的“不能说的秘密”
2025-09-23 17:20:46
DeepSeek研究员1200行代码复刻vLLM,H800硬件实测性能反超原版
2025-06-13 16:11:09
「DeepSeek们」回答位变广告位
2025-08-05 15:15:26
DeepSeek数月来首次在领英上发布招聘信息
2025-07-04 14:48:41
罗永浩:新AI产品3个月后见 DeepSeek创始人建议我“靠嘴吃饭”
2025-06-22 11:15:34
GPT-5之后,奥特曼向左,梁文锋向右
2025-08-15 17:17:56
梁文锋,准备战斗
2025-07-30 17:51:33
DeepSeek突然拥抱国产GPU语言!对标CUDA替代Triton,华为Day0适配
2025-09-30 10:23:35
DeepSeek昨天悄悄扔的炸弹,今天爆了
2025-08-22 17:51:00
蚂蚁开源 Ring-1T,成就推理、编程、通用智能三冠王
2025-10-24 11:36:00
DeepSeek对“王一博案”道歉?假新闻!
2025-07-03 23:32:06
24小时热文
更多
扫一扫体验小程序