1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

字节Seed用化学思想搞AI,把DeepSeek-R1的脑回路拆成了分子结构

字节Seed团队提出了一种全新的视角,用化学思想解析大模型的推理机制。他们将深度推理比作共价键、自我反思比作氢键、自我探索比作范德华力,揭示了大模型长链思维背后的“分子结构”。

传统方法如CoT(Chain of Thought)通常将AI的思考过程视为线性结构,忽略了非线性依赖关系。字节Seed在论文《The Molecular Structure of Thought》中首次定义了大模型长链思维的“分子式”。研究发现,所有有效的长链推理都由三种基本动作组合而成。

深度推理像共价键一样稳固,通过硬逻辑推进(如“因为A所以B”)。量化分析显示,加入深度推理后,模型的语义空间散点圈缩小22%,显著聚焦核心逻辑。
自我反思像氢键,具有弹性但稳定,能回溯检查假设。数据显示,81.72%的反思步骤会精准落回靠谱思路区域,同时压缩语义空间体积,筛除跑偏想法。
自我探索像范德华力,虽弱但覆盖面广,帮助模型跳出局部最优解。加入探索行为后,语义空间覆盖范围从23.95扩大到29.22,尽管稳定性下降,但能开辟新路径。

研究还发现,强推理模型的三种行为比例和转换规律高度一致,背后有严格的数学对应:Transformer的注意力权重计算与玻尔兹曼分布类似。深度推理能量最低,反思中等,探索最高,这种层级确保了推理路径的稳定性。

团队进一步提出“语义同分异构体”概念,指出相同题目可通过不同“化学键”组合得出正确答案,但只有推动“熵减”的结构才能被模型学会。实验表明,稳定的思路结构是模型学习长链推理的关键。

基于这些发现,团队开发了MoLE-Syn方法,从强推理模型中提取行为转移概率图,并指导普通模型生成稳定推理链。这种方法成本低且效果显著,初始化后的模型在强化学习中表现更稳定。

这项研究由字节Seed算法专家黄文灏主导,第一作者为哈尔滨工业大学博士陈麒光,合作单位包括北京大学、南京大学等。论文地址:https://arxiv.org/abs/2601.06002

原文链接
本文链接:https://kx.umi6.com/article/33136.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
字节Seed发布扩散语言模型,推理速度达2146 tokens/s,比同规模自回归快5.4倍
2025-08-01 15:00:45
字节发了个机器人全能大模型,带队人李航
2025-09-06 12:34:33
字节Seed智能体模型UI-TARS-1.5开源
2025-04-17 19:52:37
字节Seed最新版原生智能体来了!一个模型搞定手机/电脑/浏览器自主操作
2025-09-05 13:18:29
人形机器人最尴尬的事:长了一双腿 却只能定住干活
2026-10-16 00:27:16
演员吴越怒斥AI仿冒带货太恶劣 微信视频号回应:账号已永久封禁
2026-10-19 07:40:24
清华开源!智能体操作系统任务成本降83%,AI记忆可查可改
2026-10-17 20:49:19
AI进入企业的最后一公里,怎么这么难啊啊啊!
2026-10-16 12:02:39
15岁少女用AI修图:栽赃前男友扬言校园枪击!反面临15年监禁
2026-10-20 13:15:46
刚刚,Fable 5.5被爆明天突袭!谷歌OpenAI全面迎战
2026-10-20 10:03:09
既能“做选择题”,也能“做填空题”——星辰意图理解模型Xing4.0-29B-Intent发布
2026-10-22 15:52:14
17岁天才少年被曝加入美国AI初创公司:团队里全是谷歌老将
2026-10-21 12:30:21
从“看懂世界”到“预演下一步”:世界模型与 VLA,如何让机器人拥有真正的“具身大脑”?
2026-10-16 17:24:28
24小时热文
更多
扫一扫体验小程序