1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

字节Seed用化学思想搞AI,把DeepSeek-R1的脑回路拆成了分子结构

字节Seed团队提出了一种全新的视角,用化学思想解析大模型的推理机制。他们将深度推理比作共价键、自我反思比作氢键、自我探索比作范德华力,揭示了大模型长链思维背后的“分子结构”。

传统方法如CoT(Chain of Thought)通常将AI的思考过程视为线性结构,忽略了非线性依赖关系。字节Seed在论文《The Molecular Structure of Thought》中首次定义了大模型长链思维的“分子式”。研究发现,所有有效的长链推理都由三种基本动作组合而成。

深度推理像共价键一样稳固,通过硬逻辑推进(如“因为A所以B”)。量化分析显示,加入深度推理后,模型的语义空间散点圈缩小22%,显著聚焦核心逻辑。
自我反思像氢键,具有弹性但稳定,能回溯检查假设。数据显示,81.72%的反思步骤会精准落回靠谱思路区域,同时压缩语义空间体积,筛除跑偏想法。
自我探索像范德华力,虽弱但覆盖面广,帮助模型跳出局部最优解。加入探索行为后,语义空间覆盖范围从23.95扩大到29.22,尽管稳定性下降,但能开辟新路径。

研究还发现,强推理模型的三种行为比例和转换规律高度一致,背后有严格的数学对应:Transformer的注意力权重计算与玻尔兹曼分布类似。深度推理能量最低,反思中等,探索最高,这种层级确保了推理路径的稳定性。

团队进一步提出“语义同分异构体”概念,指出相同题目可通过不同“化学键”组合得出正确答案,但只有推动“熵减”的结构才能被模型学会。实验表明,稳定的思路结构是模型学习长链推理的关键。

基于这些发现,团队开发了MoLE-Syn方法,从强推理模型中提取行为转移概率图,并指导普通模型生成稳定推理链。这种方法成本低且效果显著,初始化后的模型在强化学习中表现更稳定。

这项研究由字节Seed算法专家黄文灏主导,第一作者为哈尔滨工业大学博士陈麒光,合作单位包括北京大学、南京大学等。论文地址:https://arxiv.org/abs/2601.06002

原文链接
本文链接:https://kx.umi6.com/article/33136.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
字节Seed发布扩散语言模型,推理速度达2146 tokens/s,比同规模自回归快5.4倍
2025-08-01 15:00:45
字节Seed智能体模型UI-TARS-1.5开源
2025-04-17 19:52:37
字节Seed最新版原生智能体来了!一个模型搞定手机/电脑/浏览器自主操作
2025-09-05 13:18:29
字节发了个机器人全能大模型,带队人李航
2025-09-06 12:34:33
高盛警告:标普500指数已经约等于半个“AI指数”
2026-04-24 19:29:38
印度男子打造AI女网红狂骗美国寂寞男:吸引超百万粉丝
2026-04-23 08:55:54
英特尔CEO:CPU正重归AI核心地位
2026-04-24 11:08:56
CPU“严重供不应求” 供应链称国际大厂酝酿Q3再涨价
2026-04-23 16:19:37
Coordination Engineering关键一环,JiuwenClaw再发布Team Skills技能新范式
2026-04-24 15:16:25
外交部:中方坚决反对美方污蔑抹黑中国人工智能产业发展成就
2026-04-24 16:21:03
公募基金一季度加仓科技制造 减持信息技术和金融板块
2026-04-23 07:54:20
知情人士:华为云码道代码智能体日活增长18倍 本周上线Skill市场
2026-04-22 19:24:53
AI太烧钱!Meta裁员8000人再冻6000职位
2026-04-24 16:19:57
24小时热文
更多
扫一扫体验小程序