1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

GPT-6 Astra的发布让“循环Transformer”技术爆火。其核心是让同一组网络层反复运行,不增加参数规模而加深计算。但学界发现该模型易陷入“计算冗余”:首轮计算后,后续轮次增量极小,沦为“陪跑”。

针对此痛点,阿里团队早有布局,连发两篇顶会论文破局: 一是获ICLR 2026接收的MeSH。研究发现后续循环“摸鱼”源于计算无分化与信息过载。MeSH引入动态“记忆柜”和读写路由器,让每轮循环动态调配信息、明确分工。实验显示,减少约33%参数后,模型准确率反而提升。

二是获EMNLP 2026接收的SpiralFormer。它打破每轮处理完整序列的定式,让模型以“从粗到细”的尺度观察数据:初期压缩序列看全局,后期还原抠细节。这有效降低了计算量并提升了成绩。

简言之,MeSH解决循环间“拿什么算”的信息分工,SpiralFormer解决“以多大粒度算”的尺度分工。两项研究直击架构卡点,让“用更少参数撑起更强模型”成为可能,为循环Transformer成为下一代大模型路线夯实了基础。

原文链接
本文链接:https://kx.umi6.com/article/37754.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
Mythos架构被22岁小伙“逆推”开源了!MoE和注意力借鉴DeepSeek
2026-04-20 16:12:29
马斯克收购Mesh,打通卫星光通信「关键一步」
2026-07-02 18:12:52
17岁天才少年被曝加入美国AI初创公司:团队里全是谷歌老将
2026-10-21 12:30:21
启元机器人新进展:北大董豪团队推出 HIL-UMI,让后训练摆脱「真机依赖」
2026-10-20 12:14:41
GPT证千禧年难题成果大反转!OpenAI自己没看懂就发…
2026-10-16 14:09:23
通研院孵化的团队,也盯上了RSI
2026-10-19 23:37:06
推翻一切!Nick Cammarata 万字长文宣告,AI 不是黑箱,99% 神经元清晰可见
2026-10-16 20:35:04
“山姆品质暴跌你还敢去吗”登热搜 山姆:遭数千条虚假信息恶意攻击
2026-10-19 15:06:58
巴西49岁男子深坠情网 卖光家当奔现2000公里发现女友是AI
2026-10-20 12:13:15
刚刚,Mythos 5破解量子计算重大难题!53小时碾压人类数年
2026-10-17 11:16:55
具身记忆赛道持续升温,长记忆迎来新 SOTA
2026-10-22 10:39:20
巅峰估值50亿美元的AI独角兽 何以不到0.1折贱卖
2026-10-17 00:48:30
从智能眼镜到个人AI智能体,可穿戴设备正在重塑个人计算
2026-10-16 16:20:36
24小时热文
更多
扫一扫体验小程序