.png)
标题：推理成本降低83%，字节最新大模型架构入围ICLR 2025
字节推出的新架构UltraMem，将推理成本大幅降低83%，相比MoE架构，推理速度提升2-6倍。UltraMem有效解决了MoE和PKM架构的局限性。
MoE在推理时激活全部专家，导致访存激增，延迟增加；PKM虽减少访存开销，但效果不佳且扩展能力有限。UltraMem模型在2000万个value下，实现了行业领先的推理速度和模型性能。
UltraMem通过优化模型结构、价值检索方式和隐式扩展稀疏参数，提高了访存效率和模型效果。实验显示，UltraMem在不同参数规模下均表现出色，且推理时间几乎不变。
该研究成果已被ICLR 2025接收，为构建更大规模的大模型提供了新路径。
原文链接
本文链接：https://kx.umi6.com/article/13193.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "13193")
相关推荐
.png)
换一换
MoE那么大，几段代码就能稳稳推理 | 开源
2025-07-02 18:09:04
推理成本打到1元/每百万token，浪潮信息撬动Agent规模化的“最后一公里”
2025-12-26 15:45:08
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
2025-12-14 14:46:00
大模型的中场战事：CoE or MoE ？
2024-08-03 11:48:38
每2秒吃透一道高数大题！华为终于揭秘准万亿MoE昇腾训练系统全流程
2025-05-30 16:54:34
昆仑万维开源2千亿稀疏大模型天工MoE，全球首创用4090推理
2024-06-06 18:12:00
DeepSeek开源第二弹，为MoE和EP量身定制的通信库！暂和英伟达显卡绑定
2025-02-25 11:49:28
刚刚，全球首个具身专属的MoE视频模型，开源了！
2026-07-09 14:03:20
李飞飞实验室2025 AI报告出炉：AI推理成本降低至1/280
2025-04-08 23:18:28
“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE
2024-06-03 18:55:11
字节豆包团队推出稀疏模型架构UltraMem：推理成本可降83%
2025-02-13 20:17:10
MoE 高效训练的 A/B 面：与魔鬼做交易，用「显存」换「性能」
2024-06-07 18:18:13
阿里开源智能体编程模型Qwen3-Coder-Next ，推理成本大降
2026-02-04 11:35:59
748 文章
867506 浏览
24小时热文
更多
-
2026-07-24 00:15:46 -
2026-07-24 00:14:08
-
2026-07-24 00:12:30
