.png)
标题：推理成本降低83%，字节最新大模型架构入围ICLR 2025
字节推出的新架构UltraMem，将推理成本大幅降低83%，相比MoE架构，推理速度提升2-6倍。UltraMem有效解决了MoE和PKM架构的局限性。
MoE在推理时激活全部专家，导致访存激增，延迟增加；PKM虽减少访存开销，但效果不佳且扩展能力有限。UltraMem模型在2000万个value下，实现了行业领先的推理速度和模型性能。
UltraMem通过优化模型结构、价值检索方式和隐式扩展稀疏参数，提高了访存效率和模型效果。实验显示，UltraMem在不同参数规模下均表现出色，且推理时间几乎不变。
该研究成果已被ICLR 2025接收，为构建更大规模的大模型提供了新路径。
原文链接
本文链接：https://kx.umi6.com/article/13193.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "13193")
相关推荐
.png)
换一换
字节豆包团队推出稀疏模型架构UltraMem：推理成本可降83%
2025-02-13 20:17:10
对话汪华：现在的大模型，还是支撑不了大体量的免费商业模式
2024-08-15 11:30:06
对话中国工程院院士郑纬民：DeepSeek，究竟厉害在哪里
2025-01-27 12:28:38
每2秒吃透一道高数大题！华为终于揭秘准万亿MoE昇腾训练系统全流程
2025-05-30 16:54:34
OpenAI到底亏了多少钱？
2024-08-05 15:55:09
大模型界「摩尔定律」Densing Law 来了！盲目Scaling将过时！
2024-12-11 17:30:27
DeepSeek前实习生魔改MoE，用迭代机制把内存需求砍了42%，团队：“免费午餐”优化方法
2025-03-08 11:43:54
对话蜜度CTO刘益东：价格战、MoE......中国AI大模型下一步“卷”什么？
2024-07-05 20:47:52
腾讯放大招，超Meta！史上参数最大，开源专家混合模型
2024-11-07 10:59:44
字节豆包大模型团队提出稀疏模型架构 推理成本最高可降低83%
2025-02-12 13:34:52
豆包提出全新稀疏模型架构 UltraMem，推理成本较 MoE 最高可降 83%
2025-02-12 13:32:45
腾讯推出 Hunyuan-Large 大模型：389B 总参数，业界已开源基于 Transformer 的最大 MoE 模型
2024-11-05 17:04:28
直指端侧痛点 豆包向推理算力又“砍了一刀”：新模型架构最高降本83%
2025-02-12 14:35:40
482 文章
178409 浏览
24小时热文
更多
-
2025-09-07 00:40:01 -
2025-09-06 23:39:46
-
2025-09-06 22:39:24
