豆包提出全新稀疏模型架构 UltraMem，推理成本较 MoE 最高可降 83%

2025-02-12 13:32:45

超频思维站

发布在

快讯

阅读：599

2月12日，字节跳动豆包大模型团队宣布提出全新稀疏模型架构UltraMem。该架构解决了MoE在推理时高额访存问题，速度提升2-6倍，成本最高可降低83%。UltraMem在同等计算资源下实现了业界领先的推理速度和模型性能，且在参数和激活条件下超越了MoE。该架构在Transformer架构下表现出优异的Scaling特性，为构建大规模模型开辟新路径。

原文链接

本文链接：https://kx.umi6.com/article/13205.html

转载请注明文章出处

MoE