2月13日，字节跳动豆包大模型Foundation团队宣布推出UltraMem稀疏模型架构。该架构通过计算与参数分离，解决了推理过程中的访存问题。UltraMem相比传统MoE架构，推理速度提升2至6倍，成本降低最多83%。实验显示，在2000万value的训练规模下，UltraMem展现顶级性能，为大规模模型发展铺平道路。