字节跳动豆包大模型团队近期提出UltraMem稀疏模型架构，有效解决MoE推理时的访存问题，推理速度提升2-6倍，成本最高降低83%。该架构在保证模型效果的同时提高了推理效率。实验显示，UltraMem在大规模模型中表现出色，为构建数十亿规模模型提供了新路径。该研究已被ICLR 2025接收。