标题：推理成本降低83%，字节最新大模型架构入围ICLR 2025

字节推出的新架构UltraMem，将推理成本大幅降低83%，相比MoE架构，推理速度提升2-6倍。UltraMem有效解决了MoE和PKM架构的局限性。

MoE在推理时激活全部专家，导致访存激增，延迟增加；PKM虽减少访存开销，但效果不佳且扩展能力有限。UltraMem模型在2000万个value下，实现了行业领先的推理速度和模型性能。

UltraMem通过优化模型结构、价值检索方式和隐式扩展稀疏参数，提高了访存效率和模型效果。实验显示，UltraMem在不同参数规模下均表现出色，且推理时间几乎不变。

该研究成果已被ICLR 2025接收，为构建更大规模的大模型提供了新路径。