2025年11月，OpenAI发布新研究，通过训练稀疏神经网络破解大模型“黑箱”问题。研究人员发现，结构简单、连接稀疏的模型内部存在清晰可解释的电路，为理解AI决策机制提供全新方向。该方法通过大幅减少神经元连接，使模型计算更透明，有助于揭示大模型为何产生幻觉或失控。实验表明，稀疏模型在保持能力的同时提升了可解释性。尽管当前技术仅能解释部分行为，OpenAI计划将方法扩展至更大模型，并探索从密集模型中提取稀疏电路的技术。此研究对提升AI安全性与可信度具有重要意义。

2月13日，字节跳动豆包大模型Foundation团队宣布推出UltraMem稀疏模型架构。该架构通过计算与参数分离，解决了推理过程中的访存问题。UltraMem相比传统MoE架构，推理速度提升2至6倍，成本降低最多83%。实验显示，在2000万value的训练规模下，UltraMem展现顶级性能，为大规模模型发展铺平道路。

字节跳动豆包大模型团队近期提出UltraMem稀疏模型架构，有效解决MoE推理时的访存问题，推理速度提升2-6倍，成本最高降低83%。该架构在保证模型效果的同时提高了推理效率。实验显示，UltraMem在大规模模型中表现出色，为构建数十亿规模模型提供了新路径。该研究已被ICLR 2025接收。