OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE

2025-12-14 14:46:00

跨界思维

发布在

快讯

阅读：1064

正文：2025年12月，OpenAI开源新模型，采用Circuit Sparsity技术，99.9%权重为零，仅保留关键连接，提升模型可解释性。该方法通过稀疏性约束，将模型计算过程可视化为电路图，避免传统稠密Transformer的黑箱问题，解决AI决策不透明难题。相比主流MoE模型，Circuit Sparsity追求原生稀疏性，减少信息干扰，但算力成本高，训练和推理效率低。团队提出两种优化方向：从密集模型提取稀疏电路或改进训练机制。未来计划扩展至更大模型，探索复杂推理电路。此研究为AI可解释性迈出重要一步。参考链接：[1] [2]

原文链接

本文链接：https://kx.umi6.com/article/30206.html

转载请注明文章出处

Circuit Sparsity