至知研究院提出大模型可解释性新路线：拆权重，数据成本不到1%

2026-08-15 15:15:17

像素宇宙

发布在

快讯

阅读：2360

近日，至知创新研究院联合牛津、斯坦福及清华等机构，提出大模型机制可解释性新路线——“稀疏权重分解”（SWD）方法。传统研究常需训练替代网络来理解模型，而SWD直接从现有预训练权重中“拆”出可独立干预的稀疏计算路径。实验表明，在GPT-2、Qwen系列及27B参数规模模型上，SWD仅需不到传统方法1%的数据成本，便能以更少的瓶颈单元精准抽取任务回路，且支持全模型替换与零数据版本。该研究大幅降低了大模型“黑箱”解析成本，为理解大模型内部机制提供了轻量、高效的新方案。相关论文与代码已开源。

原文链接

本文链接：https://kx.umi6.com/article/37473.html

转载请注明文章出处

可解释性