1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
至知研究院提出大模型可解释性新路线:拆权重,数据成本不到1%
近日,至知创新研究院联合牛津、斯坦福及清华等机构,提出大模型机制可解释性新路线——“稀疏权重分解”(SWD)方法。传统研究常需训练替代网络来理解模型,而SWD直接从现有预训练权重中“拆”出可独立干预的稀疏计算路径。实验表明,在GPT-2、Qwen系列及27B参数规模模型上,SWD仅需不到传统方法1%的数据成本,便能以更少的瓶颈单元精准抽取任务回路,且支持全模型替换与零数据版本。该研究大幅降低了大模型“黑箱”解析成本,为理解大模型内部机制提供了轻量、高效的新方案。相关论文与代码已开源。
像素宇宙
08-15 15:15:17
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序