Claude团队开源LLM思维可视化工具“电路追踪”

西风 | 凹非寺量子位 | QbitAI

Claude团队推出“电路追踪”工具，帮助用户读懂大模型的“脑回路”。该工具通过生成归因图，可视化LLM内部超节点及其连接关系，呈现模型处理信息的路径。研究人员可通过干预节点激活值，验证各节点功能并解码模型的“决策逻辑”。

开源库支持主流开源权重模型快速生成归因图，Neuronpedia前端界面则允许用户交互式探索。用户可生成归因图、可视化注释分享图表，还可通过修改特征值观察模型输出变化。

Anthropic CEO Dario Amodei表示，希望通过开源工具促进模型内部机制研究。项目发布不到24小时，已在GitHub收获400+星标，Reddit和X上也有大量讨论。

工具支持多种应用场景，例如解析两阶推理问题。通过归因图，用户能验证假设并探索模型行为。Anthropic还展示了多语言电路的干预实验，揭示模型在不同语言间的切换机制。

更多细节可查看GitHub链接和参考文献。