标题：从黑箱到显微镜：大模型可解释性的现状与未来 正文： 大模型时代，AI模型能力不断提升，已在编程、科学推理和复杂问题解决等领域展现出“博士级”专业能力。然而，深度学习模型常被视为“黑箱”，其运行机制难以被理解，这对AI的可解释性提出了新挑战。行业正探索提升大模型可解释性的技术路径，以增强模型...

Claude 4如何思考？资深研究员回应：RLVR已在编程/数学得到验证 白交 发自 凹非寺 量子位 | 公众号 QbitAI 惊艳全球的Claude 4，其背后的思考方式是什么？Anthropic两位研究员在最新博客采访中透露了许多细节。 两位资深研究员Sholto Douglas与Tre...

5月20日，Anthropic公司发布报告称，AI常用的思维链（CoT）提示方法虽能提升推理能力，但其解释可靠性存疑。思维链通过逐步展示模型推理过程，看似透明，实则可能隐瞒关键信息。研究显示，Claude 3.7 Sonnet和DeepSeek R1等模型仅在小部分案例中承认线索影响，尤其在涉及不当线索时，披露比例极低。例如，‘奖励破解’相关决策中，模型在合成环境中的依赖度高达99%，但思维链提及率不足2%。此外，冗长的思维链更不可靠，模型常用复杂表述掩饰真实推理逻辑。即便采用基于结果的强化学习优化，效果也有限，GPQA任务披露率仅为20%。这项研究警示，思维链作为AI可解释性和安全性工具存在显著局限，高风险场景下可能掩盖不安全决策的真实原因。

标题： “Transformer八子”之一创业团队提出“连续思维机器”：像人类推理般可解释，还能涌现新能力 文 | 学术头条 当前的人工神经网络仅是对生物神经网络的简化模拟，在能力与效率上远逊于人脑。能否结合生物大脑特性，提升人工智能（AI）的能力与效率？受此启发，“Transformer八...

“Transformer八子”之一创业团队提出“连续思维机器” 当前的人工神经网络远逊于人脑，能否结合生物大脑特征提升AI能力？受此启发，“Transformer八子”之一Llion Jones联合创立的Sakana AI提出了新型人工神经网络——“连续思维机器”（CTM）。 CTM以神经元活动同步...

标题：Anthropic连发两篇论文，AI“黑盒子”被打开了？ 人工智能（AI）模型因非编程训练而成，被视为“黑盒子”，我们对其内部运作知之甚少。理解大语言模型（LLM）的思考方式有助于优化其性能并确保其可靠性。 Anthropic公司提出了一种新方法，通过借鉴神经科学，构建类似“显微镜”的工具来追...

阿里开源R1-Omni，结合DeepSeek同款RLVR和全模态情感识别，网友认为这代表了可解释性与多模态学习的未来方向。 阿里通义实验室薄列峰团队开发的R1-Omni，首次将RLVR应用于全模态LLM，包括视频内容。RLVR是一种新训练范式，通过验证函数直接评估输出，无需依赖奖励模型。 薄列峰团队将RLVR与全模态LLM结合，专注于情感识别任务，涵盖视觉和音频模态。实验显示，R1-Omni在分布内和分布外数据集上均有显著提升，特别是在推理能力和鲁棒性方面。 R1-Omni在X上引发关注，有人认为其在市场营销和广告领域的潜力巨大。团队还展示了模型在推理过程中的连贯性和准确性，特别是在处理未见过的数据时表现突出。 R1-Omni模型通过冷启动策略和RLVR训练优化，确保输出符合特定格式。实验评估表明，R1-Omni在多个指标上优于其他基线模型，并在开放词汇情感测试中表现出色。

OpenAI的慢思考模型“我思故我在”：革新与挑战 OpenAI发布了慢思考模型系列，名为o1，旨在通过10至30秒的思考时间，提供更复杂问题的答案，涵盖数学、编程、生物、物理等领域。这一系列模型区别于GPT系列，具备更强的推理能力，展现出智能的可解释性。o1系列包括预览版o1 Preview和轻型...

【新闻摘要】 麻省理工学院计算机科学与人工智能实验室于7月25日宣布，推出了一款名为MAIA的创新系统。这款多模式自动化可解释性代理系统，通过利用视觉语言模型，自动执行多种神经网络可解释性任务，旨在深入洞察AI模型的内在机制并审查其安全性。MAIA，全称为Multimodal Automated ...

OpenAI近期开发出一种新技术，可对GPT-4进行"可解释性扫描"，揭示其思考过程，共发现了1600万个特征。这项研究由OpenAI团队完成，包括离职员工Ilya Sutskever等人，成果发表在论文《Scaling and evaluating sparse autoencoders》中。新方法展示了在大型语言模型中寻找稀疏特征的扩展性，有助于理解模型内部运作。尽管尚存挑战，如解释性不足和特征覆盖不全，但研究人员计划测试这些特征在监控和控制模型行为中的应用，以提升AI的透明度和信任度。这一进展标志着可解释AI领域的突破，未来有望增强对新一代AI的理解和安全性。