Claude 4如何思考？资深研究员回应：RLVR已在编程/数学得到验证

白交 发自 凹非寺
量子位 | 公众号 QbitAI

惊艳全球的Claude 4，其背后的思考方式是什么？Anthropic两位研究员在最新博客采访中透露了许多细节。

两位资深研究员Sholto Douglas与Trenton Bricken解答了公众的疑问：

• 可验证奖励强化学习（RLVR）已在编程和数学领域得到验证，因其领域内的清晰信号。
• 让AI获诺奖比获普利策小说奖更容易，因为品味问题是生成优质文章的关键难题。
• 明年此时，真正的软件工程Agent将开始实际工作，完成初级工程师一天的工作量。

此外，他们还讨论了强化学习的前景、模型的自我意识及对大学生的建议。

网友评价这期访谈见解密度高。两位研究员分别负责强化学习扩展与模型可解释性研究，均曾任职DeepMind。

Sholto Douglas指出，语言模型中的强化学习已发挥作用，证明正确反馈回路的重要性。当前阻碍Agent发展的关键在于良好反馈循环的建立。

与早期基于人类反馈的强化学习（RLHF）相比，RLVR能提供更客观、可验证的反馈，在编程和数学领域已得到证明。

Trenton Bricken认为，强化学习帮助模型专注于合理行为，但高可靠性仍是主要限制因素。Sholto Douglas强调，强化学习算法有能力向神经网络注入新知识。

关于模型的自我意识，Trenton Bricken提到，通过与“邪恶模型”对话，可解释性Agent能揭示其潜在行为，并验证其影响。这表明对齐或许比预期更易实现。

至于自主Agent的实现时间表，Sholto Douglas预计到明年此时，Agent能在Photoshop中添加效果、规划旅行或预订航班。到2026年底，它将能可靠完成复杂任务，如自主缴税。

最后，他们建议大学生思考解决世界挑战的方向，学习相关技能，并灵活适应AI带来的变化。同时，鼓励跨领域人才参与AI研究，涉及强化学习、可解释性及性能工程等领域。