标题：西北大学与谷歌提出新框架：贝叶斯自适应强化学习提升LLM推理能力

西北大学与Google、谷歌DeepMind团队提出了一种名为贝叶斯自适应强化学习(BARL)的新框架，首次系统解释了大型语言模型(LLM)如何在推理中进行反思并探索新策略。传统强化学习(RL)中，模型在测试时倾向于利用已学策略，而忽视了反思性探索的重要性。BARL通过引入对环境不确定性的建模，使模型能够在推理中自适应地调整策略。

实验表明，在合成任务中，采用BARL训练的模型能够排除无效假设并适时切换策略，而在数学推理任务中，BARL不仅提升了准确性，还大幅减少了生成token的数量。此外，BARL的反思行为更具针对性，其每一步骤的贝叶斯价值显著高于传统RL模型，确保了每次反思都能带来信息增益。

通过对比传统RL和BARL在合成任务中的表现，可以清晰看到，传统RL模型因缺乏灵活性在面对新情况时表现不佳，而BARL模型则展现出更强的适应性和反思能力。这项研究强调了反思性探索在LLM推理中的重要性，并为构建更高效的智能系统提供了理论支持。相关代码和论文已公开发布。