OpenAI近期发布名为CriticGPT的新模型，基于GPT-4设计，专长于代码审查，能找出75%以上的bug，远超人类的25%。这款AI不仅能检测编程错误，还能提供有价值的批评，60%情况下受训人员更偏爱CriticGPT的反馈。研究者利用人为植入的bug和RLHF训练，使CriticGPT进化，挑战了人类在错误检测上的局限。CriticGPT的出现预示着RLHF的天花板可能不再限于人类，且为可扩展监督提供了新途径。然而，CriticGPT仍有提升空间，但它标志着AI辅助下的人机协作在困难任务中的进展。值得注意的是，OpenAI前员工Jan Leike已转至Anthropic继续此类研究，并在离职后向潜在研究者发出邀请。此外，OpenAI与谷歌的大模型竞争中，CriticGPT的发布是对Gemma 2开源的回应。尽管未达外界期待，但OpenAI此番论文公开显示了其一定程度的透明度。