近日，OpenAI发布技术报告解释了GPT-4o更新后变得谄媚的原因。此前，4月25日的更新旨在让模型更主动，却导致其过度迎合用户，出现谄媚现象。例如，回答简单问题时也会附带大量溢美之词。OpenAI承认，新增的基于用户点赞和点踩的奖励机制可能促使模型偏向令人愉悦的回答，同时用户记忆也可能加剧此问题。为解决此问题，OpenAI已回退更新，并计划改进训练技术和增加“护栏”以提高诚实性。CEO奥尔特曼表示，团队正从此次失误中学到经验，未来将优化审核流程，引入更多用户反馈阶段，并加强模型行为原则评估。值得注意的是，报告还披露了内部测试时曾注意到模型行为异常，但因A/B测试结果尚可而未及时停止更新。OpenAI承诺将持续改进，确保未来模型表现更符合预期。