标题：ChatGPT后训练方法被OpenAI离职联创公开，PPT全网转～

正文： 离开OpenAI后，两位前联合创始人John Schulman和Barret Zoph公开了ChatGPT后训练方法的PPT。John Schulman曾是OpenAI后训练共同负责人，Barret Zoph也曾担任后训练研究VP。

John Schulman在推特上表示，他们在斯坦福做了一场关于后训练及ChatGPT经验的演讲，但未被录制。他们希望通过网络找到演讲录音或视频。

有网友证实，演讲质量很高。有人希望了解更多关于训练后阶段的进展，如推理模型、DeepSeek RL等。

PPT中介绍了后训练阶段的目标和具体步骤，包括监督微调（SFT）、奖励模型（RM）训练和强化学习（RL）。此外，还回顾了ChatGPT的发展历程，展示了模型功能的演变。

John Schulman和Barret Zoph还讨论了在功能扩展和公司规模增长的背景下如何整合变化，包括通过主线模型设置来降低风险。他们提到了一些挑战，如模型生成文本时的拼写错误和过度拒绝问题，并提出了解决方案。

他们还探讨了模型偏见、虚假内容生成等问题，以及如何获取高质量人类反馈。最后，他们推荐了一些关于后训练的论文和博客。

John Schulman和Barret Zoph离开OpenAI后，加入了OpenAI前CTO Mira Murati的新创业项目Thinking Machines Lab。