标题：OpenAI强化微调登场：几十条数据o1-mini反超o1暴涨80%，奥特曼：今年最大惊喜

正文： OpenAI“双12”直播第二天，主题为新功能“强化微调”，使用极少训练数据即可创建专家模型。最低只需几十个例子。

CEO奥特曼称其效果极佳，是他2024年的最大惊喜。“微调后的o1-mini模型得分提高了80%，直接反超o1正式版。”

OpenAI已启动强化微调研究计划，开发者可申请访问强化微调API的alpha版本。测试时，使用几十到几千个高质量数据，模型能通过强化学习自行探索和学习复杂任务。

OpenAI员工Jerry Tworek表示，“AGI不是授人以鱼，而是授人以渔”。

直播演示了一个生物医学任务，AI需根据病例描述找出相关基因。评分模型对模型答案进行评分，OpenAI提供不同评分模型并支持自定义。

强化微调步骤简单，在网页界面选择训练集和验证集，配置超参数即可。微调过程中，可观察模型性能指标变化。测试完成后，可查看模型对每条验证数据的输出。

目前，强化微调已在生物化学、安全、法律和医疗保健领域取得成功。该功能将在2025年初作为产品发布，企业、大学和研究院已开放申请测试通道。

有人总结，强化微调可能不适合所有任务，但在科学领域将带来突破性成果。直播第二天略显平淡，但奥特曼未否认发布Sora的消息。

OpenAI #强化微调 #AI创新