告别复杂提示词！蚂蚁新方式让AI自动理解你的个性化需求

与AI对话时，许多人感到它只是“说空话”。为了让AI理解自己，用户甚至不得不学习复杂的“提示词技巧”，编写长指令。然而，蚂蚁通用人工智能研究中心提出了一种新方法——AlignXplore，通过强化学习从用户行为中归纳偏好，并动态更新。

AlignXplore的核心是让AI从“规则执行者”进化为“模式发现者”，掌握归纳推理能力。不同于演绎推理的逻辑推导，归纳推理基于用户行为数据提炼个性化规律。例如，AI通过你追问的问题、跳过的回答或点赞的笑话，逐步拼凑出你的偏好画像。

该方法包括两个阶段：
1. 冷启动训练：引入强大的“导师模型”生成高质量教学案例，筛选出优质数据进行偏好归纳模型的初始训练。
2. 强化学习：采用GRPO算法，模型根据用户行为生成多种推理路径和偏好结论，并通过奖励机制优化判断能力。

AlignXplore还支持流式偏好推断机制，无需反复回看历史记录，而是实时更新对用户的理解，灵活适应用户状态的变化。

实验表明，AlignXplore在个性化对齐任务中表现优异，相较于基座模型提升了15.49%。它具备高效性、泛化能力和鲁棒性，能处理长互动历史并适应偏好变化。

这项研究由人大博士生李嘉楠与蚂蚁团队共同完成，旨在探索大模型“情商”训练的可能性。未来，个性化AI或许将成为解决主观问题的重要途径。

— 完 —
量子位 QbitAI