近日，星尘智能发布在线强化学习框架SmoothRL，旨在解决大模型异步推理下机器人在线学习的“对错账”难题。由于真实机器人无法暂停等待模型推理，导致模型生成的动作序列与实际执行的动作存在偏差。SmoothRL创新性地将动作序列划分为已提交、执行和丢弃三个区域，仅对真正执行的动作进行强化学习。在星尘S1机器人的真机测试中，该框架在高动态投掷、给笔戴帽和快递开箱任务中成效显著，投掷成功率从39%飙升至94%，动作也更平滑。SmoothRL有效修正了预训练模型在真实物理世界中的执行偏差，进一步推动了具身智能的规模化部署。

AI在线强化学习“边做边学”，斯坦福团队让7B小模型性能飙升，甚至超越GPT-4o 斯坦福大学团队提出了一种名为AgentFlow的新框架，通过在线强化学习显著提升了智能体系统的推理能力。该框架由规划器、执行器、验证器和生成器四个专业智能体组成，利用共享内存协作，并通过创新的Flow-GRPO算法实...