标题：LeCun团队推出世界模型二代：62小时搞定机器人训练，开启物理推理新时代

闻乐 发自 凹非寺
量子位 | 公众号 QbitAI

物理学正迈向人工智能领域，Meta开源发布了V-JEPA 2世界模型。这款由图灵奖得主Yann LeCun主导研发的AI模型，能够像人类一样理解物理世界。

世界模型的核心能力包括理解、预测和规划。V-JEPA 2（Meta Video Joint Embedding Predictive Architecture 2）是首个基于视频训练的世界模型，利用互联网上的视频和图像数据进行预训练，无需语言监督，展现了纯视觉自监督学习的强大潜力。

在训练过程中，V-JEPA 2分为两阶段：无动作预训练和动作条件训练。最终，该模型在多个任务中表现出色，如在行为预测任务中达到当前最佳水平，同时在视频问答任务中也展示出领先性能。

针对机器人操作，V-JEPA 2可通过编码器和预测器生成规划控制模型，仅需62小时训练即可实现高效规划。无论是短时间任务还是长时间任务，该模型都能通过视觉子目标指导机器人完成操作，成功率可达65%-80%。

此外，Meta推出了三个新基准测试（IntPhys 2、MVPBench、CausalVQA），用于评估模型的物理理解能力。尽管人类在这些任务中表现优异，但当前模型仍需进一步优化以缩小与人类表现的差距。

未来，Meta计划开发分层次和多模态的JEPA模型，以支持跨时间尺度的规划及多感官预测能力。项目代码已公开于GitHub和Hugging Face平台。

— 完 —