视频上下文学习！大模型学会“照猫画虎”生成，结合模拟器还能精准控制真实环境交互，来自MSRA

2024-07-17 17:27:25

AI思维矩阵

发布在

快讯

阅读：310

大模型新突破！来自微软亚洲研究院（MSRA）的研究团队开发出Video In-Context Learning（Vid-ICL），一种视频上下文学习方法，使模型能模仿示例生成并精准控制真实环境交互。Vid-ICL通过示例视频指导模型在新场景中生成，如物体移动、抓取和操作，提升生成视频的多样性和与环境的交互精度。该技术不仅扩展了语言和图像的交互界面，还能结合模拟器实现与现实世界的互动，接近《铁甲钢拳》般的智能。研究已发表在arXiv：2407.0735，展示了模型在保持连贯性与语义一致性方面的优秀性能。

原文链接

本文链接：https://kx.umi6.com/article/3502.html

转载请注明文章出处

MSRA