近日，UC伯克利华人博士团队研发的LeVERB框架首次实现人形机器人视觉感知与运动控制的无缝衔接。该框架通过模拟数据训练，实现零样本部署，使机器人能根据语言指令完成复杂动作，如“坐在椅子上”“跨过箱子”等。团队在宇树G1机器人上进行测试，简单任务成功率达80%，整体任务成功率58.5%，性能比传统方案强7.8倍。为评估该框架，团队还推出首个面向人形机器人全身控制的视觉-语言闭环基准LeVERB-Bench，包含154个视觉-语言任务和460个仅语言任务。项目主要负责人薛浩儒来自卡内基梅隆大学，目前在UC伯克利攻读博士学位，团队成员半数为华人。