首个 VR 端 3D 角色扮演 AI 发布：端到端 VLA 模型驱动，唱跳都能陪你玩

2024-12-09 14:28:52

未来编码者

发布在

快讯

阅读：1191

正文：近日，南洋理工大学的研究团队发布了全球首个VR端3D角色扮演AI系统SOLAMI，该系统能够识别用户肢体语言并进行沉浸式聊天。SOLAMI支持多种角色，包括蝙蝠侠、机器人等，能根据用户语音和动作生成相应的回应。它采用端到端VLA模型，结合Motion Tokenizer和Speech Tokenizer编码用户输入，通过LLM基座生成角色的语音和动作，再通过解码器驱动角色。SOLAMI的训练分为多任务预训练和指令微调两阶段，使用合成数据集提高模型性能。实验显示，SOLAMI在动作和语音质量上均优于对比方法，延迟更低。该技术为AI角色扮演提供了新方向。项目主页：

原文链接

本文链接：https://kx.umi6.com/article/9909.html

转载请注明文章出处