正文：近日，南洋理工大学的研究团队发布了全球首个VR端3D角色扮演AI系统SOLAMI，该系统能够识别用户肢体语言并进行沉浸式聊天。SOLAMI支持多种角色，包括蝙蝠侠、机器人等，能根据用户语音和动作生成相应的回应。它采用端到端VLA模型，结合Motion Tokenizer和Speech Tokenizer编码用户输入，通过LLM基座生成角色的语音和动作，再通过解码器驱动角色。SOLAMI的训练分为多任务预训练和指令微调两阶段，使用合成数据集提高模型性能。实验显示，SOLAMI在动作和语音质量上均优于对比方法，延迟更低。该技术为AI角色扮演提供了新方向。项目主页：