4月17日，字节跳动旗下的豆包大模型团队发布了基于视觉-语言模型的开源多模态智能体UI-TARS-1.5。该智能体能在虚拟环境中高效完成任务，支持真实设备及浏览器的操作。相较于前代，UI-TARS-1.5通过强化学习提升了高阶推理能力，强调“行动前思考”。团队提出以游戏为载体提升基础模型的通用推理能力，因其更依赖常识而非专业知识。UI-TARS-1.5具备四大技术优势：视觉感知增强、System 2推理机制、统一动作建模以及可自我演化的训练方式。项目已在GitHub、官网及Arxiv上开源。

《科创板日报》17日消息，字节跳动旗下豆包大模型团队今日发布并开源了UI-TARS-1.5，这是一款基于视觉-语言模型打造的开源多模态智能体。该模型具备在虚拟环境中高效完成多种任务的能力，尤其在7个GUI图形用户界面评测基准中达到了SOTA（最高性能）。此外，UI-TARS-1.5首次展示了其在游戏中的长时推理能力和开放空间中的交互能力，标志着多模态智能体技术的重要进展。