近日，西安交通大学智能网络与网络安全教育部重点实验室团队研发了一项基于视觉的移动设备任务自动化方案——VisionTasker。该方案利用AI技术精准捕捉并解析用户意图，实现移动设备上多样化的任务自动化，为视障人群、老年人及驾驶员等提供便利。VisionTasker通过视觉理解用户界面，并结合大语言模型进行任务规划与执行，显著提升了界面适应性和任务完成效率。实验结果显示，VisionTasker在处理复杂用户界面和多步骤任务时，表现优于传统方法，甚至在某些情况下超过人类。该研究成果已在近期的人机交互顶级会议UIST上发表，标志着移动任务自动化领域的重大突破。 发布时间：2024年10月13-16日。