AI玩手机越来越溜！西湖大学发布新智能体AppAgentX，具备自我进化能力。

人工智能正经历前所未有的变革，大语言模型（LLM）推动智能系统从信息处理转向自主交互。以DeepSeek为代表的LLM，在文本创作、编程辅助等方面表现出色。然而，LLM的应用不仅限于此，它们正在创造新型智能体——GUI代理。这类智能体能理解指令并直接操作计算机和手机，带来更自然高效的交互方式。

当前，LLM代理虽有强大推理能力，但在任务执行效率上存在瓶颈。为此，西湖大学AGI实验室张驰团队推出AppAgentX，一款具备自我进化能力的GUI代理。它能在执行任务中学习并优化行为模式，提高操作效率。

AppAgentX的关键创新包括：

• 自动归纳高效操作模式：代理在执行任务时，能检测并总结重复性操作，形成更高级别的“一键”操作。
• 任务执行更快，减少重复计算：传统LLM代理需每次重新推理操作流程，而AppAgentX能记忆并复用策略，避免重复推理，使任务执行更流畅。
• 完全基于视觉操作，适用广泛：AppAgentX仅依赖屏幕视觉信息，无需访问后端API，适用于各种软件和设备。

现有智能体如RPA依赖预设规则或API，缺乏灵活性。GUI代理则通过屏幕视觉、鼠标和键盘操作软件界面，自主学习并执行复杂任务。例如：整理文档、批量发送邮件、处理图像、生成视频、批量录入数据、自动处理订单等。

AppAgentX的核心思路是让智能体学会“进化”。它将任务过程分解成多个重叠的三元组，包含页面内容和UI元素的功能描述。智能体还会生成“捷径节点”，整合底层操作为高级动作，提升执行效率。实验结果显示，AppAgentX在多个GUI交互任务上展现了显著的“降本增效”。

总体而言，AppAgentX作为创新的移动终端交互技术，提升了执行效能，实现了无需后端访问的图形界面智能操作系统。