拜拜了GUI！中科院团队提出“LLM友好”计算机接口 大模型Agent自动操作电脑的理想很丰满，但现实却骨感。现有LLM智能体面临两大痛点：成功率低和效率差。复杂任务常让Agent卡住，简单任务也需要几十轮交互，耗时漫长。 问题出在哪？中国科学院软件研究所团队指出，瓶颈在于我们使用了40多年的图形用...

告别海量标注！浙大团队提出GUI-RCPO，让GUI定位在无标签数据上自我进化 无需海量标注数据，智能体也能精准定位目标元素了！浙大等机构的研究团队提出了一种名为GUI-RCPO的自我监督强化学习方法，使模型能够在无标签数据上自主提升图形界面定位（GUI grounding）能力。 什么是G...

让AI作画自己纠错！随机丢模块提升生成质量，告别塑料感废片 AI作画和视频生成可以“自我救赎”了！清华大学、阿里巴巴AMAP和中科院自动化研究所的研究团队提出了一种全新方法——S²-Guidance（随机自引导）。其核心亮点是通过随机丢弃网络模块动态构建“弱”子网络，实现生成过程的自我修正。这种方法...

2025年7月26日，荣耀正式发布并开源MagicGUI大模型，支撑YOYO智能体实现多模态感知与自动化执行。作为“阿尔法战略”重要里程碑，该模型效果比肩SOTA模型，并由荣耀Magic V5首发搭载。今年3月，荣耀在MWC大会上提出“阿尔法战略”，宣布从智能手机制造商向全球AI终端生态公司转型。未来5年，荣耀将投入100亿美元（约合716.49亿元人民币），分三个阶段构建智慧手机、智慧生态系统及智慧世界，推动AI设备生态发展，与全球伙伴共创AI新时代。

5月13日，在FORCE LINK AI创新巡展·上海站上，火山引擎发布豆包1.5·视觉深度思考模型。该模型参数仅20B，但在60个公开评测基准中有38个达到业界最佳表现。其在视频理解、视觉推理及新增的GUI Agent能力方面表现突出。视频理解领域引入动态帧率采样技术，提升视频时序定位能力；结合向量搜索，精准定位视频片段。视觉推理能力通过强化学习大幅提升，能自主推理并验证假设。新增的GUI Agent能力可在多种设备环境完成复杂交互任务，如App功能自动化检测，已在字节跳动多款产品中应用。目前，该模型已在火山方舟平台上线。

AI玩手机越来越溜！西湖大学发布新智能体AppAgentX，具备自我进化能力。 人工智能正经历前所未有的变革，大语言模型（LLM）推动智能系统从信息处理转向自主交互。以DeepSeek为代表的LLM，在文本创作、编程辅助等方面表现出色。然而，LLM的应用不仅限于此，它们正在创造新型智能体——GUI代...

清华大学智能产业研究院于2024年12月24日发布AutoDroid-V2 AI模型，该模型利用设备端的小型语言模型（SLM）提升移动设备上自然语言控制的自动化程度。相比传统方法依赖云端大型语言模型（LLM），AutoDroid-V2在效率、隐私和安全性方面有显著优势。它通过生成多步骤脚本一次性执行多个GUI操作，大幅减少查询频率和资源消耗。基准测试显示，AutoDroid-V2在23个移动应用上完成226项任务的成功率提高了10.5%-51.7%，且资源消耗和LLM推理延迟显著降低。

智谱技术团队于12月26日开源了GLM-PC基座模型CogAgent-9B-20241220，该模型基于GLM-4V-9B训练，专用于智能体任务。模型仅需屏幕截图作为输入，无需HTML等文本表征，可预测下一步GUI操作。相较于2023年12月开源的第一版，新模型在感知、预测准确性、动作空间完善性、任务普适性和泛化性方面显著提升，并支持中英文双语交互。模型输入包括自然语言指令、历史动作记录和GUI截图。输出包括思考过程、下一步动作的自然语言描述、结构化描述及敏感性判断。CogAgent-9B-20241220在多个数据集上测试表现优异，证明了其强大性能。

标题：Claude自动玩崩铁清日常，NUS新论文完整测评AI电脑操控 正文： 新加坡国立大学团队测试了Claude在20多个场景下的表现，其中最吸引人的是AI能自动玩手游并完成日常任务。研究中选用米哈游的《崩坏：星穹铁道》，只需对Claude说“帮我完成今天的模拟宇宙”，它就能自动打开游戏菜单、找到...

新加坡国立大学团队近期发布的一项新论文显示，AI系统Claude能够自动操控电脑，完成多种任务，包括游戏和办公任务。在《崩坏：星穹铁道》游戏中，Claude能自动完成日常任务，如挑战模拟宇宙，甚至启动自动战斗。此外，Claude还能在Amazon和Apple官网成功下单购物，添加歌曲到Apple Music，编辑Excel数据，安装应用，并在Outlook中转发邮件等。尽管在一些复杂的网页操作和办公软件任务中出现了失败案例，但整体表现令人印象深刻。该研究提出了一个开箱即用的自动GUI框架，展示了Claude的强大潜力。此研究成果已于近日发布，未来值得期待。 摘要保留了关键信息，包括时间、地点、事件及研究的主要发现，符合新闻三要素。