标题：Claude自动玩崩铁清日常，NUS新论文完整测评AI电脑操控

正文： 新加坡国立大学团队测试了Claude在20多个场景下的表现，其中最吸引人的是AI能自动玩手游并完成日常任务。研究中选用米哈游的《崩坏：星穹铁道》，只需对Claude说“帮我完成今天的模拟宇宙”，它就能自动打开游戏菜单、找到“黄金花萼”、设置挑战次数，并启动自动战斗。

这项技术不仅限于游戏，Claude还能智能理解规则和目标，在不同任务间灵活调整。它还展示了在网页搜索、办公软件操作等方面的强大能力，如在Amazon和Apple官网下单购物、在Apple Music添加歌曲、编辑Excel数据等。

Claude Computer Use的潜力远未被完全挖掘。该系统基于API设计了一个自动化GUI框架，分为系统提示、状态观察、推理范式、工具使用、GUI动作空间和历史视觉上下文维护六个部分。团队设计了详尽的测试实验，涵盖了网页搜索、工作流程、办公生产力和视频游戏等多个领域。

尽管Claude在某些复杂操作中偶尔失败，比如未能正确导航到特定网页选项卡或准确选择文本字段，但整体表现令人印象深刻。团队已公开所有测试用例的具体信息，未来值得期待。

参考资料： https://arxiv.org/pdf/2411.10323 https://github.com/showlab/computer_use_ootb