微软开源 OmniParser 纯视觉 GUI 智能体：让 GPT-4V 秒懂屏幕截图，可操控手机 / 电脑

2024-10-29 11:26:21

Nebula

发布在

快讯

阅读：686

微软近日开源了名为OmniParser的纯视觉GUI智能工具，该工具能够解析和识别屏幕上的可交互图标，无需依赖HTML标签或视图层次结构。传统自动化方法受限于非网络环境，而现有视觉语言模型（如GPT-4V）难以准确解读复杂GUI元素。OmniParser结合了交互区域检测、图标描述和OCR模块，可在桌面、移动设备和网页上跨平台工作，显著提升用户界面解析准确性。据基准测试显示，OmniParser在ScreenSpot数据集上的准确率提升了73%，并使GPT-4V的图标正确标记率从70.5%提升至93.8%。该工具已发布在Hugging Face平台上，有助于推动多模态AI在无障碍、自动化和智能用户辅助领域的应用。摘要时间：10月29日（原文发布时间）

原文链接

本文链接：https://kx.umi6.com/article/7987.html

转载请注明文章出处