又是浙大校友！AI眼镜“隔空取物”，戴上即可随心选中现实世界任意物体

通过AI眼镜实现“隔空抓物”不再是科幻。Reality Proxy技术让混合现实设备能够即时选择现实世界中的物体，作为交互上下文。无论是书籍检索、建筑导航，还是多无人机协作，都能轻松完成。

Reality Proxy：打破物理条件限制
传统的XR设备常因目标过小或手部颤抖等问题导致选择困难。Reality Proxy通过为现实物体生成抽象数字代理，让用户摆脱距离和大小的限制。用户只需操作代理即可间接选择实际物体。系统分为三大步骤：
1. 激活代理：检测视线范围内物体并生成代理；
2. 生成代理：保留物体的空间关系，创建固定大小的3D代理；
3. 与代理交互：通过高亮反馈和“延迟跟随”机制，减少视觉干扰。

此外，Reality Proxy支持多种功能，如浏览预览、多对象刷选、按属性过滤、语义分组等，极大提升了交互灵活性。例如，用户可以通过手势快速筛选红色杯子，或用双手缩放导航建筑层级结构。

应用场景丰富多样
在日常信息检索中，老师可用它快速找到书并计算总价；在建筑导航中，能高效定位房间；在无人机控制中，甚至可直接操控动态物体。研究团队招募了12名XR开发者进行评估，结果显示该系统实用性强，尤其在处理远距或密集物体时表现出色。但也有参与者指出，新手需要学习时间，代理精度有待提升。

团队背景
项目由Xiaoan Liu主导，他曾创立Fusion Reality并在清华大学担任研究助理；其他成员包括Mar Gonzalez-Franco（微软前首席研究员）、Xianhao Carton Liu（浙大校友）和Chen Zhu-Tian（明尼苏达大学助理教授）。

参考链接：
[1] https://x.com/_seanliu/status/1952770318034190420
[2] https://arxiv.org/abs/2507.17248