1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

【让AI更懂物理世界!人大北邮上海AI Lab等提出多模态分割新方法】 近期,来自中国人民大学高瓴GeWu-Lab、北京邮电大学及上海AI Lab的研究人员共同提出了名为Ref-AVS(视听场景下的指代分割)的新方法,旨在让AI具备多模态线索下的定位与理解能力,更深入地理解真实物理世界。这一创新成果已被接受在即将到来的顶级会议ECCV2024上发表。 Ref-AVS方法整合了文本、音频与视觉信息,突破了传统分割技术的局限,如视频对象分割(VOS)、视频对象参考分割(Ref-VOS)及视听分割(AVS)。它通过综合多种模态,实现了对复杂视听场景中特定物体的精准定位,显著提高了AI理解动态真实世界的水平。例如,在一个视频中,Ref-AVS不仅能够准确识别出正在演奏乐器的人,还能高效处理同一段素材在不同场景下的应用,找出正在发声的乐器。 为验证方法的有效性,研究人员构建了一个名为Ref-AVS Bench的数据集,包含40020个视频帧,涵盖了6888个物体和20261个指代表达式。数据集内包含多种类别,既包括发声物体,也包括静态、不可发声物体,旨在全面反映真实世界的多样性。此外,团队还设计了一个端到端框架,用于高效处理多模态线索,进一步提升了Ref-AVS在实际应用中的性能。 实验结果显示,Ref-AVS在定量和定性测试中均表现出色,特别是在未见过的场景和空指代情况下,展现了强大的泛化能力和准确的跟随指代能力。相比于现有的方法,如AVSegFormer和ReferFormer,Ref-AVS在理解多模态表达和场景上下文方面展现出更优的表现,显著提高了分割精度。 这项研究不仅推动了多模态分割技术的发展,也为AI在视频分析、医疗图像处理、自动驾驶和机器人导航等领域提供了新的可能性。未来,随着多模态融合技术的不断优化、模型实时性的提升以及数据集的持续扩展,Ref-AVS有望在更多挑战性场景中发挥重要作用。

原文链接
本文链接:https://kx.umi6.com/article/5671.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
让AI更懂物理世界!人大北邮上海AI Lab等提出多模态分割新方法
2024-08-30 15:26:10
英伟达向左,寒武纪向右
2025-10-23 07:58:12
荣耀设立20亿激励资源 提升智能体和MagicOS生态体验力度
2025-10-23 18:14:34
Reddit 起诉 Perplexity,指控后者未经授权为 AI 抓取和使用数据
2025-10-23 16:09:59
软银据悉拟发行20亿美元债券 为押注人工智能领域融资
2025-10-22 14:48:17
新研究揭穿Claude底裤,马斯克盖棺定论
2025-10-23 15:05:55
慧思开物SDK正式开放 北京人形加速构建具身智能生态新格局
2025-10-23 15:11:25
三星在电视端首发 Perplexity AI 应用程序,带来更具创新性 AI 体验
2025-10-23 10:05:39
IT之家采访科大讯飞高管:AI 翻译技术是为解决真实世界的沟通难题
2025-10-22 15:46:39
东软集团新增AI相关业务
2025-10-23 11:03:14
美国商业人工智能公司Uniphore完成2.6亿美元F轮融资,英伟达、AMD等参投
2025-10-22 20:51:54
大模型推理学习新范式!ExGRPO框架:从盲目刷题到聪明复盘
2025-10-23 17:10:54
LiblibAI完成1.3亿美元B轮融资 为中国AI应用今年最大融资
2025-10-22 22:54:13
24小时热文
更多
扫一扫体验小程序