标题:只改2行代码,RAG效率暴涨30%!可扩展至百亿级数据规模应用
只需修改两行代码,RAG向量检索效率提升30%,适用于文搜文、图搜图、文搜图及推荐系统召回等多种任务,且具备十亿至百亿级数据的扩展能力。浙江大学高云君、柯翔宇团队与向量检索专家傅聪合作,开源新方法PSP(Proximity graph with Spherical Pathway),解决RAG两大难题。
主流向量检索基于欧几里得距离,而PSP发现,通过微调,旧图结构也能找到最大内积最优解。此外,PSP引入提前停止策略,避免无谓计算,加速搜索。
向量检索是AI产品的核心技术,但传统算法多为欧式空间设计,“度量错配”常导致检索结果与语义无关。最大内积检索领域缺乏HNSW、NSG这样的顶级算法,其效果常受数据集限制。
PSP团队通过理论研究,证明在现有欧式图索引结构上,通过调整两行代码即可实现最大内积检索的全局最优解。同时,PSP优化搜索行为,减少冗余计算,设计自适应停止策略,显著提高效率。
实验显示,PSP在多个高维大数据集上性能稳定,相比现有算法提升明显,尤其在MNIST数据集上高出4倍。PSP支持多种数据模态,具备优异的泛化性和log(N)级别的可扩展性,适合百亿级数据检索。
论文链接: https://arxiv.org/pdf/2503.06882
GitHub链接: https://github.com/ZJU-DAILY/PSP
原文链接
本文链接:https://kx.umi6.com/article/20588.html
转载请注明文章出处
相关推荐
.png)
换一换
GPT-4o 系列 AI 模型加持,微软 LlamaParse 文档解析能力全面升级
2024-11-28 14:33:00
OceanBase开发者大会:详解Data×AI战略,发布首个 RAG 产品
2025-05-17 13:08:37
没有RAG打底,一切都是PPT,RAG作者Douwe Kiela的10个关键教训
2025-07-01 12:22:59
Data for AI Meetup 杭州开启:多企携手,破局数据服务 AI 困境
2024-12-09 15:28:40
Gemini 2.5 Pro负责人:最强百万上下文,做好了能解锁很多应用场景
2025-07-01 08:52:17
RAG性能暴增20%!清华等推出以笔记为中心的深度检索增强生成框架
2025-04-30 20:47:08
只是RAG了一下,我看到了AI大模型的态度!
2025-01-27 14:29:34
2024年,百万上下文依然没有杀死RAG
2024-12-23 14:56:59
OpenAI o3-pro发布,也许当前的RAG过时了
2025-06-17 18:31:23
DeepSeek点燃国产大模型斗志,RAG等核心技术被重估
2025-02-06 15:32:51
只改2行代码,RAG效率暴涨30%!可扩展至百亿级数据规模应用
2025-06-21 15:10:22
AI基建赛道,液冷已领跑
2025-09-04 16:03:33
通义千问系列最强大的语言模型:Qwen3-Max-Preview 上线
2025-09-06 00:26:52
505 文章
165463 浏览
24小时热文
更多

-
2025-09-06 08:33:16
-
2025-09-06 08:32:00
-
2025-09-06 06:30:37