1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:无需数据配对,文本嵌入也能互通?康奈尔研究:所有模型殊途同归

无需任何配对数据,就能实现文本嵌入的模型空间转换?康奈尔大学给出了Plus版答案——vec2vec,首个无监督文本嵌入的跨向量空间转换方法。

vec2vec利用共享潜在空间,不仅保留嵌入结构和底层输入语义,还能反推提取嵌入信息。其在目标嵌入空间中与真实向量的余弦相似度高达0.92,并在超过8000个随机打乱的嵌入上实现完美匹配,揭示了所有编码器在不同架构或训练数据下都拥有几乎相同的表示形式。

团队从柏拉图表示假说中汲取灵感,提出强柏拉图表示假说(S-PRH):使用相同目标和模态、但不同数据及模型架构训练的神经网络,会收敛到一个通用潜在空间,使得无需任何成对对应关系即可学习到它们表征之间的转换关系。

vec2vec采用模块化架构,通过特定空间的适配器模块进行编码和解码,并经由共享主干网络完成传递。为确保转换后的向量保留嵌入语义和几何结构,引入对抗性损失、重建损失、循环一致性损失和向量空间保持损失等优化手段。

实验结果显示,vec2vec在多个指标上表现出色,尤其在自然问题(NQ)数据集上,Top-1准确率达近1.0,显著优于基线。此外,vec2vec在分布外数据(如推文和医疗记录)上同样表现稳健,并能保留足够的语义以实现属性推断。尽管仍有提升空间,但这一成果为强柏拉图表示假说提供了有力支持。

vec2vec的潜力不仅限于文本,还可扩展至其他模态。然而,这种能力也可能带来安全挑战,如恶意提取敏感信息的风险。这对数据安全而言既是突破也是考验,你怎么看?

原文链接
本文链接:https://kx.umi6.com/article/19162.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
腾讯开源通用文本表示模型 Youtu-Embedding,可应用于企业客服、智能问答等场景
2025-10-14 15:19:49
AI 读过一切,却没经历过任何事:Ropedia 发布 HOMIE Gen2,给具身智能补「经验」这一课
2026-09-01 13:39:02
在接下来70%的人生里 我可能都要问“是AI做的吗?”
2026-09-03 01:00:11
GPT-6 砍掉思考 Token,俄罗斯人砍掉通信 Token,Token 经济开始崩了?
2026-09-03 20:42:12
B站首届AI创造公开赛收官,超八成参赛者为一人团队
2026-09-06 13:57:08
谁在为人形机器人铺「全开源生态」?
2026-09-04 19:38:53
给 AI 一张陶罐碎片图,它能还原破裂过程吗?Minimax H3 vs Seedance 2.0 Fast 实测
2026-09-01 16:52:42
李飞飞、吴佳俊再联手,打破世界模型和机器人动作的「巴别塔」
2026-09-01 11:35:00
VC疯了!200万现金冠军奖,又花4000万造了一座AI「创业乌托邦」
2026-08-31 22:00:38
趋境科技与摩尔线程达成战略合作,高品质 AI Token 国产异构方案性价比超越国际先进算力
2026-09-04 18:34:16
马斯克:AI将令全球经济规模增长20%-30% 十年内人形机器人达10亿台
2026-09-02 10:27:24
把AI塞满Windows!微软高管终于反思了
2026-09-02 10:28:48
谷歌AI硬气一回:Gemini 3.8仅用15%价格接近Opus5 斩获8项编程第一
2026-09-03 00:58:51
24小时热文
更多
扫一扫体验小程序