1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:新框架Pos2Distill破解AI位置偏见问题

正文:
语言模型常因对不同上下文位置的敏感度不一致而出现“位置偏见”,导致其在复杂推理、长文本理解和评估任务中表现受限。例如,模型在对比选项时往往偏向首个答案,影响了公正性。

为解决这一问题,研究团队提出了创新框架Pos2Distill,通过“解铃还须系铃人”的方式,将模型在优势位置的能力迁移到劣势位置,从而缓解位置偏见。团队设计了两种方案:Pos2Distill-R1针对检索任务,Pos2Distill-R2专注于推理任务。

在检索任务中,位置偏见表现为“词元偏移”,即模型生成的答案仅在关键位置出错。Pos2Distill-R1利用KL散度损失提供细粒度纠正信号,显著提升了长文本检索的一致性。实验显示,在WebQ数据集上,Llama-3-8B模型的平均准确率从57.9%提升至56.7%,接近最佳位置的表现。

在推理任务中,位置偏见会导致“思维偏移”,影响推理链条的完整性。Pos2Distill-R2通过蒸馏优势位置的优质推理轨迹,指导劣势位置的推理过程。实验表明,该方法在MusiQue和HotpotQA数据集上分别实现了42.8和58.3的精确匹配得分,超越现有基线。

此外,两个系统表现出跨任务泛化能力:Pos2Distill-R1在增强检索能力的同时改善了推理表现;Pos2Distill-R2则通过提升推理熟练度增强了检索性能。尽管如此,两者在各自专长领域仍表现更优,表明针对不同任务设计专门方案的必要性。

论文地址:https://arxiv.org/abs/2508.15709
开源地址:https://github.com/AMAP-ML/Pos2Distill

原文链接
本文链接:https://kx.umi6.com/article/27296.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
不是视频模型“学习”慢,而是LLM走捷径|18万引大牛Sergey Levine
2025-06-10 17:50:38
OpenAI产品线大调整:GPT-5数月内发布,基础版免费无限使用
2025-02-13 15:03:24
谷歌 DeepMind 新研究强化思维链训练,让 AI 语言模型不再“纸上谈兵”
2025-05-20 14:40:51
o3/o4-mini幻觉暴增2-3倍!OpenAI官方承认暂无法解释原因
2025-04-21 13:38:37
LeCun最新万字演讲:纯语言模型到不了人类水平,我们基本已放弃
2024-10-18 09:36:11
OpenAI 官宣将发布自 GPT-2 以来的首个开放权重语言模型,并具有推理功能
2025-04-01 08:14:11
大模型自指:代码生成的递归式自我提升
2025-09-02 20:37:56
AI视觉基础:学习压缩图像
2024-06-14 17:36:22
通义千问系列最强大的语言模型:Qwen3-Max-Preview 上线
2025-09-06 00:26:52
Claude团队新研究:为什么有的模型假装对齐有的不会
2025-07-09 18:06:47
豆包开源视频生成模型 VideoWorld:首创免语言模型依赖认知世界
2025-02-10 15:13:00
为什么DeepSeek回答前总先“嗯”一下
2025-04-30 20:17:08
大脑在不断预测并修正错误?
2025-04-30 19:56:24
24小时热文
更多
扫一扫体验小程序