32倍压缩率下性能反超25个点！破解长文本压缩「翻车」难题 | ICLR 2026

现有上下文压缩方法在高压缩率下常“翻车”，例如将32K文本压缩到1K时性能骤降。这是因为压缩过程中容易保留大量“高度相似却重复”的内容，导致“信息内卷”：看似相关，实则堆砌冗余token，误导模型生成错误答案。

阿里巴巴未来生活实验室团队指出，问题根源在于压缩目标的错位——现有方法只关注“相关性”，却忽略“多样性”。多个相似token被保留时，不仅无法叠加信息量，反而相互干扰，使模型迷失于冗余信息中。

为此，团队提出创新框架COMI（COarse-to-fine context compression via Marginal Information Gain），通过“边际信息增益”（MIG）指标与粗到细压缩策略，在32倍高压缩率下精准保留多样化的关键证据链。论文已被ICLR 2026接收。

边际信息增益：智能标尺
MIG指标定义为：
MIG = 本单元与查询的相关性 – 与其他单元的最大相似度
它如同“信息价值计分卡”，既奖励与问题相关的片段，又惩罚重复内容，从而实现相关性与冗余性的双维度权衡。

粗到细自适应压缩
COMI采用两阶段策略：
1. 粗粒度组重分配：动态调整各段压缩率，优先保留信息密度高、冗余度低的片段。
2. 细粒度token融合：基于MIG加权融合token，避免关键细节被稀释，确保压缩后表示紧凑且多样化。

实验表明，COMI在NaturalQuestions等数据集上表现卓越。以Qwen2-7B为基座，32倍压缩下EM分数达49.15，比次优基线高出近25个点。此外，COMI还能提升原生支持256K上下文的Qwen3-4B性能，证明高质量压缩不仅是“减负”，更是“提纯”。

效率与效果兼得
在32倍压缩下，COMI推理速度提升2倍以上，且压缩开销轻量，适合工业级部署。

总结
COMI通过边际信息增益和粗到细策略，将压缩目标从“保留相关片段”升级为“保留相关且多样化信息”，破解了高压缩率下的性能瓶颈，为大模型轻量化和实用化迈出重要一步。

论文标题：
COMI: Coarse-to-fine Context Compression via Marginal Information Gain
论文链接：
https://arxiv.org/abs/2602.01719
代码链接：
https://github.com/Twilightaaa/COMI