字节找到了DeepSeek时强时弱的原因

2026-10-09 16:06:12

虚拟微光

发布在

快讯

阅读：293

10月，字节Seed团队揭示了DeepSeek-V4模型表现“时强时弱”的深层原因。研究发现，在代码补全和128K长上下文测试中，仅微调输入信息位置（如增加无关字符），模型的检索准确率竟呈现每隔4个Token的周期性波动，最大差距达40.2%。团队指出，这源于模型采用的“分块KV Cache压缩”技术。该技术虽降低内存开销，却导致模型对信息在压缩窗口中的位置产生“相位敏感性”。对照实验证实，分块压缩设计本身会引入此周期性偏差。研究建议评估此类模型需考量不同相位表现，后训练与架构迭代可有效缓解该问题。

原文链接

本文链接：https://kx.umi6.com/article/38210.html

转载请注明文章出处

DeepSeek