AI代码补全哪家强？两个新指标+一套新框架，让模型更懂开发者

如何让AI代码补全更懂开发者？中兴通讯团队提出了两个新指标和一套仓库级代码语料处理框架。这套方法不仅为评测代码大模型提供了新视角，也为提升模型在真实工业场景中的代码补全性能开辟了新路径。

目前，智能补全工具如GitHub Copilot极大提升了程序员的开发效率。然而，AI工具的建议常“差强人意”。团队认为，这反映了两个关键痛点：一是AI的“主观判断”与用户需求间的差距；二是多数模型缺乏对代码仓库整体结构和深层语义依赖的理解。

为解决这些问题，团队推出了两个新指标和一套框架。新指标LCP和ROUGE-LCP更贴近用户实际体验，强调代码补全建议开头部分的准确性。框架SPSR-Graph通过构建结构化知识图谱，让模型更好地理解代码仓库的整体结构。

实验表明，LCP和ROUGE-LCP能更准确反映用户采纳意愿，与采纳率的相关性优于传统指标。SPSR-Graph显著提升了模型在C/C++代码补全任务中的性能，尤其在C语言中，EM提升了2.66%，BLEU提升了2.74%。团队未来将进一步探索这些方法在更多任务和模型上的应用，以及与强化学习的结合。