如何让大模型感知知识图谱知识？蚂蚁联合实验室提出K-ON方法

大语言模型的发展打破了自然语言处理任务间的壁垒，但知识图谱与自然语言间存在粒度不匹配。为解决此问题，蚂蚁团队提出K-ON方法，利用多词元并行预测机制，实现语言模型实体层级的对比学习。

K-ON方法通过五个步骤完成知识图谱补全任务：将问题以文本指令形式输入模型；输出状态被送入K-ON模块，由多个输出层MLP构成；使用Conditional Transformer混合信息；应用低秩适应技术（LoRA），转换为对实体词元的概率预测分布；评估所有候选实体的分数。

实验结果显示，K-ON在多个数据集上优于现有方法，且效率更高、成本更低。K-ON的高效性体现在推理时间和总训练时间受K值影响不大。此外，K-ON在对比学习方面表现出色，可在不影响训练效率的情况下处理大量负样本实体。

K-ON方法展示了在知识图谱任务上的显著性能优势，提高了训练与推理效率。