标题：免训练大模型知识编辑，吸收新数据更高效｜EMNLP’24

让大模型能快速、准确、高效地吸收新知识！

EMNLP 2024收录的一项新研究提出了一种检索增强的连续提示学习新方法，提高知识终身学习的编辑和推理效率。此方法旨在纠正大语言模型中的过时或错误知识，而不需昂贵的再训练过程。

此前工作多集中在单次或批量编辑，但由于灾难性遗忘和模型性能下降，这些方法在终身编辑场景中表现不佳。基于检索的方法虽有所改善，但仍面临知识整合缓慢的问题。

最新方法名为RECIPE，它将知识描述转化为简短且信息丰富的连续提示的token表示，作为LLM输入查询嵌入的前缀，优化知识编辑过程。此外，RECIPE引入了知识哨兵机制，动态判断检索库是否包含相关知识。

RECIPE通过联合训练检索器和提示编码器，确保知识编辑的可靠性、通用性和局部性。实验结果显示，RECIPE在多个权威模型和数据集上的表现优于其他方法。

这项研究由阿里安全内容安全团队与华东师范大学计算机科学与技术学院及阿里云计算平台合作完成。

研究背景指出，大语言模型如ChatGPT在保持事实准确性和逻辑一致性方面面临挑战。编辑模型以纠正不准确之处，而不进行大规模再训练，是亟待解决的问题。

模型方法部分介绍了任务定义和评估属性，RECIPE通过构造和更新知识检索仓库、基于知识哨兵的动态提示检索、以及动态编辑模型的推理，实现了高效编辑。

实验结果表明，RECIPE在单次和终身编辑场景中均表现出色，尤其是在通用能力和编辑效率方面。与其他方法相比，RECIPE不仅减少了编辑时间，还保持了模型的原始推理速度。