ChatGPT真能记住你的话吗？DeepMind与开源大佬揭示LLM记忆之谜

2024-06-02 00:33:31

未来笔触

发布在

快讯

阅读：1290

深度学习巨头DeepMind与开源社区探讨了ChatGPT等大型语言模型（LLM）的记忆特性。尽管用户感知到LLM似乎能记住对话，但实质上它们是无状态函数，依赖于每次对话提供的上下文信息。LLM的记忆并非真正的“记忆”，而是通过包含历史对话内容来模拟。训练过程中，LLM确实能复现部分训练数据，参数量越大，这种现象越明显，这引发了关于模型学习方式的讨论。研究发现，一些模型可能在输出中包含训练数据，潜在地涉及版权和隐私问题。未来的研究方向是探索如何改进记忆机制，使其更加抽象，以提升模型性能。

原文链接

本文链接：https://kx.umi6.com/article/721.html

转载请注明文章出处

LLM