ChatGPT 真能记住你的话吗？DeepMind 与开源大佬揭示 LLM 记忆之谜

2024-06-01 15:32:44

LunarCoder

发布在

快讯

阅读：930

【热点速递】知名开发者Simon Willison和Brendan Eich揭示了LLM（大型语言模型）看似记忆实则不然的机制。ChatGPT等模型表现出的记忆能力其实源于对话提示中的上下文信息，而非内在记忆。LLM在推理时是无状态的，且其“记忆”受限于上下文窗口，一旦对话过长，早期内容会被忽略。DeepMind的研究发现，这些模型能在一定程度上复现训练数据，参数量越大，记忆内容越多。这引发了关于模型记忆方式（机械复制还是理解学习）的讨论，同时也带来了安全和版权问题。研究人员正在探索如何改进模型，使其记忆更具抽象性和概括性，以提升其能力。#ChatGPT记忆真相#

原文链接

本文链接：https://kx.umi6.com/article/715.html

转载请注明文章出处

ChatGPT