标题：量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了 宾夕法尼亚州立大学、哈佛大学及亚马逊团队的一项研究显示，4-bit量化可以让现有反学习/机器遗忘技术失效。即大模型在人类要求下“忘记”特定知识（如版权、私人内容等），但通过量化技术，这些知识能被重新“回忆”起来。 研究发现，量化过程中的微...

近日，宾夕法尼亚州立大学、哈佛大学和亚马逊的研究团队发现，通过4-bit量化技术，可以部分或完全恢复大模型中已被删除的隐私和版权内容。现有反学习技术虽能“忘记”特定知识，但4-bit量化却让这些知识重新显现。研究显示，经过4-bit量化，遗忘知识的比例从21%急剧上升至83%，而8-bit量化的影响较小。该现象的原因在于反学习方法为了保持模型效用，使用较小的学习率和效用约束，导致量化过程中原模型和遗忘后模型的权重容易映射到相同的离散值。为此，研究团队提出了SURE框架，通过构建模块级显著性图，选择性地使用较大学习率来指导遗忘过程，有效防止量化后遗忘知识的恢复。研究成果已发表在预印本平台arXiv上，代码也在GitHub公开。这一发现引发了学术界和公众的关注，引发了对模型遗忘机制的进一步讨论。