标题：量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了

宾夕法尼亚州立大学、哈佛大学及亚马逊团队的一项研究显示，4-bit量化可以让现有反学习/机器遗忘技术失效。即大模型在人类要求下“忘记”特定知识（如版权、私人内容等），但通过量化技术，这些知识能被重新“回忆”起来。

研究发现，量化过程中的微小变化可能使量化后的模型权重与原始模型权重相同，从而恢复遗忘的知识。对此，一些网友感到意外，认为知识似乎在32-bit中被移除，但在压缩至4-bit时重新出现。这表明知识可能从未真正丢失，只是被隐藏。

团队提出了缓解此问题的策略，即通过构建模块级别的显著性图来指导遗忘过程，仅更新与遗忘数据最相关的模型部分，以减少量化后知识恢复的风险。

研究评估了六种有效的反学习方法，结果显示在全精度下，反学习法平均保留21%的目标遗忘知识，但经过4-bit量化后，这一比例上升至83%。这意味着大部分被“遗忘”的知识可通过简单量化操作恢复。

实验在NEWS（BBC新闻文章）和BOOKS（哈利波特系列）等数据集上进行，使用了四个评估指标：逐字记忆、知识记忆、隐私泄露及保留集效用。结果显示，4-bit量化显著恶化了遗忘性能，而8-bit量化的影响较小。

研究人员分析了现有反学习法的问题，发现它们为了保持模型效用而使用较小的学习率和效用约束，导致模型权重变化小，容易在量化过程中映射到相同值，从而恢复遗忘的知识。为此，研究人员提出SURE框架，通过构建模块级显著性图来指导遗忘过程，选择性地使用较大学习率，从而有效防止量化后遗忘知识恢复。SURE策略在全精度模型上实现了可比的遗忘性能和模型效用。

更多细节请参阅原论文和代码：https://arxiv.org/pdf/2410.16454，代码已在GitHub上公开。