近日，宾夕法尼亚州立大学、哈佛大学和亚马逊的研究团队发现，通过4-bit量化技术，可以部分或完全恢复大模型中已被删除的隐私和版权内容。现有反学习技术虽能“忘记”特定知识，但4-bit量化却让这些知识重新显现。研究显示，经过4-bit量化，遗忘知识的比例从21%急剧上升至83%，而8-bit量化的影响较小。该现象的原因在于反学习方法为了保持模型效用，使用较小的学习率和效用约束，导致量化过程中原模型和遗忘后模型的权重容易映射到相同的离散值。为此，研究团队提出了SURE框架，通过构建模块级显著性图，选择性地使用较大学习率来指导遗忘过程，有效防止量化后遗忘知识的恢复。研究成果已发表在预印本平台arXiv上，代码也在GitHub公开。这一发现引发了学术界和公众的关注，引发了对模型遗忘机制的进一步讨论。