标题：揭开大模型“伪遗忘”，港理工等团队：结构不变就是没忘 近年来，大语言模型（LLMs）能力迅猛发展，但随之而来的隐私风险也日益凸显。训练中暴露的敏感信息常被模型“记住”，引发广泛关注。为此，机器遗忘（Machine Unlearning）技术应运而生，旨在不影响整体能力的前提下，有选择性地抹...

近日，宾夕法尼亚州立大学、哈佛大学和亚马逊的研究团队发现，通过4-bit量化技术，可以部分或完全恢复大模型中已被删除的隐私和版权内容。现有反学习技术虽能“忘记”特定知识，但4-bit量化却让这些知识重新显现。研究显示，经过4-bit量化，遗忘知识的比例从21%急剧上升至83%，而8-bit量化的影响较小。该现象的原因在于反学习方法为了保持模型效用，使用较小的学习率和效用约束，导致量化过程中原模型和遗忘后模型的权重容易映射到相同的离散值。为此，研究团队提出了SURE框架，通过构建模块级显著性图，选择性地使用较大学习率来指导遗忘过程，有效防止量化后遗忘知识的恢复。研究成果已发表在预印本平台arXiv上，代码也在GitHub公开。这一发现引发了学术界和公众的关注，引发了对模型遗忘机制的进一步讨论。