标题：大模型自我提升后能力反降：LLaMA和Mistral受挫

研究发现，AI在常识理解、数学推理和代码生成等任务中，经历多轮自我提升后，可能出现“自我提升逆转”现象。即使如LLaMA-2-7B、Mistral-7B和LLaMA-8B这样的大模型，也可能遭遇能力倒退。这类似学生过度刷题导致实际解题能力下降，AI的回答可能变得模式化，失去创新和适应新情境的能力。

研究者通过“迭代后训练”方法，包括采样答案、构建训练集和模型后训练，观察了训练次数、模型基础能力等因素对AI学习的影响。虽然初始成绩提高，但深入分析揭示了“能力幻觉”（仅凭记忆而非理解）、回答多样性丧失和泛化能力减弱的问题。

尽管post-training自我提升有潜力，但AI的进化过程复杂，需关注其实际问题解决能力、创造力和适应性。上海交通大学GAIR实验室，专注于生成式人工智能研究，呼吁在追求性能提升的同时，全面审视AI的发展，以实现其真正价值。