标题：MIT新研究：在测试时训练，模型推理能力最高提升5.8倍

MIT的研究表明，在测试时对大模型进行训练，可以显著提升其推理能力。在超难的ARC任务中，这种“测试时训练”（Test-Time Training, TTT）方法使模型准确率最高提升至5.83倍，甚至超越了GPT-4和Claude的表现。

不同于传统的训练模式，TTT方法在推理时利用测试样本本身的信息进行快速训练，以调整模型参数。整个过程包括三个关键阶段：数据生成、模型适应范式设计以及推理策略。

数据生成通过构造新的训练任务和数据增强来扩大TTT训练数据集。模型适应范式采用参数高效的LoRA技术，通过低秩矩阵调节预训练模型的权重。在推理阶段，应用数据增强和集成学习策略，提升模型性能。

研究团队以8B参数的GPT-3为基础模型进行测试，结果显示，使用TTT方法后，模型准确率从18.3%提升至47.1%，增长率达到157%。此外，TTT方法对1B模型的提升更为显著，准确率接近调整前的6倍。结合其他方法，TTT还能超过人类的平均水平。

这项研究还提到，此前已有团队利用相同技术在ARC挑战中获得58%的正确率。斯坦福大学华人学者Sun也在研究TTT方法，并取得了一系列重要成果。