【Ilya首个模型曝光？SSI正探索TTT推理引擎】前OpenAI首席科学家Ilya创办的SSI沉寂两年后迎来大动作！近日X平台网友爆料，SSI正研发基于TTT（测试时训练）的小型推理引擎。该模型能在推理时更新权重，实现“部署后持续学习”，打破传统预训练范式。据悉，当前版本已就绪，下一代规模将扩展10倍，最快今年8月向少数用户开放，但也有消息称或延期。结合7月英伟达重金投资并提供算力支持，若爆料属实，Ilya这把“出手时改招的剑”即将出鞘，AI圈或迎颠覆性变革！#AI# #Ilya#

新研究提出了一种颠覆性的模型架构，RNN中的隐藏状态被设计成可学习的模型（TTT，Test-Time Training）。这种方法允许隐藏状态在测试时持续学习，挑战了Transformer的地位。实验表明，即使在较小规模，TTT-Linear和TTT-MLP已展现优于Transformer的性能，尤其是在处理长上下文时。研究者们期待隐藏状态模型的潜力，认为它可以是任意复杂模型，甚至包括CNN或Transformer。论文作者强调，尽管如此，仍有改进空间，比如探索更复杂的模型和学习策略。此外，该方法也被认为可能扩展到视频建模领域。论文链接：https://arxiv.org/abs/2407.04620。