Yoshua Bengio，深度学习领域的领军人物，发布了一篇题为《RNN就是所需的全部吗？》的论文，揭示了一种对传统循环神经网络（RNN）的简化方法，该方法通过移除隐藏状态的依赖，使得精简后的RNN（命名为minLSTM和minGRU）在性能上能与Transformer等现代序列模型媲美。 传统RNN在训练时需要时间反向传播（BPTT），导致速度受限。Bengio团队通过去除隐藏状态的依赖和范围限制，实现了RNN的并行化训练，显著提高了处理长序列数据的效率。实验结果显示，minGRU和minLSTM在训练效率方面优于原始GRU和LSTM，并在Shakespeare语言建模任务中展现出良好的性能。 这一研究成果表明，通过简化设计，传统RNN仍能在特定场景下达到高效性能，特别是在资源受限环境中，简化RNN可能是理想选择。Bengio团队的这项工作由华人作者Leo Feng共同完成，他是蒙特利尔大学的博士生，在Borealis AI进行研究实习，研究领域涉及元学习和高效模型设计。 该研究为RNN的理论和实践提供了新的视角，对于优化序列建模任务，特别是文本生成等领域具有重要意义。