标题：AI顶会ICML首现纯理论论文：没算法没实验

在2024 ICML（国际机器学习大会）中，一篇名为《词的万能逼近：从语言角度看映射组合》的纯理论论文脱颖而出，成为唯一一篇未包含算法与实验的Spotlight论文。该论文探讨了基于深度学习的序列模型如何将非序列问题转化为序列形式，以及如何通过有限数量的"词"（映射）实现万能逼近。

论文作者通过研究有限情形下的函数逼近问题，构造性地证明了存在一个有限的函数词汇表V，能够实现任何连续映射的万能逼近。这意味着，通过复合V中的有限序列，可以近似任何连续映射，且逼近误差可小于任意给定值ε。这一发现展示了函数复合的近似能力，并为正则语言提供了新模型。

该研究在2610篇收录论文中独树一帜，是今年唯一一篇纯理论Spotlight论文。论文揭示了语言模型和动力系统在近似能力上的相似性，提出了一种通过复合有限集V中的映射实现万能逼近的方法，为理论研究领域带来了新视角。

研究通过比较自然语言和万能逼近的相似之处，证明了存在有限个映射构成的词汇表，使得任何连续映射可通过复合词汇表中的序列进行近似。这与自然语言通过词构建复杂信息的方式类似，为逼近理论、动力系统、序列建模和语言学之间的跨学科研究提供了启示。

研究的核心贡献包括证明通过复合有限集V中的映射可以实现万能逼近，提供构造性证明基于动力系统流映射构造V，以及揭示了复合映射与自然语言之间的类比。这一发现不仅丰富了理论基础，也为未来研究提供了新的思考方向。

论文的定理和证明思路涉及保持定向的微分同胚、微分方程的流映射、常微分方程的近似求解、单隐藏层神经网络的万能逼近能力，以及Kronecker逼近定理。通过结合这些知识点，研究者证明了d维流映射可以用宽度为d的全连接神经网络近似，从而得出词汇表的万能逼近定理。

论文的创新点在于提出了复合流空间模型（CFSM），旨在通过复合函数实现语义的近似，相较于静态词向量提供了一种更灵活的表示方式。尽管CFSM的直接训练较为困难，但作者建议可以从预训练语言模型（如Llama）中提取函数嵌入，评估CFSM在恢复LLM功能方面的表现。

综上所述，《词的万能逼近：从语言角度看映射组合》论文展示了通过有限数量的"词"实现万能逼近的可能性，为理论研究和跨学科合作提供了新的视角，激发了对自然语言处理方法的深入思考。