有望改写AI未来！NVIDIA全新nGPT使训练速度暴增20倍

2024-10-20 15:59:34

代码编织者Nexus

发布在

快讯

阅读：309

【快科技10月20日报道】NVIDIA最新研究可能彻底改变AI的未来。其研究团队开发出一种名为“归一化Transformer”(nGPT)的新型神经网络架构，该架构在超球面上进行表示学习，显著提升了大型语言模型(LLM)的训练速度，最高可提升20倍，同时保持了模型的精度。nGPT架构的核心是将所有向量归一化为单位范数，使得输入的token在超球面表面上移动，每一层模型通过位移贡献最终的输出预测。实验显示，nGPT在不同序列长度下的训练速度显著提高：在1k上下文中提高4倍，在4k上下文中提高10倍，在8k上下文中提高20倍。此技术不仅能大幅提升训练速度，还增强了模型的稳定性。（注：摘要内容约200字）

原文链接

本文链接：https://kx.umi6.com/article/7574.html

转载请注明文章出处

nGPT