【快科技10月20日报道】NVIDIA最新研究可能彻底改变AI的未来。其研究团队开发出一种名为“归一化Transformer”(nGPT)的新型神经网络架构,该架构在超球面上进行表示学习,显著提升了大型语言模型(LLM)的训练速度,最高可提升20倍,同时保持了模型的精度。nGPT架构的核心是将所有向量归一化为单位范数,使得输入的token在超球面表面上移动,每一层模型通过位移贡献最终的输出预测。实验显示,nGPT在不同序列长度下的训练速度显著提高:在1k上下文中提高4倍,在4k上下文中提高10倍,在8k上下文中提高20倍。此技术不仅能大幅提升训练速度,还增强了模型的稳定性。 (注:摘要内容约200字)
原文链接
本文链接:https://kx.umi6.com/article/7574.html
转载请注明文章出处
相关推荐
.png)
换一换
当Jensen遇到ASIC:从“ASIC白送也没人要”到“欢迎加入NVLink 家族”
2025-05-20 14:41:58
黄仁勋:无法证明AI芯片违规走私到中国大陆!几乎无法追踪
2025-05-21 17:12:39
NVIDIA GB300芯片量产受阻!元件存在严重过热问题
2024-12-17 12:02:46
459 文章
83606 浏览
24小时热文
更多

-
2025-07-19 22:57:32
-
2025-07-19 21:58:20
-
2025-07-19 21:57:13