有望改写AI未来！NVIDIA全新nGPT使训练速度暴增20倍

“我听说华为降价了，却未曾料到降幅竟如此之大。”7月下旬，徐岙（化名）在社交平台上分享他在今年5月购入的HUAWEI Pura 70 Pro订单，配置为12GB+512GB的罗兰紫版本，当时售价高达6999元。仅仅过了两个月，同款手机的标价降至6199元，这一落差让徐岙难掩惊讶与无奈。“...

10月20日消息，据媒体报道，的 研究可能彻底改变AI的未来，其研究团队提出了一种名为（nGPT）的新型神经架构。

这一架构在超球面（hypersphere）上进行表示学习，能够显著提升（LLM）的训练速度，最高可达20倍，同时保持了模型的精度。

nGPT架构的核心在于将所有向量，包括嵌入、多层感知机（ P）、注意力矩阵和隐藏状态，归一化为单位范数。

这种归一化处理使得输入的token在超球面表面上移动，每一层模型都通过位移来贡献最终的输出预测。

实验结果表明，nGPT在训练时所需的步骤比标准Tran ormer模型减少了4到20倍，具体加 果取决于序列长度。

在1k上下文中，训练速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。

研究人员指出，nGPT的优化路径从超球面上的点开始，通过位移来贡献最终的输出预测，其中位移量由 P和注意力模块定义。

这种方法不仅提高了训练速度，还增强了模型的稳定性。