英伟达非均匀张量并行技术：GPU故障下LLM训练开销低于1%

英伟达的非均匀张量并行技术让AI模型在GPU故障时仍能继续训练，开销低于1%，解决了随着集群扩展到10万颗芯片而日益严重的问题。

英伟达全新非均匀张量并行技术（Nonuniform Tensor Parallelism，NTP）可在硬件故障时保持大语言模型训练持续运行，计算开销不到1%，解决了AI集群扩展至数万颗GPU时日益凸显的痛点。

"通过动态调整张量并行配置，剩余GPU承担增量的工作负载，确保受影响的副本继续参与训练流程，"英伟达研究团队在详细介绍该技术的博客文章中表示。

该方法在一颗芯片发生故障时自动降低张量并行组的度数——例如从八颗GPU降至七颗——然后将工作负载重新分配给剩余设备。活跃GPU获得临时功率提升以维持吞吐量，使受影响的域与完全正常运行的副本保持同步。英伟达表示，重新分片过程与反向计算和参数同步重叠进行，在某些配置下总开销可控制在1%以下。

这项技术之所以重要，是因为LLM训练任务现在需要数千颗GPU运行数周甚至数月。在紧密耦合的张量并行组中，单次硬件故障就可能使整个训练运行停滞，浪费数百万美元的计算时间。英伟达的NVLink结构以每秒1800GB的速度连接每个域内最多72颗GPU，随着扩展域规模扩大，这种相互依赖的问题变得更加尖锐。

该技术已集成到英伟达Megatron Core框架的开发分支中，该软件栈被大多数主要AI实验室用于训练大型模型。该公司还在探索针对混合专家模型的非均匀专家并行技术，将相同的韧性逻辑扩展到不同的并行策略。

对于运行英伟达硬件的云服务提供商——微软、亚马逊和谷歌——这一改进可减少训练停机时间并降低有效计算成本。训练一个前沿模型的GPU租赁费用可能高达1亿美元或更多，任何闲置时间都会直接侵蚀投资回报。使用英伟达GPU训练Llama模型的Meta Platforms，以及在微软Azure基础设施上运行GPT的OpenAI，也将从减少故障相关中断中受益。

这一消息发布之际，英伟达正面临自身产品转型的挑战。该公司下一代机架级架构Kyber——专为其2027年Rubin Ultra芯片设计——因制造难题已延迟超过12个月至2028年，根据CNBC引用的SemiAnalysis 7月6日报道。主要云客户拒绝了英伟达的备用机架级设计方案，认为其笨重且成本高昂，最终导致该方案被取消。

尽管存在这些挫折，SemiAnalysis预计英伟达数据中心计算收入在2027财年下半年将超出华尔街共识预期20%。英伟达股价目前约为远期盈利的22倍，市值达4.72万亿美元。

NTP研究表明，即使硬件路线图面临延迟，英伟达仍在投资软件层面的韧性。对投资者而言，问题在于软件改进能否抵消硬件更新放缓所带来的竞争缺口。超威半导体正凭借MI300X和即将推出的MI400加速器缩小性能差距，而云超大规模企业正在开发定制芯片——谷歌的TPU、亚马逊的Trainium、微软的Maia——以减少对英伟达路线图的依赖。随着这些替代方案日趋成熟，英伟达生态系统中的每一分效率提升都变得更加重要。

本文仅供参考，不构成投资建议。