NVIDIAの非一様テンソル並列処理、LLM訓練のオーバーヘッドを1%未満に抑制

NVIDIAのNonuniform Tensor Parallelism（NTP）は、GPU障害が発生してもAIモデルの訓練を1%未満のオーバーヘッドで継続させる。これは、クラスターが10万チップ規模に拡大するにつれて深刻化する問題への対策である。

NVIDIAの新技術「Nonuniform Tensor Parallelism（非一様テンソル並列処理）」は、ハードウェア障害が発生しても大規模言語モデル（LLM）の訓練を1%未満の計算オーバーヘッドで継続可能にする。AIクラスターが数万基のGPUに拡大する中で深刻化する課題に対処するものだ。

「残存するGPUが動的にテンソル並列構成を調整し、増加したワークロードを引き受けることで、影響を受けたレプリカが訓練パイプラインへの貢献を継続できる」と、NVIDIAの研究チームは本技術を詳述したブログ投稿で述べている。

この手法は、チップに障害が発生すると、テンソル並列グループの次数を自動的に低減（例えば8基から7基へ）し、残存するデバイス間にワークロードを再分散する。アクティブなGPUには一時的な電力ブーストが与えられ、スループットを維持し、影響を受けたドメインを完全稼働中のレプリカと同期させた状態に保つ。再シャーディング処理は逆方向計算とパラメータ同期と並行して行われ、一部の構成では総オーバーヘッドを1%未満に抑えるとNVIDIAは述べている。

この修正が重要となるのは、LLM訓練ジョブが現在では数千基のGPUにわたって数週間から数カ月に及ぶからだ。密結合されたテンソル並列グループ内で1つのハードウェア障害が発生するだけで、訓練全体が停止し、数百万ドル相当の計算時間が無駄になる可能性がある。NVIDIAのNVLinkファブリックは、1ドメインあたり最大72基のGPUを1,800GB/秒で接続するが、スケールアップドメインが拡大するにつれて、この相互依存問題はより深刻化する。

本技術は、主要なAI研究所が大規模モデル訓練に使用するソフトウェアスタックであるNVIDIAのMegatron Coreフレームワークの開発者ブランチに統合されている。同社はまた、専門家混合（Mixture-of-Experts）モデル向けのNonuniform Expert Parallelismも研究しており、同じ耐障害性ロジックを別の並列戦略に拡張している。

NVIDIAハードウェアを運用するクラウドプロバイダー（Microsoft Corp.、Amazon.com Inc.、Alphabet Inc.のGoogle）にとって、この改善は訓練のダウンタイムを削減し、実効的な計算コストを引き下げる可能性がある。フロンティアモデルの訓練にはGPUレンタル料として1億ドル以上かかる場合があり、アイドル時間は投資収益率を直接的に低下させる。NVIDIAのGPUを使用してLlamaモデルを訓練するMeta Platforms Inc.や、MicrosoftのAzureインフラ上でGPTを運用するOpenAIも、障害関連の中断減少による恩恵を受けることになる。

今回の発表は、NVIDIAが自社の製品移行を進める中で行われた。同社の次世代Kyberラックスケールアーキテクチャ（2027年のRubin Ultraチップを搭載するために設計）は、製造上の課題により2028年へと12カ月以上遅延したと、CNBCが引用した7月6日付のSemiAnalysisレポートは報じている。主要なクラウド顧客は、NVIDIAの代替ラックスケール設計を扱いにくくコストがかかると判断し、撤退に至った。

こうした挫折にもかかわらず、SemiAnalysisはNVIDIAのデータセンター向けコンピューティング収益が2027年度下半期にウォール街のコンセンサスを20%上回ると予測している。NVIDIAの株価はフォワード・ベースの株価収益率（PER）で約22倍、時価総額は4兆7,200億ドルで取引されている。

NTPの研究は、ハードウェアロードマップが遅延に直面する中でも、NVIDIAがソフトウェアレベルの耐障害性に投資していることを示している。投資家にとっての課題は、ソフトウェアの改善が、ハードウェア更新の鈍化によって生じた競争上の隙間を埋められるかどうかである。Advanced Micro Devices Inc.はMI300Xと次期MI400アクセラレーターで性能差を縮めており、クラウドハイパースケーラー各社はカスタムチップ（GoogleのTPU、AmazonのTrainium、MicrosoftのMaia）を開発し、NVIDIAのロードマップへの依存度を低減している。これらの代替品が成熟するにつれ、NVIDIAエコシステムにおけるあらゆる効率改善の重要性が増している。

本記事は情報提供のみを目的としており、投資助言を構成するものではない。