Points clés :
Le parallélisme tensoriel non uniforme de Nvidia permet aux modèles d'IA de continuer à s'entraîner en cas de défaillance d'un GPU avec moins de 1 % de surcharge, une solution à un problème qui s'aggrave à mesure que les clusters atteignent 100 000 puces.
La nouvelle technique de parallélisme tensoriel non uniforme (NTP) de Nvidia permet à l'entraînement des grands modèles de langage de se poursuivre en cas de défaillance matérielle avec moins de 1 % de surcharge de calcul, répondant à un problème croissant à mesure que les clusters d'IA s'étendent à des dizaines de milliers de GPU.
« En ajustant dynamiquement les configurations de parallélisme tensoriel, les GPU restants prennent en charge des charges de travail accrues, garantissant que la réplique affectée continue de contribuer au pipeline d'entraînement », a déclaré l'équipe de recherche de Nvidia dans un billet de blog détaillant la technique.
La méthode réduit automatiquement le degré d'un groupe de parallélisme tensoriel — de huit GPU à sept, par exemple — lorsqu'une puce tombe en panne, puis redistribue la charge de travail sur les dispositifs restants. Les GPU actifs reçoivent des augmentations temporaires de puissance pour maintenir le débit, gardant le domaine affecté synchronisé avec les répliques entièrement opérationnelles. Le processus de répartition des shards chevauche le calcul rétrograde et la synchronisation des paramètres, maintenant la surcharge totale sous 1 % dans certaines configurations, selon Nvidia.
Cette solution est cruciale car les tâches d'entraînement des LLM s'étendent désormais sur des milliers de GPU pendant des semaines ou des mois. Une seule défaillance matérielle dans un groupe de parallélisme tensoriel étroitement couplé peut bloquer l'intégralité d'un cycle d'entraînement, gaspillant des millions de dollars en temps de calcul. Le fabric NVLink de Nvidia, qui connecte jusqu'à 72 GPU par domaine à 1 800 Go par seconde, rend le problème d'interdépendance plus aigu à mesure que les domaines de mise à l'échelle s'agrandissent.
La technique est intégrée dans la branche développeur du framework Megatron Core de Nvidia, la pile logicielle utilisée par la plupart des grands laboratoires d'IA pour entraîner des modèles volumineux. L'entreprise explore également le parallélisme expert non uniforme pour les modèles Mixture-of-Experts, étendant la même logique de résilience à une stratégie de parallélisme différente.
Pour les fournisseurs de cloud utilisant du matériel Nvidia — Microsoft Corp., Amazon.com Inc. et Google d'Alphabet Inc. — cette amélioration pourrait réduire les temps d'arrêt d'entraînement et diminuer les coûts de calcul effectifs. L'entraînement d'un modèle de pointe peut coûter 100 millions de dollars ou plus en location de GPU, et tout temps d'inactivité érode directement le retour sur investissement. Meta Platforms Inc., qui utilise des GPU Nvidia pour entraîner ses modèles Llama, et OpenAI, qui exécute GPT sur l'infrastructure Azure de Microsoft, bénéficieraient également de la réduction des interruptions liées aux pannes.
Cette annonce intervient alors que Nvidia traverse ses propres transitions de produits. Son architecture rack-scale Kyber de nouvelle génération, conçue pour accueillir ses puces Rubin Ultra prévues pour 2027, a été retardée de plus de 12 mois jusqu'en 2028 en raison de difficultés de fabrication, selon un rapport du 6 juillet de SemiAnalysis cité par CNBC. Les principaux clients cloud ont rejeté la conception rack-scale de secours de Nvidia, la jugeant peu pratique et coûteuse, ce qui a conduit à son abandon.
Malgré ces revers, SemiAnalysis prévoit que les revenus de calcul des centres de données de Nvidia dépasseront le consensus de Wall Street de 20 % au second semestre de l'exercice 2027. Les actions Nvidia se négocient à environ 22 fois les bénéfices prévisionnels, avec une capitalisation boursière de 4 720 milliards de dollars.
La recherche sur le NTP indique que Nvidia investit dans la résilience au niveau logiciel, même si sa feuille de route matérielle est confrontée à des retards. Pour les investisseurs, la question est de savoir si les améliorations logicielles peuvent combler la brèche concurrentielle créée par des cycles de mise à jour matérielle plus lents. Advanced Micro Devices Inc. réduit l'écart de performance avec ses accélérateurs MI300X et le futur MI400, tandis que les hyperscalers cloud développent des puces sur mesure — TPU de Google, Trainium d'Amazon, Maia de Microsoft — qui réduisent leur dépendance à la feuille de route de Nvidia. Chaque gain d'efficacité dans l'écosystème Nvidia devient plus important à mesure que ces alternatives arrivent à maturité.
Cet article est fourni à titre informatif uniquement et ne constitue pas un conseil en investissement.
