Puntos Clave:
El paralelismo tensorial no uniforme de Nvidia permite que los modelos de IA sigan entrenando durante fallos de GPU con menos del 1% de sobrecarga, una solución para un problema que crece a medida que los clústeres escalan hasta 100.000 chips.
La nueva técnica de paralelismo tensorial no uniforme (NTP) de Nvidia mantiene el entrenamiento de modelos de lenguaje de gran escala en funcionamiento durante fallos de hardware con menos del 1% de sobrecarga computacional, abordando un punto crítico a medida que los clústeres de IA se expanden a decenas de miles de GPUs.
"Al ajustar dinámicamente las configuraciones de paralelismo tensorial, las GPUs restantes asumen cargas de trabajo incrementadas, asegurando que la réplica afectada continúe contribuyendo al pipeline de entrenamiento", señaló el equipo de investigación de Nvidia en una publicación de blog que detalla la técnica.
El método reduce automáticamente el grado de un grupo de paralelismo tensorial — de ocho GPUs a siete, por ejemplo — cuando un chip falla, y luego redistribuye la carga de trabajo entre los dispositivos restantes. Las GPUs activas reciben aumentos temporales de potencia para mantener el rendimiento, manteniendo el dominio afectado sincronizado con las réplicas completamente operativas. El proceso de reconfiguración se superpone con el cálculo hacia atrás y la sincronización de parámetros, manteniendo la sobrecarga total por debajo del 1% en algunas configuraciones, según Nvidia.
La solución es importante porque los trabajos de entrenamiento de LLM ahora abarcan miles de GPUs durante semanas o meses. Un solo fallo de hardware en un grupo de paralelismo tensorial estrechamente acoplado puede detener toda una ejecución de entrenamiento, desperdiciando millones de dólares en tiempo de cómputo. La arquitectura NVLink de Nvidia, que conecta hasta 72 GPUs por dominio a 1.800 GB por segundo, agrava el problema de interdependencia a medida que los dominios de escalamiento se expanden.
La técnica está integrada en la rama de desarrollo del framework Megatron Core de Nvidia, la pila de software utilizada por la mayoría de los principales laboratorios de IA para entrenar modelos grandes. La compañía también está explorando el paralelismo experto no uniforme para modelos Mixture-of-Experts, extendiendo la misma lógica de resiliencia a una estrategia de paralelismo diferente.
Para los proveedores de nube que utilizan hardware de Nvidia — Microsoft Corp., Amazon.com Inc. y Alphabet Inc., propietaria de Google — la mejora podría reducir el tiempo de inactividad en el entrenamiento y disminuir los costos computacionales efectivos. Entrenar un modelo de frontera puede costar $100 millones o más en alquiler de GPUs, y cualquier tiempo inactivo erosiona directamente el retorno de esa inversión. Meta Platforms Inc., que utiliza GPUs de Nvidia para entrenar sus modelos Llama, y OpenAI, que ejecuta GPT en la infraestructura Azure de Microsoft, también se beneficiarían de interrupciones reducidas relacionadas con fallos.
El anuncio llega mientras Nvidia navega sus propias transiciones de producto. Su próxima arquitectura Kyber a escala de rack, diseñada para albergar sus chips Rubin Ultra de 2027, se retrasó más de 12 meses hasta 2028 debido a desafíos de fabricación, según un informe del 6 de julio de SemiAnalysis citado por CNBC. Los principales clientes de la nube rechazaron el diseño de respaldo a escala de rack de Nvidia por considerarlo incómodo y costoso, lo que llevó a su cancelación.
A pesar de estos contratiempos, SemiAnalysis proyecta que los ingresos de cómputo para centros de datos de Nvidia superarán el consenso de Wall Street en un 20% en la segunda mitad del año fiscal 2027. Las acciones de Nvidia cotizan a aproximadamente 22 veces las ganancias futuras, con una capitalización de mercado de $4.72 billones.
La investigación de NTP señala que Nvidia está invirtiendo en resiliencia a nivel de software incluso mientras su hoja de ruta de hardware enfrenta retrasos. Para los inversores, la pregunta es si las mejoras de software pueden compensar la brecha competitiva creada por las actualizaciones de hardware más lentas. Advanced Micro Devices Inc. está reduciendo la brecha de rendimiento con sus aceleradores MI300X y los próximos MI400, mientras que los hiperescaladores de la nube están desarrollando chips personalizados — TPU de Google, Trainium de Amazon, Maia de Microsoft — que reducen su dependencia de la hoja de ruta de Nvidia. Cada ganancia de eficiencia en el ecosistema de Nvidia se vuelve más importante a medida que estas alternativas maduran.
Este artículo es solo para fines informativos y no constituye asesoramiento de inversión.
