NVIDIA détaille deux outils ouverts pour diagnostiquer et relancer les entraînements IA
NVIDIA a présenté le 2 novembre 2026 Recovery et Attribution, deux outils ouverts destinés aux équipes qui exploitent des entraînements d’IA sur plusieurs machines. Le premier coordonne les reprises ; le second recherche l’origine des échecs.
Recovery détecte les interruptions, classe les problèmes, écarte les machines mises en cause et propose de relancer ou d’arrêter la tâche selon les règles configurées. La reprise utilise la dernière sauvegarde du programme d’entraînement : l’outil ne recrée pas les progrès perdus faute de sauvegarde.
Attribution rapproche journaux, métriques et état de l’ordonnanceur pour distinguer la cause initiale des erreurs en cascade. NVIDIA précise que le diagnostic dépend de la qualité des informations collectées et peut rester ambigu.
Les délais de reprise publiés sont des mesures internes de NVIDIA. Ils décrivent le déclenchement d’une action, sans garantir le délai complet avant le retour à un entraînement productif.
Sources 4
- Diagnose Distributed AI Workload Failures with NVIDIA Attribution
- Keep Distributed Training Running with Automated Workload Recovery
- NVIDIA détaille NVIDIA Recovery, service open source de reprise automatique des entraînements distribués
- NVIDIA details Attribution tool for diagnosing distributed AI failures