Recovery détecte les interruptions, classe les problèmes, écarte les machines mises en cause et propose de relancer ou d’arrêter la tâche selon les règles configurées. La reprise utilise la dernière sauvegarde du programme d’entraînement : l’outil ne recrée pas les progrès perdus faute de sauvegarde.
Attribution rapproche journaux, métriques et état de l’ordonnanceur pour distinguer la cause initiale des erreurs en cascade. NVIDIA précise que le diagnostic dépend de la qualité des informations collectées et peut rester ambigu.
Les délais de reprise publiés sont des mesures internes de NVIDIA. Ils décrivent le déclenchement d’une action, sans garantir le délai complet avant le retour à un entraînement productif.
Sources 4
- Diagnose Distributed AI Workload Failures with NVIDIA Attribution
- Keep Distributed Training Running with Automated Workload Recovery
- NVIDIA détaille NVIDIA Recovery, service open source de reprise automatique des entraînements distribués
- NVIDIA details Attribution tool for diagnosing distributed AI failures