ترصد Recovery الانقطاعات وتصنّف المشكلات وتستبعد الأجهزة المعنية، ثم توصي بإعادة تشغيل المهمة أو إيقافها وفق السياسات المضبوطة. ويعتمد الاستئناف على آخر نقطة حفظ لبرنامج التدريب؛ ولا تعيد الأداة إنشاء التقدم المفقود دون حفظ.
وتربط Attribution السجلات والمقاييس وحالة نظام جدولة المهام لتمييز السبب الأول عن سلسلة الأخطاء اللاحقة. وتوضح إنفيديا أن التشخيص يعتمد على جودة الأدلة المجمعة وقد يظل ملتبساً.
وأزمنة الاستئناف المنشورة قياسات داخلية لإنفيديا. وهي تصف بدء إجراء، ولا تضمن كامل الزمن حتى عودة التدريب المنتج.
المصادر 4
- Diagnose Distributed AI Workload Failures with NVIDIA Attribution
- Keep Distributed Training Running with Automated Workload Recovery
- NVIDIA détaille NVIDIA Recovery, service open source de reprise automatique des entraînements distribués
- NVIDIA details Attribution tool for diagnosing distributed AI failures