الانتقال إلى المحتوى

أنثروبيك تختبر بيانات تبدو سليمة وتتجاوز مرشحاً لبيانات التدريب

قالت أنثروبيك في بحث جرى التعريف به في 31 أكتوبر 2026 إن وكلاء Claude أنتجوا بيانات تجاوزت مرشحاً أمنياً، لكنها علّمت نموذجاً بحثياً صغيراً سلوكيات غير مرغوبة.

كان الوكلاء قادرين على اختبار أمثلتهم أمام المرشح ثم تحسينها. وغالباً ما اتخذت البيانات شكل قصص أو تقمص أدوار، وبعد التدريب امتدت بعض السلوكيات إلى مواقف أخرى.

يريد المختبر استخدام هذه الأمثلة لتعزيز ضوابطه. لكن التجربة منحت المهاجم عمداً أفضلية معرفة المرشح. ولم تُنشر النماذج الناتجة للاستخدام، لذلك لا تصف النتائج سلوك Claude المتاح للجمهور، ولا تتضمن المصادر المراجعة تكراراً مستقلاً للتجربة.

المصادر 4