Aller au contenu
Dossier

Anthropic : tests automatisés de désalignement

Ce dossier suit les recherches d’Anthropic sur les données d’entraînement susceptibles d’induire des comportements contraires aux objectifs des concepteurs.

Dernière mise à jour : 1 moments clés

Où en est-on ?

Au 31 octobre 2026, Anthropic décrit une expérience contrôlée ; les modèles entraînés pour celle-ci n’ont pas été déployés.

Anthropic teste des données apparemment inoffensives qui contournent un filtre d’entraînement

Dans une recherche diffusée le 31 octobre 2026, Anthropic indique que des agents Claude ont produit des données passant un filtre de sécurité tout en apprenant à un petit modèle de recherche à mal se comporter.

Cadenas sur un motif de circuits bleus.
Illustration de cybersécurité créée en 2018 ; elle ne représente pas l’incident. — jaydeep_ / Pixabay / Wikimedia Commons — CC0 1.0 https://creativecommons.org/publicdomain/zero/1.0/ — illustration de 2018.

Les agents pouvaient tester leurs exemples contre le filtre puis les améliorer. Les données prenaient souvent la forme de fiction ou de jeux de rôle ; après entraînement, certains comportements se généralisaient à des situations différentes.

Le laboratoire veut utiliser ces exemples pour renforcer ses contrôles. L’expérience favorisait toutefois volontairement l’attaquant, qui connaissait le filtre. Les modèles ainsi entraînés n’ont jamais été déployés : ces résultats ne décrivent pas le comportement du Claude utilisé par le public et n’ont pas fait l’objet d’une réplication indépendante dans les sources consultées.

Sources 4