Les tests offensifs consistent à faire passer un modèle d'IA à un examen de stress mené par des experts qui cherchent à le faire dérailler, comme un test d'intrusion pour un logiciel.
Méthodologie de tests offensifs dans laquelle une équipe d'experts tente délibérément de provoquer des défaillances, des biais, des hallucinations ou des comportements dangereux d'un système d'IA. Le red teaming est exigé par l'AI Act pour les modèles à haut risque et les modèles à risque systémique, et constitue une bonne pratique pour tout système utilisé dans le reporting ESG.
Obligation réglementaire pour les modèles GPAI à risque systémique (AI Act Art. 55) et les systèmes à haut risque (Art. 15) : le red teaming doit être documenté, reproductible et couvrir Prompt injection, jailbreak, exfiltration de données d'entraînement, biais protégés et détournements CBRN. L'enjeu ESG dépasse la conformité : il conditionne l'assurabilité du système, la crédibilité du reporting ESRS G1 (conduite des affaires) et la défense en cas de litige. Point critique souvent négligé : le red teaming doit être rejoué après chaque fine-tuning, chaque changement de prompt système et chaque montée de version du modèle sous-jacent — un audit ponctuel ne vaut pas conformité continue.
Avant le déploiement d'un modèle IA de scoring ESG, une équipe de red teaming teste des scénarios adversariaux : données manipulées, prompts trompeurs, biais sectoriels. Elle découvre que le modèle surestime les performances des entreprises du numérique et corrige le biais.
Termes connexes (Gouvernance)
Comité éthique IA
Instance de gouvernance chargée d'évaluer les implications éthiques, sociales et environnementales des projets d'intelligence artificielle. Distinct du comité technique, il se concentre sur les biais, l'équité, la transparence et l'impact sociétal des systèmes IA déployés.
Injection de prompt
Attaque par laquelle un utilisateur malveillant insère des instructions cachées dans un contenu exploité par un modèle d'IA (email, document web, commentaire), afin de détourner le comportement du système, extraire des données ou générer des résultats non prévus. C'est l'une des vulnérabilités les plus critiques des applications RAG et des agents IA, avec des conséquences directes sur la confidentialité, la conformité et l'intégrité du reporting ESG.
Contournement des garde-fous
Technique visant à contourner les mécanismes de sécurité et les règles éthiques d'un modèle d'IA pour obtenir des contenus interdits, dangereux, biaisés ou non conformes. Les jailbreaks exploitent les failles de l'alignement par le RLHF (reinforcement learning from human feedback) via des scénarios de rôle, des prompts encodés ou des manipulations sémantiques. En ESG, ils peuvent être utilisés pour générer de faux rapports de durabilité ou tromper les systèmes de scoring.
Garde-fous de sécurité IA
Ensemble de filtres, règles et mécanismes techniques appliqués avant, pendant ou après l'inférence d'un modèle d'IA pour limiter les comportements indésirables (contenus toxiques, hallucinations, fuites de données, instructions dangereuses). Les guardrails peuvent être intégrés au modèle (input/output filtering) ou déployés en couches autour de l'application (policy engine, PII detection). Ils sont essentiels pour la conformité AI Act et l'intégrité du reporting ESG.
Pollution par contenus IA de basse qualité
L'AI slop est l'équivalent du spam généré par l'intelligence artificielle : des textes ou images produits en masse, souvent de mauvaise qualité, qui encombrent le web et les rapports. Contenu généré massivement par l'IA, de faible qualité, peu original ou trompeur, qui pollue le web, les réseaux sociaux et les bases de données. L'AI slop pose un risque de désinformation, de dégradation des corpus d'entraînement futurs (model collapse) et de greenwashing lorsque des contenus ESG sont produits sans validation humaine.
Souveraineté IA
Capacité d'une nation ou d'une entité régionale (comme l'Union européenne) à maîtriser ses infrastructures, ses modèles, ses données et ses réglementations en matière d'IA, sans dépendance stratégique vis-à-vis de fournisseurs étrangers. La souveraineté IA vise à garantir la sécurité, la conformité réglementaire et la protection des données sensibles, notamment dans les secteurs critiques (santé, défense, finance, administration publique ESG).