Technique où un petit modèle (étudiant) apprend à imiter un grand modèle (enseignant) lors de l'entraînement. Elle compresse le grand modèle en un modèle léger conservant 99 % de la performance mais 10x plus rapide.
Levier direct de sobriété (ESRS E1) : la distillation permet de diviser par 10 à 40 la consommation d'inférence pour une perte de qualité marginale, et rend viable le déploiement sur l'appareil qui supprime les transferts réseau. Trois angles de vigilance propres à la technique : (1) l'étudiant hérite des biais et hallucinations du modèle enseignant, sans que le red teaming initial soit rejoué ; (2) la traçabilité des données d'entraînement du maître doit être conservée dans le registre du modèle distillé (AI Act, Art. 53 GPAI) ; (3) les gains unitaires peuvent être annulés par un Effet rebond si la baisse de coût déclenche une explosion des cas d'usage.
Une banque française distille son grand modèle BERT en DistilBERT pour déployer la classification de documents sur appareils mobiles des agences. Le modèle compressé est 40 % plus léger, 60 % plus rapide et conserve 99 % de la précision de classification.
Termes connexes (Technologie)
IA fantôme (Shadow AI)
Utilisation non autorisée d'outils d'intelligence artificielle par les employés, contournant les politiques de sécurité, de conformité et de gouvernance de l'entreprise. Ce phénomène représente un risque ESG majeur : fuite de données sensibles, non-conformité RGPD/IA Act, absence de traçabilité et d'audit.
Ingénierie de prompt ESG
Discipline d'optimisation des instructions textuelles (prompts) données aux modèles d'IA pour obtenir des réponses pertinentes, précises et conformes aux exigences du reporting de durabilité. Inclut la structuration des requêtes, l'injection de contexte réglementaire et la réduction des hallucinations.
Hallucination IA
Génération par un modèle d'IA de contenus faux, inventés ou non étayés par les données sources, présentés avec une apparence de certitude. Risque critique pour le reporting ESG où l'exactitude et la traçabilité des informations sont essentielles pour l'audit externe.
Token (unité de traitement IA)
Unité élémentaire de texte traitée par les modèles de langage (environ 4 caractères ou 0,75 mot en français). Le nombre de tokens détermine le coût de calcul, la consommation énergétique et l'empreinte carbone d'une requête IA. Métrique clé pour l'optimisation Green AI.
GPU (Processeur graphique)
Processeur spécialisé dans le calcul parallèle, essentiel pour l'entraînement et l'inférence des modèles d'IA. Les GPU représentent la principale source de consommation énergétique et d'émissions carbone des infrastructures IA, avec des enjeux d'approvisionnement en terres rares et de recyclage.
Récupération de chaleur fatale (data center)
Valorisation de la chaleur résiduelle générée par les serveurs et GPU des centres de données pour alimenter des réseaux de chauffage urbain, des serres agricoles ou des processus industriels. Levier clé d'économie circulaire pour réduire l'impact environnemental net des infrastructures IA.