Distorsions systématiques dans les décisions fondées sur l'IA qui conduisent à des traitements inéquitables ou discriminatoires entre individus ou groupes. Ces biais proviennent généralement de données d'entraînement non représentatives, de variables proxy ou d'un étiquetage humain subjectif.
Les biais algorithmiques et la discrimination représentent un risque social majeur, menaçant l'équité et les droits humains, et peuvent entraîner des impacts négatifs sur la réputation et la confiance des parties prenantes.
Une banque française détecte qu'un modèle de scoring de crédit approuve 15 % de dossiers en moins pour les femmes que pour les hommes à profil équivalent. Elle intègre cette découverte dans son rapport ESRS S4 et met en place une revue humaine systématique des rejets.
Termes connexes (Social)
Audit de biais & test d'équité
Processus d'évaluation systématique des biais des modèles d'IA selon des métriques standardisées comme la parité démographique, l'équité des résultats et la calibration. Ces audits testent la performance du modèle sur des segments stratifiés par genre, ethnie et autres caractéristiques protégées.
Annotation de données & modération contenu
Activités externalisées consistant à étiqueter des données pour l'entraînement d'IA ou à modérer des contenus générés. Ces tâches exposent les travailleurs à des contenus violents, offensants ou traumatisants, posant des enjeux importants de bien-être psychologique et de conditions de travail décentes.
Formation continue reskilling & upskilling IA
Programmes de formation destinés à adapter les compétences des salariés aux transformations induites par l'IA, soit en les développant dans leurs domaines actuels (upskilling) soit en les préparant à de nouveaux métiers (reskilling). Ces dispositifs adressent les risques de déplacement d'emplois et d'inégalités de compétences.
Due diligence supply chain IA & travail
Processus d'audit systématique des fournisseurs de données, de matériel et de services cloud pour évaluer les risques sociaux et environnementaux. Elle couvre les conditions de travail des annotateurs, l'impact environnemental des GPU et des data centers, et la conformité aux normes d'éthique et de droits humains.
Transparence & traçabilité supply chain IA
Visibilité documentée des chaînes d'approvisionnement IA, incluant l'identification des fournisseurs de données, les conditions de travail dans les centres d'annotation et les impacts environnementaux du matériel informatique. Elle permet de détecter et de remédier aux violations des droits humains et environnementaux.
Évaluation d'impact social déploiement IA
Analyse préalable aux déploiements d'IA qui évalue les impacts potentiels sur les groupes sociaux : déplacement d'emplois, accès aux services, inclusion des personnes vulnérables et risques de discrimination. Elle identifie les bénéfices et les préjudices pour concevoir des mesures d'atténuation appropriées.