Tendance à produire des résultats systématiquement inéquitables lorsqu'un algorithme reproduit ou amplifie les préjugés humains contenus dans ses données ou sa conception.
Biais algorithmique
Sommaire
Points à retenir
1
Le biais algorithmique ne naît pas de l'algorithme lui-même, mais des données et des choix humains qui l'ont façonné : un système automatisé ne peut être plus neutre que les informations qu'on lui fournit.
2
Il peut être involontaire : les concepteurs d'un algorithme n'ont pas besoin d'intentions discriminatoires pour produire des résultats qui le sont, un simple manque de diversité dans les données d'entraînement suffit.
3
Ses effets peuvent se renforcer dans le temps : lorsqu'un algorithme biaisé produit des décisions qui alimentent à leur tour ses propres données, il entre dans une boucle de rétroaction qui aggrave progressivement les inégalités initiales.
4
Il touche des domaines à forts enjeux humains : recrutement, accès au crédit, justice pénale, santé, là où les décisions automatisées ont des conséquences concrètes et durables sur la vie des personnes.
Explication du biais algorithmique
Un algorithme est, dans sa forme la plus simple, une suite d’instructions mathématiques conçue pour prendre des décisions à partir de données. Il est tentant d’y voir un outil purement objectif, débarrassé des émotions et des préjugés humains. C’est précisément cette illusion de neutralité qui rend le biais algorithmique particulièrement difficile à détecter et à corriger.
Le biais algorithmique désigne le phénomène par lequel un algorithme produit des résultats systématiquement inéquitables envers certains individus ou groupes. Il ne résulte pas d’une intention malveillante, mais d’une contamination à plusieurs niveaux du processus de conception et d’entraînement.
La première source de biais est celle des données d’entraînement.
Les algorithmes d’apprentissage automatique apprennent en analysant des données historiques. Or ces données reflètent un passé façonné par des inégalités réelles : des décisions d’embauche biaisées, des historiques de crédit influencés par des discriminations géographiques, des bases de photos médicales constituées principalement à partir de certains groupes de patients.
En apprenant sur ces données, l’algorithme n’intègre pas seulement des régularités statistiques : il absorbe aussi les injustices qu’elles contiennent, et les reproduit à grande échelle.
La deuxième source provient des biais cognitifs des concepteurs eux-mêmes.
Les équipes qui développent ces systèmes font des choix à chaque étape : quelles variables inclure, comment définir le succès, quels groupes tester. Ces choix ne sont jamais totalement neutres. Un manque de diversité au sein des équipes de développement peut créer des angles morts, rendant invisible le fait que certains profils d’utilisateurs sont mal représentés ou mal traités par le système.
Ce mécanisme s’apparente au biais de confirmation, par lequel on tend à construire ses outils de façon à confirmer ce que l’on croit déjà savoir, sans remettre en question les présupposés de départ.
La troisième dynamique est celle de la boucle de rétroaction.
Lorsqu’un algorithme biaisé prend des décisions qui alimentent à leur tour ses données futures, le biais initial se trouve progressivement amplifié. Un système de recommandation qui met en avant un certain type de contenu génère davantage de clics, ce qui renforce le signal que ce contenu est pertinent, et ainsi de suite. Cette logique auto-renforçante peut rendre les inégalités de traitement de plus en plus prononcées avec le temps.
Un autre facteur aggravant est la tendance humaine à faire confiance aux résultats produits par une machine plutôt qu’à son propre jugement. Ce phénomène est directement lié au biais d’automatisation, documenté dans de nombreux contextes professionnels.
Ce qui distingue le biais algorithmique d’une simple erreur ponctuelle, c’est son caractère systématique et invisible.
Là où une décision humaine biaisée reste isolée et potentiellement contestable, un algorithme peut reproduire ce biais des milliers de fois par jour, de façon opaque, sans que les personnes concernées en soient informées ni disposent d’une voie de recours claire. C’est cette combinaison d’échelle, de vitesse et d’opacité qui en fait un enjeu majeur pour l’éthique de l’intelligence artificielle.
Lire plus ›
Origine du biais algorithmique
La question des biais dans les systèmes automatisés n’est pas nouvelle. Dès les années 1960 et 1970, les premières réflexions sur l’automatisation des décisions administratives et judiciaires aux États-Unis soulevaient déjà des interrogations sur l’équité des outils statistiques utilisés pour évaluer les individus.
Mais c’est avec l’essor de l’apprentissage automatique et de l’intelligence artificielle, à partir des années 2000, que la question prend une ampleur véritablement inédite.
Le tournant médiatique et académique se produit en 2016, avec la publication d’une enquête retentissante par la rédaction de ProPublica, média américain d’investigation.
Les journalistes analysent le logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), utilisé dans plusieurs États américains pour évaluer le risque de récidive des prévenus. L’enquête révèle que l’algorithme attribue systématiquement des scores de risque plus élevés aux personnes noires qu’aux personnes blanches, à profil judiciaire comparable.
Ce cas devient une référence mondiale dans les débats sur la discrimination algorithmique, et soulève une question fondamentale : peut-on confier à une machine des décisions qui engagent la liberté des individus ?
La même année, Reuters révèle qu’Amazon a développé puis discrètement abandonné un outil de tri automatique de CV.
Entraîné sur dix ans de candidatures reçues par l’entreprise, l’algorithme avait appris à pénaliser les candidatures mentionnant le mot « femmes » ou provenant de diplômées d’universités féminines, simplement parce que les recrutements historiques étaient majoritairement masculins.
L’affaire illustre de façon saisissante comment un algorithme peut perpétuer des inégalités sans que personne ne l’ait explicitement programmé pour le faire.
C’est toutefois la chercheuse Joy Buolamwini, du MIT Media Lab, qui donne au sujet sa visibilité scientifique et publique la plus durable.
En 2018, elle publie avec Timnit Gebru l’étude Gender Shades, qui évalue les performances de systèmes de reconnaissance faciale commerciaux développés par Microsoft, IBM et Face++. Les résultats sont frappants : les algorithmes reconnaissent avec une précision quasi parfaite les visages d’hommes à la peau claire, mais présentent des taux d’erreur pouvant dépasser 30 % sur les visages de femmes à la peau foncée.
La cause est identifiée : les bases de données d’entraînement utilisées sont massivement constituées de visages masculins et à la peau claire, rendant le système structurellement moins performant pour les profils sous-représentés.
Buolamwini fonde par la suite l’Algorithmic Justice League, organisation dédiée à la sensibilisation et à la lutte contre les discriminations dans les systèmes d’intelligence artificielle.
Ses travaux contribuent directement à pousser plusieurs grandes entreprises technologiques à suspendre la commercialisation de leurs outils de reconnaissance faciale aux forces de l’ordre.
En 2019, une étude publiée dans la revue Science par Ziad Obermeyer et ses collègues met en évidence un biais racial dans un algorithme utilisé par des hôpitaux américains pour orienter les patients vers des programmes de soins intensifs.
L’outil sous-estimait systématiquement les besoins des patients noirs, non pas parce qu’il utilisait la race comme variable, mais parce qu’il s’appuyait sur les dépenses de santé passées comme indicateur de l’état de santé. Or ces dépenses étaient historiquement plus faibles pour les patients noirs, en raison d’inégalités d’accès aux soins préexistantes.
Ce cas illustre avec précision comment un biais peut se dissimuler derrière une variable apparemment neutre.
Depuis lors, la prise de conscience institutionnelle s’est accélérée. L’Union européenne a adopté en 2024 le premier cadre réglementaire mondial dédié à l’intelligence artificielle, l’AI Act, qui impose des exigences de transparence et d’équité pour les systèmes à haut risque.
Le biais algorithmique est aujourd’hui reconnu comme un enjeu à la fois technique, éthique et politique, qui interroge profondément la place que nos sociétés souhaitent accorder aux décisions automatisées dans des domaines où les droits fondamentaux sont en jeu.
Lire plus ›
Exemples du biais algorithmique
Recrutement
Un algorithme de tri de CV peut systématiquement défavoriser les candidatures féminines s'il a été entraîné sur des historiques de recrutement majoritairement masculins, perpétuant ainsi des inégalités professionnelles existantes.
Santé
Un algorithme de recommandation de soins peut sous-estimer les besoins des patients appartenant à des groupes sous-représentés dans les données d'entraînement, ce qui peut conduire à des prises en charge inégales.
Achat / consommation
Les systèmes d'octroi de crédit peuvent refuser des prêts à des personnes solvables uniquement parce qu'elles résident dans un quartier statistiquement associé à un risque élevé, créant une discrimination indirecte.
Éducation
Un outil d'orientation scolaire automatisé peut orienter les élèves vers des filières moins valorisées en se basant sur des critères socio-économiques indirects, reproduisant les inégalités du système éducatif.
Foire aux questions (FAQ)
C'est quoi exactement un biais algorithmique ?
Un biais algorithmique, c’est le phénomène par lequel un algorithme produit des résultats systématiquement inéquitables envers certaines personnes ou certains groupes.
Contrairement à ce qu’on pourrait croire, ce n’est pas une machine « folle » ou mal programmée : c’est un système qui reproduit fidèlement les inégalités contenues dans les données qu’on lui a fournies, ou les angles morts de ceux qui l’ont conçu.
Le résultat peut être discriminatoire sans que personne ne l’ait voulu. C’est précisément cette discrétion qui le rend difficile à repérer et à corriger.
Pourquoi un algorithme peut-il être biaisé s'il est programmé par des mathématiques ?
L’idée que les chiffres sont neutres est l’une des illusions les plus tenaces autour de l’intelligence artificielle.
Un algorithme n’invente pas ses propres règles : il apprend à partir de données réelles, produites par des êtres humains dans un monde réel traversé par des inégalités.
Si ces données reflètent des discriminations passées (dans l’embauche, l’accès au crédit, la justice), l’algorithme va les absorber et les reproduire à grande échelle.
Les mathématiques ne garantissent pas la neutralité ; elles garantissent seulement la cohérence avec ce qu’on leur a appris.
D'où vient le biais algorithmique ? Qui est responsable ?
Le biais algorithmique naît rarement d’une intention malveillante. Il peut venir de trois sources principales.
D’abord, les données d’entraînement : si elles reflètent des inégalités historiques, l’algorithme les reproduira.
Ensuite, les choix des concepteurs : quelles variables inclure, comment définir le succès, quels groupes tester, autant de décisions qui ne sont jamais totalement neutres.
Enfin, le manque de diversité dans les équipes de développement crée des angles morts, rendant certains profils d’utilisateurs invisibles aux yeux du système. La responsabilité est donc collective, diffuse, et souvent inconsciente.
Quels sont des exemples concrets de biais algorithmique dans la vie quotidienne ?
Les exemples sont nombreux et touchent des domaines très différents.
Amazon a développé un outil de tri de CV qui pénalisait automatiquement les candidatures féminines, simplement parce que les recrutements historiques étaient majoritairement masculins.
Des algorithmes de reconnaissance faciale affichaient des taux d’erreur bien plus élevés sur les visages de femmes à la peau foncée que sur ceux d’hommes à la peau claire.
Des systèmes bancaires ont refusé des crédits à des personnes solvables vivant dans certains quartiers, sur la base de données géographiques associées à des profils ethniques.
Dans chacun de ces cas, personne n’a explicitement programmé la discrimination.
Le biais algorithmique peut-il s'aggraver tout seul avec le temps ?
Oui, et c’est l’un des aspects les plus préoccupants.
Quand un algorithme biaisé prend des décisions qui alimentent à leur tour ses propres données futures, il entre dans une boucle de rétroaction : les inégalités initiales se trouvent progressivement amplifiées.
Un algorithme de recommandation qui favorise un certain type de contenu génère plus de clics, ce qui renforce le signal que ce contenu est « pertinent », et ainsi de suite.
Un système de scoring judiciaire qui classe davantage certains profils comme « à risque » oriente les décisions des juges, ce qui augmente le taux de récidive apparent de ce groupe, ce qui renforce le score initial.
Le biais ne se corrige pas seul : il se creuse.
Comment le biais algorithmique influence-t-il des décisions qui nous concernent directement ?
Le biais algorithmique agit souvent dans des domaines où les enjeux sont très concrets : obtenir un emploi, accéder à un crédit, recevoir des soins adaptés, ou même être évalué dans un contexte judiciaire.
Une étude publiée dans la revue Science a montré qu’un algorithme utilisé dans des hôpitaux américains sous-estimait systématiquement les besoins de santé des patients noirs, non pas parce qu’il prenait en compte leur origine, mais parce qu’il s’appuyait sur les dépenses de santé passées comme indicateur de l’état de santé (un indicateur lui-même biaisé par des inégalités d’accès aux soins).
Ce type de biais reste invisible pour les personnes concernées, qui n’ont généralement aucun recours clair.
Quelle est la différence entre un biais algorithmique et une simple erreur de programmation ?
Une erreur de programmation est ponctuelle : elle produit un résultat incorrect dans une situation donnée, et on peut la corriger une fois identifiée.
Le biais algorithmique est d’une tout autre nature : il est systématique, c’est-à-dire qu’il affecte de façon répétée et cohérente les mêmes groupes de personnes, des milliers de fois par jour, souvent de manière opaque.
Il ne résulte pas d’un bug mais d’une logique bien rodée qui applique fidèlement ce qu’elle a appris. C’est cette combinaison d’échelle, de vitesse et d’invisibilité qui en fait un problème éthique et non simplement technique.
Pourquoi fait-on autant confiance aux décisions des algorithmes alors qu'ils peuvent se tromper ?
Parce que nous avons tendance à associer « automatique » à « objectif ».
Un résultat produit par une machine semble débarrassé des émotions et des préjugés humains, ce qui lui confère une autorité que n’aurait pas la même décision prise par une personne.
Ce phénomène est directement lié au biais d’automatisation, documenté dans de nombreux contextes professionnels : médecins, pilotes, recruteurs ont tendance à faire confiance aux recommandations d’un système automatisé, même quand leur propre jugement leur signale quelque chose d’anormal.
Cette déférence envers la machine peut aggraver les effets d’un algorithme biaisé, en empêchant les professionnels de le remettre en question.
Est-ce qu'on peut se protéger contre les biais algorithmiques ?
À titre individuel, la marge de manoeuvre est limitée : les algorithmes qui nous affectent sont rarement transparents. Mais à l’échelle collective, des leviers existent.
Diversifier les équipes de développement permet de réduire les angles morts dès la conception. Auditer régulièrement les résultats produits par un algorithme aide à détecter des anomalies systématiques. Tester l’équité du système sur différents groupes avant sa mise en production est une pratique de plus en plus recommandée.
Sur le plan réglementaire, l’AI Act adopté par l’Union européenne en 2024 impose désormais des exigences de transparence et d’équité pour les systèmes d’intelligence artificielle à haut risque.
Quels autres biais cognitifs sont liés au biais algorithmique ?
Plusieurs biais humains alimentent directement le biais algorithmique. Le biais de confirmation pousse les concepteurs à construire leurs outils en confirmant ce qu’ils croient déjà savoir, sans remettre en question leurs présupposés.
Les stéréotypes et préjugés présents dans les données historiques se retrouvent encodés dans les modèles d’apprentissage.
Le biais d’automatisation explique pourquoi on fait trop confiance aux sorties d’un système automatisé, même défaillant.
Et la prophétie autoréalisatrice décrit bien la dynamique de boucle de rétroaction : un algorithme qui prédit un comportement finit par le provoquer, renforçant ainsi sa propre logique initiale.