Biais d’automatisation

Sommaire

Tendance à accorder une confiance excessive aux machines, au détriment de notre jugement humain.

Points à retenir

1

Ce biais se manifeste quand on fait plus confiance à une décision prise par une machine qu'à notre propre jugement, même face à des erreurs évidentes de la machine.

2

Des erreurs de jugement induites par ce biais peuvent entraîner des coûts inutiles, des inquiétudes, et même des risques pour la santé et la sécurité.

3

L'automatisation peut mener à une baisse de vigilance et une attitude moins critique envers les informations fournies par les machines.

4

La susceptibilité à ce biais varie en fonction de la personnalité de l'individu, de sa familiarité avec la tâche à accomplir, et de son expérience avec la machine concernée.

Explication du biais

Le biais d’automatisation trouve son fondement dans la confiance excessive que nous plaçons dans les technologies et les systèmes automatisés, au détriment de notre propre capacité de jugement et de notre vigilance. Cette tendance à faire confiance aveuglément aux machines peut être comparée au biais de conformité, où les individus modifient leur comportement ou leur jugement pour s’aligner sur un groupe ou une autorité perçue. Tout comme le biais de conformité démontre notre propension à suivre les autres même en présence d’informations contradictoires, le biais d’automatisation illustre notre inclination à accepter les recommandations d’une machine sans remise en question suffisante, parfois même en ignorant des preuves évidentes ou notre propre expertise.

Ce biais est amplifié par la perception que les machines, étant dépourvues de biais humains et émotionnels, sont intrinsèquement plus fiables et capables de prendre des décisions objectives. Cette croyance est renforcée par le succès et la précision des technologies dans de nombreux domaines, conduisant à une surestimation de leurs capacités et à une sous-estimation des risques d’erreur. De plus, la complexité des systèmes automatisés et le manque de transparence sur leur fonctionnement peuvent rendre difficile pour les utilisateurs la critique ou la compréhension de leurs décisions, ce qui contribue à une dépendance accrue à l’égard de ces systèmes.

Les conséquences de ce biais peuvent être graves, particulièrement dans des domaines où les erreurs ont un impact significatif sur la santé, la sécurité ou le bien-être économique. La reconnaissance de ce biais et la compréhension de ses mécanismes sont donc cruciales pour développer une approche plus équilibrée dans notre interaction avec les technologies, où la confiance dans les systèmes automatisés est tempérée par un scepticisme sain et une vérification continue de leur validité et de leur pertinence dans des contextes spécifiques.

Origine du biais

L’identification précise de l’origine du biais d’automatisation dans la littérature scientifique est difficile à attribuer à une personne ou un groupe spécifique, car la prise de conscience de ce phénomène s’est développée progressivement avec l’avancement de la technologie et son intégration croissante dans notre vie quotidienne. Cependant, la conceptualisation du biais d’automatisation en tant que tel reflète les travaux de nombreux chercheurs dans les domaines de la psychologie cognitive, de l’ergonomie, et des interactions homme-machine qui ont exploré comment les individus interagissent avec les technologies et les systèmes automatisés.

Les recherches sur ce biais ont mis en lumière la façon dont notre confiance dans la technologie peut être influencée par divers facteurs, tels que la familiarité avec le système, la perception de sa fiabilité, et les attitudes envers l’automatisation en général. Ces études ont également examiné les circonstances sous lesquelles les personnes sont plus susceptibles de s’en remettre à la machine plutôt qu’à leur propre évaluation, soulignant l’importance de la formation, de l’expérience et de la sensibilisation aux limitations des systèmes automatisés.

Bien que le biais d’automatisation n’ait pas été attribué à un inventeur unique, il est le produit d’une prise de conscience collective de la communauté scientifique sur les interactions complexes entre les humains et les machines. Les chercheurs ont souligné la nécessité d’une approche équilibrée, où la technologie sert d’outil d’assistance plutôt que de substitut à la prise de décision humaine. En reconnaissant et en comprenant ce biais, nous pouvons mieux naviguer dans un monde de plus en plus automatisé, en tirant parti des avantages des technologies tout en restant vigilants face à leurs limites et potentiels dangers.

Exemples

Vie quotidienne

L'usage répandu de GPS pour la navigation, où les utilisateurs suivent aveuglément les directions sans tenir compte de leur connaissance personnelle ou des conditions réelles, souligne la prévalence du biais d'automatisation dans les activités quotidiennes.

Médecine

Dans le domaine médical, l'introduction de la technologie du Soutien à la Décision Clinique (CDS) a permis aux professionnels de la santé d'entrer les symptômes des patients dans un ordinateur pour obtenir des suggestions de diagnostics. Cependant, en 2016, des chercheurs ont découvert un bogue dans l'algorithme qui a incorrectement recommandé des tests de plomb sanguin pour les nourrissons, même lorsque cela n'était pas nécessaire. Malgré leur propre jugement clinique, certains professionnels ont suivi les recommandations de la machine, entraînant des coûts de santé inutiles et provoquant de l'anxiété chez les parents des nourrissons. Ces erreurs dues à la confiance excessive dans la machine peuvent avoir des conséquences graves pour la santé des patients.

Aviation

Dans l'aviation, où la sécurité des vols est primordiale, les pilotes reçoivent des conseils et des informations cruciales des systèmes automatisés. Cependant, des études ont révélé que même si peu de pilotes suivent des conseils erronés des machines, beaucoup d'entre eux s'abstiennent d'agir lorsque la machine omet de leur donner des instructions nécessaires. Par exemple, en cas de défaillance de la fonction autopilote, certains pilotes pourraient ne pas réagir immédiatement car la machine ne les a pas explicitement avertis. Cette surconfiance dans la machine, combinée à l'omission d'informations, peut entraîner des retards dans la prise de décision et des risques pour la sécurité des vols.

Pour aller plus loin

Biais d'automatisation - Shortcogs

Qu'est-ce qu'un biais d'automatisation ? - Databricks

Les erreurs de l’IA retentissent sur les performances des radiologues en mammographie - Dorcteur Imago

Découvrez d'autres biais cognitifs