Algorithmes, équité et pouvoir

L’équité se mesure – mais pas tout à la fois

Jon Kleinberg, Sendhil Mullainathan et Manish Raghavan (2016) ainsi qu’Alexandra Chouldechova (2017) ont démontré que, lorsque les groupes diffèrent par leurs taux de base, un score de risque ne peut pas être à la fois aussi bien calibré pour chaque groupe et présenter des taux d’erreur égaux. Choisir un critère d’équité est donc une décision morale, non un détail technique. Les défenseurs de la décision algorithmique ajoutent que des humains biaisés sont difficiles à auditer, alors que les entrées et les résultats d’un algorithme peuvent être testés et corrigés, de sorte que des algorithmes bien encadrés pourraient même réduire la discrimination (Kleinberg, Ludwig, Mullainathan et Sunstein, 2018). Brian Hedden (2021) montre par une expérience de pensée qu’une procédure parfaitement équitable peut violer presque tous les critères statistiques usuels – la plupart d’entre eux ne peuvent donc pas être des conditions nécessaires de l’équité.

Vieille injustice, nouveau code

Des sociologues et des spécialistes critiques de la technologie soutiennent que le problème tient moins aux formules qu’au monde dont elles apprennent. Les systèmes entraînés sur des décisions passées reproduisent les discriminations passées – dans l’embauche, le maintien de l’ordre ou l’aide sociale – tout en paraissant neutres ; Ruha Benjamin (Race After Technology, 2019) parle de « New Jim Code », allusion aux lois Jim Crow de ségrégation. Joy Buolamwini et Timnit Gebru (2018) ont constaté que des systèmes commerciaux d’analyse faciale se trompaient sur le genre des femmes à la peau foncée bien plus souvent que sur celui des hommes à la peau claire, et Virginia Eubanks (Automating Inequality, 2018) montre comment les systèmes automatisés d’aide sociale soumettent les personnes pauvres à une surveillance que d’autres ne connaissent jamais. De ce point de vue, les mesures d’équité ne suffisent pas : ce qui compte, c’est qui conçoit les systèmes, dans quel but – et si certains devraient seulement être construits.

Le pouvoir sur les données

Shoshana Zuboff (L’Âge du capitalisme de surveillance, 2019) soutient que les grandes plateformes revendiquent l’expérience humaine comme matière première gratuite : elles collectent un « surplus comportemental » au-delà de ce que leurs services exigent, le transforment en prédictions, vendent celles-ci et cherchent en fin de compte à façonner le comportement lui-même. Nick Couldry et Ulises Mejias (The Costs of Connection, 2019) parlent de « colonialisme des données », une nouvelle appropriation de la vie humaine qui, selon eux, prolonge la logique du colonialisme historique. Les critiques divergent sur les remèdes – droits à la vie privée renforcés, droit de la concurrence, alternatives publiques ou coopératives – mais s’accordent à dire qu’une éthique des algorithmes pris un à un néglige la concentration du pouvoir entre les mains de quelques entreprises qui possèdent les données, la capacité de calcul et les modèles.

Des principes à la pratique

Floridi et Josh Cowls (2019) ont condensé des dizaines de lignes directrices d’éthique de l’IA en cinq principes : bienfaisance, non-malfaisance, autonomie, justice et explicabilité. Les principes seuls, avertit Floridi, invitent à l’« ethics shopping », à l’« ethics bluewashing » et à l’« ethics dumping » – choisir les règles qui conviennent, soigner son image par des déclarations éthiques, ou déplacer des recherches douteuses vers des lieux aux règles plus faibles. Ils doivent être traduits en droit, en conception et en audit, comme l’UE a commencé à le faire avec son règlement sur l’IA fondé sur les risques. Vallor ajoute une perspective éthique des vertus : la technologie modifie les habitudes par lesquelles nous formons notre caractère, de sorte que les sociétés ont besoin de vertus « technomorales » telles que l’honnêteté, l’humilité, le courage et la sagesse pratique pour bien vivre avec elle.

Défendue par

• Luciano Floridiné(e) en 1964
• Shannon Vallorcontemporain

Les risques à la frontière

Bostrom (Superintelligence, 2014) et l’informaticien Stuart Russell (Human Compatible, 2019) soutiennent que des systèmes plus capables que les humains pourraient poursuivre des buts divergents des nôtres, et qu’« aligner » de manière fiable ces systèmes sur les valeurs humaines est un problème technique et philosophique non résolu. En 2023, des centaines de chercheurs et de dirigeants de l’IA ont signé une déclaration d’une phrase selon laquelle atténuer le risque d’extinction lié à l’IA devrait être une priorité mondiale, au même titre que les pandémies et la guerre nucléaire ; un rapport scientifique international présidé par Yoshua Bengio (2025) a examiné ces risques ainsi que les préjudices actuels. Des critiques comme Emily Bender et Timnit Gebru répondent que la spéculation sur la superintelligence détourne l’attention des préjudices concrets des systèmes existants – biais, exploitation des travailleurs des données, concentration du pouvoir – et sert les entreprises qui profitent du battage médiatique.

Défendue par

• Nick Bostromné(e) en 1973