La sociologue Safiya Umoja Noble a tenté une simple expérience. En tapant successivement dans Google Images « trois adolescents blancs », puis « noirs » et enfin « asiatiques », les résultats sont radicalement différents. La première proposition montre de jeunes gens souriants, en train de faire du sport ou de sociabiliser, la deuxième propose de jeunes Afro-Américains en prison ou dont la pose évoque la délinquance, quant à la troisième, elle nous plonge directement dans le monde de la pornographie. C’était en 2016, et elle voulait montrer, avec son livre « Algorithms of Oppression », à quel point les outils numériques que nous utilisons au quotidien sont bourrés de préjugés racistes et les renforcent.

Sous couvert de méthode scientifique

On ne peut pas réduire un tel raté à un « biais » qu’on pourrait corriger en mettant le nez dans les algorithmes, même si c’est ainsi que Google a tenté de rectifier le tir. Sous couvert de méthode scientifique, l’analyse des données se veut neutre, un moyen d’objectiver le réel, mais elle est plutôt le fruit d’une histoire, d’un contexte.

Un algorithme ne devient pas raciste à cause d’un problème technique, mais d’un rapport de forces. C’est tout le propos de « Data Feminism » – un ouvrage de Catherine D’Ignazio, laquelle se décrit comme une « maman hackeuse », et Lauren Klein, développeuse et passionnée d’histoire de l’informatique – paru au MIT.

Les autrices précisent : « Les résultats de la recherche Google ne sont pas simplement en corrélation avec notre société raciste, sexiste et colonialiste ; la recherche Google renforce ces situations d’oppression en classant les résultats en fonction du nombre d’autres sites qui y sont liés. »

Serena Williams et la statistique de la mortalité en couche

« Ce qui est compté est ce qui compte. » Cette affirmation de la géographe féministe Joni Seager est une invitation à s’interroger sur la donnée. Ce qui est arrivé à la championne de tennis Serena Williams est éclairant à ce propos. Elle a failli mourir lors de son accouchement en 2017. À la sortie de l’hôpital, elle évoque son épreuve sur les réseaux sociaux, soulignant l’injustice que, sans sa célébrité et son argent qui lui ont valu les meilleurs soins, elle ne serait sûrement plus là.

La sportive a reçu en réponse de très nombreux témoignages de femmes noires qui ont vécu des drames similaires. Interpellée, Serena Williams se renseigne et trouve une statistique du centre pour le contrôle et la prévention des maladies (CDC) : les femmes noires meurent trois fois plus en couches que les Blanches aux États-Unis. La presse s’en mêle.

Acculé, le chef de la branche santé ­maternelle et infantile du CDC, William Callaghan, répond embarrassé : « Ce que nous choisissons de mesurer est un énoncé de ce que nous valorisons en matière de santé. » Autrement dit, l’institution ne sait pas pourquoi les femmes noires meurent trois fois plus, car, comme elle estime le phénomène pas assez important, elle n’a même pas pris la peine de le consigner, le mesurer.

Ces problèmes sociaux urgents mais qui n’existent pas

« Tout comme la présence de données profite toujours à quelqu’un, à un pouvoir, chaque absence a aussi un sens. C’est très important à garder à l’esprit », assure l’artiste Mimi Onuoha pour expliquer son projet : The Library of Missing Datasets (la bibliothèque des ensembles de données manquants).

Dans un grand classeur métallique, elle consigne des dossiers vides, étiquetés de problèmes sociaux urgents mais qui n’existent pas, puisque le pouvoir n’en a pas collecté les données : « Personnes exclues des logements sociaux en raison d’un casier judiciaire » ; « Mobilité pour les personnes âgées ayant un handicap physique ou des troubles cognitifs » ; « Statistiques de la pauvreté incluant les personnes en prison » ; « Combien de mosquées sont sous surveillance » ; « les personnes trans blessées ou tuées dans des crimes haineux »…

Historiquement, compter a toujours été utilisé par le pouvoir pour dominer et exclure. « La relation étroite entre les données et le pouvoir est clairement visible dans l’arc historique, qui commence par les journaux de bord des personnes capturées et placées à bord des navires négriers, réduisant les vies à des nombres et des noms, rappellent Catherine D’Ignazio et Lauren Klein.

Cela continue par le mouvement eugéniste, à la fin du XIX^e et au début du XX^e siècle, qui cherchait à utiliser des données pour quantifier la supériorité des Blancs sur tous les autres. Elle se poursuit aujourd’hui dans la prolifération des technologies biométriques. »

L'outil biaisé des juges américains

Vu le poids de l’histoire, on ne peut être surpris que les algorithmes qui se fondent sur ces données entretiennent et amplifient les discriminations. Par exemple, les juges états-uniens disposent d’un outil informatique qui leur indique un niveau de risque de récidive de détenus demandant une ­libération anticipée.

En mettant le nez dans l’algorithme, une équipe de ProPublica a montré que, du seul fait de leur couleur de peau, les accusés noirs étaient 77 % plus susceptibles que les Blancs de parvenir à un score de récidive violente élevé.

Autre exemple, en 2018, il a été révélé qu’Amazon avait développé un algorithme pour filtrer les CV des postulants à un emploi dans le groupe. Mais, parce que le modèle se ­fondait sur les précédents candidats recrutés, principalement masculins, il a développé une préférence encore plus marquée pour les hommes. Pour gagner du temps, l’algorithme avait même déclassé les universités où les femmes étaient majoritaires.

Des mains de personnes noires non reconnues par certains sèche-mains

Parfois, l’algorithme discrimine sans s’en rendre compte. Ainsi, Joy Buolamwini, une étudiante ghanéenne-américaine au MIT, travaillait sur un projet de classe utilisant un logiciel d’analyse faciale. Sauf que le programme n’arrivait pas à « distinguer » son visage à la peau foncée. Problème qui fut réglé lorsqu’elle a porté un masque blanc.

En se demandant pourquoi, Buolamwini a découvert que l’ensemble de données sur lequel de nombreux algorithmes de reconnaissance faciale sont testés contient 78 % de visages masculins et 84 % de visages blancs, mais seulement 4 % de visages de femmes et à la peau foncée.

Ce n’est clairement pas représentatif de la population globale, mais cela l’est de qui travaille dans le secteur. 26 % des personnes exerçant des « professions informatiques et mathématiques » sont des femmes aux États-Unis, 27 % en France. Un rapport du groupe de recherche AI NOW note que les femmes ne représentent que 15 % du personnel de ­recherche en intelligence artificielle de Facebook et 10 % de celui de Google.

C’est pour ces mêmes raisons que des mains de personnes noires ne sont pas reconnues par certains sèche-mains automatiques, ou que le programme de validation des photos d’identité en Nouvelle-Zélande refuse des portraits d’Asiatiques sous prétexte qu’ils auraient les yeux fermés. On pourrait multiplier sans fin les anecdotes de ce type.

Un féminisme des données

Après l’analyse du pouvoir, il convient de le défier et, pour cela, le féminisme des données propose une méthode. Cela implique avant tout la colibération, à savoir « que les systèmes de pouvoir oppressifs nous nuisent à tous, qu’ils sapent la qualité et la validité de notre travail, et qu’ils nous empêchent de créer un changement social véritable et durable avec science des données », explicitent Catherine D’Ignazio et Lauren Klein. Pas tant « libérer les ­données » que « libérer les gens » et créer une « technologie de rassemblement ».

Chaque projet de données doit être pensé avec une infrastructure sociale, une « culture de la solidarité » et implique un transfert de connaissances. Chaque jeu de données doit « embrasser le pluralisme », être incarné et accompagné d’une ­méthodologie et surtout d’un contexte – les chiffres ne parlent pas d’eux-mêmes –, et des systèmes de classifications constamment interrogés. Parmi les exemples de bonne pratique, il y a WomanStats. « Si vous voulez faire des recherches sur les femmes, vous devez adopter des données qualitatives. Car la réalité de la vie des femmes n’est tout simplement pas capturée dans les statistiques quantitatives », pointe ainsi sa créatrice, Valerie M. ­Hudson­. Au lieu de se concentrer sur une seule ­variable, le projet ne comprend pas moins de 300 indicateurs sur 174 pays. Si l’on se questionne sur le viol, le site pointe pour chaque territoire les données des violences signalées – les utilisateurs sont avertis qu’il s’agit d’un indicateur très peu fiable –, si les lois y sont appliquées, relate des expériences vécues, la culture et les tabous locaux, etc.

« WomanStats montre comment le contexte peut également inclure une analyse du pouvoir et des inégalités sociales », insistent Catherine D’Ignazio et Lauren Klein. « Le contexte et l’infrastructure d’information qu’il requiert devraient être à l’avenir une priorité pour les défenseurs des données ouvertes, les bibliothécaires, les chercheurs, les agences de presse et les régulateurs. Nos vies axées sur les données en dépendent », concluent-elles. Sans ce travail, « la plus grande menace des systèmes d’intelligence artificielle n’est pas qu’ils deviendront plus intelligents que les humains, mais plutôt qu’ils coderont en dur le sexisme, le racisme et d’autres formes de discrimination dans l’infrastructure numérique de notre société », alerte de son côté la sociologue Kate Crawford.