Ces derniers temps, on parle beaucoup du manque de diversité dans les sciences et la tech. Ces interrogations sont souvent accompagnées de réflexions exaspérées, de type « Et alors ? » Il existe beaucoup de réponses à cette question, mais la plus évidente est sans doute celle-ci : parce que des équipes homogènes produisent des produits homogènes dans un monde homogène.
Les anecdotes ne manquent pas pour illustrer ce phénomène. On pourrait évoquer la fois où le système de tag de Google a étiqueté « gorilles » deux amis noirs. Flickr a fait la même erreur en collant les tag « animal » et « singe » sur un homme noir. On pense aussi aux appareils photos Nikon conçus pour détecter les clignements de paupières des sujets, et qui ont tendance à signaler aux personnes asiatiques qu’elles ont les yeux fermés. Enfin, les webcam HP n’ont aucun mal à suivre les visages blancs, mais sont incapables de détecter un visage noir.
Videos by VICE
On peut toujours avancer des explications techniques pour justifier ces problèmes. Les ordinateurs sont programmés pour mesurer certaines variables et pour effectuer une opération précise une fois que les conditions voulues sont réunies. Les algorithmes sont entrainés à analyser de larges bases de données de visages. Si l’ordinateur n’a jamais vu quiconque possédant des yeux bridés ou une peau noire, il ne sait pas le détecter. On ne lui a pas dit comment faire. Ou plutôt : les personnes qui l’ont conçu n’ont pas anticipé cette situation, par inconscience ou par négligence. Pour eux, le visage par défaut est celui d’un caucasien.
Les algorithmes sont criblés de biais structurels. Et pourtant, on l’avait vu venir.
« Personne ne prend le temps de réfléchir aux concepts de privilège et de statut ; si vous correspondez au prototype de l’individu par défaut, vous vous contentez de vivre votre vie. »
« Si vous comprenez comment marchent les biais systémiques, comment marche le machine learning et que vous vous posez la question ‘est-ce que tout cela pourrait aboutir à des décisions biaisées ?’ La réponse sera oui, forcément, » explique Sorelle Friedler, professeur d’informatique à Haverford College. Mais quand je lui demandé quelle proportion de la population comprenait, selon elle, à la fois le concept de biais systématique et le fonctionnement des algorithmes, sa réponse a été très pessimiste.
Quand vous demandez aux ingénieurs qui conçoivent les systèmes de reconnaissance faciale s’ils se sentent concernés par ces problèmes, ils répondent généralement que non. Moshe Greenshpan, le fondateur et responsable de Face-Six, une entreprise qui développe la reconnaissance faciale pour les églises et les grands magasins, m’a expliqué qu’il ne fallait pas s’attendre à ce que son système fonctionne dans 100% des cas. Que ces problèmes étaient somme toute anecdotiques. Comme le fait qu’un système soit incapable d’analyser une personne trans, par exemple.
« Je ne pense pas que mes ingénieurs, ou les ingénieurs des autres boites d’ailleurs, aient des vues particulièrement rétrogrades sur l’ethnicité, » explique Greenshpan. « Ils essaient juste de résoudre des problèmes pratiques. »
D’une certaine manière, il a raison. Les entreprises ne programment pas sciemment leurs systèmes pour ignorer les noirs et agacer les asiatiques. Les gens qui travaillent sur les biais algorithmiques, comme Suresh Venkatasubramanian, professeur d’informatique à l’Université d’Utah, font le même constat. « Je ne pense pas qu’il y ait un désir conscient d’ignorer ces problèmes, » dit-il. « C’est seulement qu’ils ne leur viennent même pas à l’esprit. Personne ne prend le temps de réfléchir aux concepts de privilège et de statut ; si vous correspondez au prototype de l’individu par défaut, vous vous contentez de vivre votre vie. »
Quand les entreprises évoquent le risque d’erreur, elles raisonnent de manière statistique. Un système qui fonctionne 95% du temps est probablement assez bien pour le travail qu’il a à effectuer. Mais cela élude la question de la distribution statistique de ces résultats : est-ce que l’échantillon des 5% d’erreur est hétérogène, ou est-ce qu’il correspond à un groupe de gens en particulier ? Si le système fait des erreurs aléatoires, si se plante à cause d’une mauvaise lumière ou d’un reflet parasite, 5% est un pourcentage d’erreur parfaitement acceptable. En revanche, si les erreurs correspondent à des clusters de caractères humains, c’est une toute autre histoire.
L’algorithme fonctionne 95% du temps mais est incapable de détecter un individu aux traits asiatiques ? Il fonctionne 99% du temps sans jamais réussir à classifier une personne trans ? Imaginez les proportions que peut prendre l’erreur d’un système biométrique qui analyserait les visages dans les zones frontalières, par exemple.
On sait déjà à quel point les erreurs informatiques sèment la pagaille lorsqu’elles interviennent dans le contexte de la sécurité frontalière. Les transsexuels qui traversent régulièrement des checkpoints de sécurité ont tous vécu des situations extrêmement humiliantes. C’est ce qui arrive lorsque les « scans » automatisés produisent des résultats qui ne correspondent pas à l’identité déclarée par les personnes.
Shadi Petosky a live-tweeté sa détention à l’aéroport international d’Orlando en Floride : « un agent de la douane m’a demandé de repasser en ‘mode homme’, sans quoi il allait y avoir un problème. » Depuis, d’autres histoires de « personnes trans en voyage » ont émergé un peu partout, révélant ce qui arrive quand un scan biométrique ne correspond pas aux attentes de l’agent de contrôle. L’an dernier, la TSA a déclaré qu’elle cesserait d’utiliser le mot « anomalie » pour décrire les organes génitaux des passagers trans. Quel progrès.
Les erreurs des systèmes de reconnaissance faciale ne sont que l’une des innombrables humiliations que vivent chaque jour les personnes non blanches au contact de la technologie. Elles doivent se confronter à ce rappel constant : telle technologie, tel système, n’a pas été conçu pour vous. Les gens qui l’ont mis au point ont oublié votre existence. Même si ces défauts de conception ne sont pas induits consciemment, il n’est pas moins difficile de devoir les subir régulièrement.
La reconnaissance faciale constitue le nouvel horizon de la sécurité, comme le montre cette application Mastercard à l’édition 2016 du Mobile World Congress. Image: Bloomberg/Getty
Ces exemples ne correspondent pourtant qu’à la partie immergée de l’iceberg. Certes, les défauts de la reconnaissance faciale ne sont qu’un problème mineur pour la plupart des gens. Mais plus la technologie se diffuse, plus ces discriminations seront apparentes. « Le problème n’est pas encore ancré dans le quotidien, » explique Jonathan Frankle, consultant en technologie à Georgetown Law. « La reconnaissance faciale débarque dans des secteurs critiques. » Comme les banques, par exemple, ou les bâtiments publics qui envisagent de réguler les entrées/sorties en s’aidant de scans faciaux.
Comment peut-on régler le problème ? Pour commencer, il faut admettre qu’il existe. Et s’il y a bien un sujet qui ne passionne pas les PDG, c’est celui de la diversité ethnique.
Ils pourraient pourtant attaquer le problème par le prisme du recrutement : des employés d’origines ethnique, sociale, culturelle différentes peuvent contribuer à détecter des biais algorithmiques que l’on n’aurait pas vus autrement.
Il existe aussi des solutions technologiques. La plus évidente consiste à diversifier les sources d’apprentissage de l’algorithme. Vous pouvez par exemple lui montrer des visages de toutes formes et couleurs. Ce n’est certes pas facile. La plupart des bases de données dont disposent les chercheurs dans les laboratoires universitaires sont constituées de photos d’étudiants volontaires. Et les entreprises qui ne sont affiliées à aucune institution, comme Face-Six, doivent bricoler les leur à partir de photos dénichées sur le web, ou en achetant des bases de données de visages toutes prêtes.
Les entreprises peuvent aussi faire tester leurs algorithmes par des spécialistes. Venkatasubramanian et Sorelle, par exemple, travaillent sur des tests de détection de biais algorithmiques. L’Institut National des Normes Technologiques américain, quant à lui, possède son propre programme de test de systèmes de reconnaissance faciale. Hélas, la plupart des entreprises n’éprouvent pas le besoin de mettre leurs algorithmes à l’épreuve. Et personne ne peut les obliger à le faire.
Un ordinateur ne peut connaître que les visages qu’on lui donne à voir. Lui montrer des visages diversifiés ne peut que contribuer à l’améliorer. Évidemment, de nombreux militants pour le droit à la vie privée estiment qu’il ne faut surtout, surtout pas affiner les algorithmes. Mais s’ils doivent exister, autant qu’ils soient un peu plus justes.
