Imaginez un monde où des algorithmes artificiellement intelligents prennent des décisions qui affectent votre vie quotidienne. Maintenant, imaginez qu'ils aient des préjugés.
C'est le monde dans lequel nous vivons déjà, explique la scientifique des données, Harvard PhD et auteur Cathy O'Neil. (Lisez la première partie de notre discussion avec le Dr O'Neil ici). Nous avons rencontré le nominé au National Book Award pour découvrir ce que nous pouvons faire contre les préjugés à l'ère des mégadonnées. CT: L'IA a-t-elle un préjudice?
CO: Tout algorithme qui n'a pas été explicitement rendu équitable devrait être supposé être compromis. Parce qu'en tant que personnes, nous avons des préjugés. Si nous reconnaissons cela et que nous créons ces algorithmes avec nos valeurs et nos données, nous ne devrions pas supposer que quelque chose s'est passé comme par magie pour rendre les choses équitables. Il n'y a pas de magie là-bas.
CT: Où les algorithmes obtiennent-ils leurs données?
CO: Cela dépend de l'algorithme. Parfois, les médias sociaux, pour des choses comme le ciblage du marché politique ou la publicité ou les collèges à but lucratif et les prêts abusifs - mais une grande partie des données ne sont pas collectées sur les médias sociaux, ni même en ligne.
La collecte de données est de plus en plus liée à la vie réelle, comme trouver un emploi, travailler à votre travail, aller à l'université ou aller en prison. Ces choses ne sont pas des choses que nous pouvons contourner avec les lois sur la confidentialité. Ce sont des problèmes de pouvoir, où les personnes ciblées par les algorithmes n'ont aucun pouvoir, et les personnes qui collectent les informations, construisent et déploient les algorithmes ont tout le pouvoir. Vous n'avez aucun droit à la vie privée si vous êtes un accusé, vous n'avez aucun droit à la vie privée dans votre travail et vous n'avez pas beaucoup de droits à la vie privée si vous postulez pour un emploi parce que si vous ne répondez pas aux questions que votre futur employeur vous a posées, vous n'obtiendrez probablement pas le poste.
Nous devrions penser moins à la vie privée et plus au pouvoir en ce qui concerne les algorithmes et les dommages [qu'ils peuvent causer].
CT: Que pouvons-nous faire pour l'améliorer?
CO: Nous pouvons reconnaître que ces algorithmes ne sont pas intrinsèquement parfaits et les tester pour leurs défauts. Nous devrions avoir des audits et des moniteurs continus - en particulier pour les décisions importantes comme l'embauche, les condamnations pénales ou l'évaluation des personnes dans leur travail - pour nous assurer que les algorithmes agissent de la manière que nous voulons, et non d'une manière discriminatoire ou injuste.
Ailsa Johnson / © Voyage culturel
CT: Quels sont les meilleurs et les pires scénarios pour un avenir axé sur les données?
CO: Le pire des scénarios est ce que nous avons maintenant - que nous nous attendons tous aveuglément à ce que les algorithmes soient parfaits, même si nous devrions mieux le savoir maintenant. Et nous propagons les injustices et les injustices passées. Et nous continuons à ignorer les défauts de ces algorithmes.
Le meilleur scénario est que nous reconnaissons que ces algorithmes ne sont pas intrinsèquement meilleurs que les humains. Nous décidons ce que nous voulons en tant qu'êtres humains, ce que nous recherchons. À quoi nous voulons que la société ressemble, et nous enseignons ces valeurs. Si nous réussissons, ces algorithmes pourraient être meilleurs que les humains.
CT: Quel rôle les gens ordinaires peuvent-ils jouer?
CO: Le rôle le plus important qu'un individu peut jouer est de ne faire confiance implicitement à aucun algorithme. Avoir un énorme scepticisme. Si vous êtes évalué sur un algorithme, demandez «Comment puis-je savoir que c'est juste, comment puis-je savoir que c'est utile, comment puis-je savoir que c'est exact? Quel est le taux d'erreur? Pour qui cet algorithme échoue-t-il? Cela fait-il défaut aux femmes ou aux minorités? Posez ce genre de question.
La deuxième chose, au-delà du scepticisme, est que si vous pensez qu'un algorithme est injuste envers vous ou d'autres personnes, c'est de vous organiser avec ces autres personnes. Un exemple récent est celui des enseignants. Les modèles statistiques sur les enseignants à valeur ajoutée sont de terribles générateurs de nombres presque aléatoires. Mais ils étaient utilisés pour décider quels enseignants devraient obtenir la permanence et quels enseignants devraient être licenciés, partout aux États-Unis.
Je leur suggère de faire reculer leur syndicat. Et cela s'est produit à certains endroits. Mais il est surprenant de constater à quel point il y avait peu de résistance en raison de la nature mathématique du système de notation.
CT: Comment êtes-vous entré dans le «big data»?
CO: J'ai travaillé à Wall Street et j'ai été témoin de la crise financière de l'intérieur. J'ai été dégoûté par la façon dont les mathématiques étaient utilisées pour tirer parti des gens ou pour tromper les gens. J'ai vu le genre de dommages qui pourraient provenir des mensonges mathématiques, ce que j'appelle «l'arsenalisation des mathématiques».
J'ai décidé de m'en éloigner, alors j'ai rejoint Occupy Wall Street et j'ai commencé à travailler en tant que data scientist. Je me suis lentement rendu compte que nous voyions également un battage médiatique erroné et trompeur autour d'algorithmes de données trompeuses se produire en dehors de Wall Street, et que cela allait entraîner beaucoup de dégâts. La différence était que même si les gens du monde entier ont remarqué la crise financière, je ne pensais pas que les gens remarqueraient les échecs de ces algorithmes de big data, car ils se produisent généralement au niveau individuel.
Lisez la première partie de notre discussion avec le Dr O'Neil ici. Le livre du Dr Cathy O'Neil, Les armes de destruction des mathématiques: comment les mégadonnées accroissent les inégalités et menacent la démocratie, est disponible dès maintenant.
