Comment intégrer l'éthique dans l'IA - Partie II

Recommandations basées sur la recherche pour garder l'humanité dans l'IA

iStock by Getty Images Crédit: AndreyPopov

Ceci est la deuxième partie d'une série en deux parties sur la manière d'intégrer l'éthique dans l'IA. La première partie visait à cultiver une culture éthique dans votre entreprise et votre équipe, ainsi qu’à être transparente au sein de votre entreprise et à l’extérieur. Dans cet article, nous allons nous concentrer sur les mécanismes permettant de supprimer l'exclusion de vos données et algorithmes. De toutes les interventions ou actions que nous pouvons entreprendre, les progrès réalisés ont le taux de changement le plus élevé. De nouvelles approches pour identifier et traiter les biais dans les données et les algorithmes continuent à émerger, ce qui signifie que les clients doivent rester au courant de cette technologie émergente.

Supprimer l'exclusion

Les préjugés peuvent entrer de différentes manières dans un système d'IA. Pour les réparer, il faut d'abord les reconnaître.

Comprendre les facteurs impliqués

Identifiez les facteurs saillants et modifiables dans votre ou vos algorithmes.

Les applications de prêt numériques absorbent des tonnes de données alternatives provenant d’un appareil mobile, telles que les habitudes de localisation quotidiennes, les activités sur les réseaux sociaux, la ponctuation des messages texte ou le nombre de leurs contacts qui ont un nom de famille pour approuver ou refuser un prêt ou appliquer un taux d’intérêt plus élevé. Par exemple, les fumeurs et les internautes tard le soir sont mal à rembourser leurs emprunts. Ces données sont généralement collectées à l'insu de l'utilisateur car l'autorisation est enterrée dans les conditions de service.

Les ingénieurs et les utilisateurs finaux sont mal à l'aise avec une «boîte noire». Ils veulent comprendre les intrants ayant servi à formuler les recommandations. Cependant, il peut être presque impossible d'expliquer exactement comment une IA a formulé une recommandation. Dans l’exemple de prêt ci-dessus, il est important de se rappeler que corrélation n’est pas synonyme de lien de causalité et de réfléchir de manière critique aux liens qui sont établis lorsque des décisions importantes sont prises, par exemple l’approbation de prêt immobilier.

Quels sont les facteurs qui, lorsqu'ils sont manipulés, modifient de manière significative le résultat de la recommandation d'Amnesty International? En comprenant les facteurs utilisés et en les activant / les désactivant, les créateurs et les utilisateurs peuvent voir comment chaque facteur influe sur l'IA et quelles sont les décisions qui en résultent.

Ce guide de Christoph Molnar pour expliquer les modèles de boîte noire est une tentative de creuser plus profondément. Une autre méthode a été démontrée par des chercheurs de Google en 2015. Ils ont mis au point un algorithme de reconnaissance d'images basé sur l'apprentissage en profondeur afin qu'au lieu de repérer des objets sur des photos, il les génère ou les modifie afin de découvrir les fonctionnalités utilisées par le programme pour reconnaître une barre ou autre objet.

L’équipe de conception inclusive de Microsoft a ajouté à ses outils et processus de conception un ensemble de directives pour reconnaître l’exclusion dans l’IA. Les recommandations restantes de cette section s’inspirent de leur publication de Medium sur ces cinq types de biais.

Prévenir le biais du jeu de données

Identifiez qui ou quoi est exclu ou surreprésenté dans votre jeu de données, pourquoi ils sont exclus et comment l'atténuer.

Effectuez une recherche Google sur "3 adolescents blancs" puis sur "3 adolescents noirs" et vous verrez principalement des photos de stock pour les adolescents blancs et surtout des photos de chopes pour les adolescents noirs. C’est le résultat d’un manque de photos d’adolescents noirs dans le jeu de données, mais il est facile de voir comment un système d’IA pourrait tirer des conclusions biaisées sur la probabilité d’arrêter un adolescent noir ou blanc s’il était formé uniquement sur ce jeu de données.

Le biais du jeu de données entraîne la sur ou sous-représentation d'un groupe. Par exemple, votre ensemble de données peut être fortement pondéré en fonction de vos utilisateurs les plus avancés, sous représentant le reste de votre population d'utilisateurs. Le résultat pourrait être de créer un produit ou un service que vos utilisateurs privilégiés adoreront tout en ne donnant jamais au reste de vos utilisateurs la possibilité de se développer et de se développer. Alors, à quoi cela ressemble-t-il et comment y remédier?

  • Quoi: La majorité de vos données sont représentées par un groupe d'utilisateurs.
    Comment: Utilisez des méthodes telles que l'apprentissage sensible au coût, les modifications apportées aux méthodes d'échantillonnage et la détection d'anomalies pour traiter les classes déséquilibrées en apprentissage automatique.
  • Quoi: Les schémas statistiques qui s'appliquent à la majorité peuvent être invalides dans un groupe minoritaire.
    Comment: Créez différents algorithmes pour différents groupes plutôt que des solutions uniques.
  • Quoi: Les catégories ou les étiquettes simplifient à l'excès les points de données et peuvent être erronés pour un certain pourcentage des données.
    Comment: évaluez l'utilisation de l'équité contrefactuelle spécifique au chemin. Ceci est une forme de prise de décision pour des machines où un jugement sur une personne est identifié comme juste si cela aurait été rendu comme si cette personne appartenait à un groupe démographique différent le long de voies inéquitables (par exemple, si une femme était un homme, ou un homme blanc étaient noirs), comme l'explique Parmy Olson.
  • Quoi: Identifiez qui est exclu et son impact sur vos utilisateurs ainsi que sur vos résultats. Le contexte et la culture sont importants, mais il peut être impossible de le «voir» dans les données.
    Comment: Identifiez les inconnues inconnues, comme suggéré par les chercheurs de Stanford et de Microsoft Research.

Prévenir les biais d'association

Déterminez si vos données ou étiquettes d’entraînement représentent des stéréotypes (par exemple, sexe, ethnie) et modifiez-les pour éviter de les agrandir.

Dans un jeu de données photographiques utilisé pour former des systèmes d'IA de reconnaissance d'images, les chercheurs ont découvert que le jeu de données comptait plus de femmes que d'hommes dans les photos liées à la cuisine, au shopping et au lavage, tandis que les photos contenant la conduite, le tir et l'encadrement avaient plus d'hommes que de femmes.

Le biais d’association se produit lorsque les données utilisées pour former un modèle perpétuent et amplifient un stéréotype, qui ne se limite pas à des images. Par exemple, dans les langues neutres telles que le turc, Google Translate montre les préjugés sexistes en associant «il» à des mots tels que «travailleur acharné», «médecin», «président» et «elle» avec des mots tels que «paresseux», «infirmière». ”Et“ nounou ”. Des recherches similaires ont également été constatées dans la recherche dans Google Actualités.

Malheureusement, les applications d'apprentissage automatique utilisant ces ensembles de données biaisés amplifieront ces biais. Dans l'exemple de photo, le jeu de données comptait 33% de plus de femmes que d'hommes sur les photos impliquant la cuisine, mais l'algorithme amplifiait ce biais à 68%! Ceci est le résultat de l'utilisation de modèles discriminants (par opposition aux modèles génératifs), qui augmentent la précision des algorithmes en amplifiant les généralisations (biais) dans les données. Laura Douglas explique admirablement ce processus si vous souhaitez en savoir plus.

Le résultat de l'amplification du biais signifie que laisser simplement les jeux de données tels quels, car ils représentent «la réalité» (par exemple, 91% des infirmières américaines) n'est pas la bonne approche, car l'IA déforme la perspective déjà déséquilibrée. Cela rend plus difficile pour les gens de se rendre compte qu'il y a aujourd'hui beaucoup d'infirmiers parmi le personnel infirmier et qu'ils ont tendance à gagner des salaires plus élevés que les femmes, par exemple.

Les chercheurs ont trouvé des moyens de corriger les biais injustes tout en maintenant la précision en réduisant l'amplification des biais de genre en utilisant des contraintes au niveau du corpus et en incorporant des mots imbriqués. Si votre système d'intelligence artificielle apprend avec le temps, il est nécessaire de vérifier régulièrement les résultats de votre système pour vous assurer que les biais ne se sont pas encore infiltrés dans votre jeu de données. S'attaquer aux préjugés n'est pas une solution ponctuelle; cela demande une vigilance constante.

Le résultat de l'amplification du biais signifie que simplement laisser les jeux de données tels quels, car ils représentent la «réalité»… n'est pas la bonne approche, car l'IA déforme la perspective déjà déséquilibrée.

Prévenir le biais de confirmation

Déterminez si les préjugés dans le système créent une prophétie épanouissante et empêchent la liberté de choix.

Le système Compas AI utilisé par certains systèmes judiciaires pour prédire le risque de récidive d’un criminel condamné s’est avéré fondamental pour les personnes de couleur, ce qui a entraîné un déni de liberté conditionnelle ou de longues peines de prison.

Le biais de confirmation renforce les idées préconçues sur un groupe ou un individu. Il en résulte une chambre d'écho en présentant des informations ou des options similaires à celles qu'un individu a choisies précédemment ou pour eux. Dans l'exemple ci-dessus, un article de ProPublica a démontré que l'algorithme utilisé par Compas AI risquait davantage de classer incorrectement les accusés noirs comme présentant un risque élevé de récidive et davantage de classer incorrectement les accusés blancs comme présentant un risque faible. Une autre étude a montré que les travailleurs non formés d’Amazon Mechanical Turk n’utilisant que six facteurs pour prédire la récidive étaient tout aussi précis que Compas et utilisaient 157 facteurs (avec une précision de 67% contre 65%, respectivement).

Même lorsque la race n’était pas l’un des facteurs utilisés, les deux étaient plus susceptibles de prédire à tort que les accusés noirs récidiveraient et les accusés blancs ne le feraient pas. En effet, certains points de données (par exemple, le temps passé en prison) sont un indicateur de la race qui crée des boucles de rétroaction incontrôlables qui ont un impact disproportionné sur ceux qui sont déjà socialement défavorisés.

Le système Compas n’est qu’un exemple parmi d’autres, mais un segment de la population est confronté aux mêmes préjugés que nombre des systèmes évoqués ici, notamment les services de police prévisionnels, les applications de prêt, les services de dépannage et les assistants d’IA. On peut seulement imaginer à quel point il serait accablant de faire face aux préjugés et à l’exclusion sur plusieurs fronts chaque jour. Comme pour les autres types de biais, vous devez tester vos résultats pour voir le biais se produire, identifier les facteurs de biais, puis les supprimer afin de rompre ces boucles de rétroaction emballées.

Empêcher les biais d'automatisation

Identifiez le moment où vos valeurs écrasent les valeurs de l'utilisateur et fournissez aux utilisateurs le moyen de l'annuler.

Un concours d'IA sur la beauté devait être impartial dans ses évaluations de la beauté, mais presque tous les gagnants étaient blancs.

Le biais de l’automatisation impose les valeurs de la majorité à la minorité, ce qui nuit à la diversité et à la liberté de choix. Les valeurs des créateurs du système d’IA sont ensuite perpétrées. Dans l'exemple ci-dessus, un concours d'IA sur la beauté a désigné les visages blancs comme étant les plus beaux d'après les données d'entraînement. Les normes européennes en matière de beauté nuisent à la qualité des photos de non-Européens d’aujourd’hui, ce qui entraîne des photos de personnes à la peau foncée sortant sous-exposées et aux systèmes d’IA qui ont du mal à les reconnaître. Cela entraîne à son tour des étiquettes insultantes (par exemple, Google Photos «incident de gorille») et des notifications (par exemple, des caméras «intelligentes» demandant aux Asiatiques s’ils clignaient des yeux). Pire encore, les systèmes de reconnaissance faciale de la police affectent de manière disproportionnée les Afro-Américains.

Pour commencer à traiter ce biais, il faut commencer par examiner les résultats pour un biais fondé sur les valeurs (par exemple, les données de formation manquent de diversité pour représenter tous les utilisateurs ou une population plus large, les étiquettes subjectives représentent les valeurs du créateur).

Dans l’exemple précédent d’applications de prêt prenant des décisions en fonction du statut de fumeur ou non, il faut se demander si cela représente les valeurs des créateurs ou de la majorité de la population (par exemple, fumer est mauvais, donc les fumeurs sont mauvais). Revenez à l'analyse des systèmes sociaux pour obtenir les commentaires de vos utilisateurs afin de déterminer si leurs valeurs ou leurs considérations culturelles ont été remplacées. Vos utilisateurs feraient-ils les mêmes évaluations ou recommandations que l'IA? Sinon, modifiez les données d'apprentissage, les étiquettes et les algorithmes pour représenter la diversité des valeurs.

Atténuer le biais d'interaction

Comprenez comment votre système tire des leçons des interactions en temps réel et mettez en place des contrôles pour atténuer les intentions malveillantes.

Inspirobot utilise l’intelligence artificielle et le contenu qu’elle élimine sur le Web pour générer des citations «inspirantes», mais les résultats obtenus vont d’amusants à cruels et nihilistes.

Les biais d’interaction se produisent lorsque les humains interagissent ou tentent délibérément d’influencer les systèmes d’IA et de créer des résultats biaisés. Le créateur d’Inspirobot rapporte que les citations du bot sont le reflet de ce qu’il trouve sur le Web et que ses tentatives pour modérer les tendances nihilistes du bot ne font que les aggraver.

Vous ne pourrez peut-être pas éviter que des personnes essaient de nuire intentionnellement à votre système d'IA, mais vous devriez toujours procéder à une analyse préalable à la mort afin d'identifier les moyens par lesquels votre système d'IA pourrait être maltraité et causer des dommages. Une fois que vous avez identifié un potentiel d’abus, vous devez mettre en place des contrôles pour l’empêcher dans la mesure du possible et le réparer lorsque vous ne le pourrez pas. Examinez régulièrement les données utilisées par votre système pour apprendre et éliminer les points de données biaisés.

Vous ne pourrez peut-être pas éviter que des personnes essaient de nuire intentionnellement à votre système d'IA, mais vous devriez toujours procéder à une analyse préalable à la mort afin d'identifier les moyens par lesquels votre système d'IA pourrait être maltraité et causer des dommages.

Où aller en partant d'ici

Les préjugés chez Amnesty International reflètent les préjugés dans notre société au sens large. Intégrer l'éthique dans l'IA permet de résoudre les symptômes d'un problème beaucoup plus vaste. En tant que société, nous devons décider que nous attachons de l'importance à l'égalité et à l'équité pour tous, puis que cela se concrétise dans la vie réelle, pas seulement dans nos systèmes d'IA. AI a le potentiel pour devenir le grand démocratiseur ou pour magnifier l'injustice sociale et il vous appartient de décider de quel côté de ce spectre vous voulez que votre produit apparaisse.

Merci Justin Tauber, Liz Balsam, Molly Mahar, Ayori Selassie et Raymon Sutedjo-The pour tous vos commentaires!

Suivez-nous sur @SalesforceUX.

Voulez-vous travailler avec nous? Contactez uxcareers@salesforce.com