Comment intégrer l'éthique dans l'IA - première partie

Recommandations basées sur la recherche pour garder l'humanité dans l'IA

“Heart Shaped” par dimdimich

Ceci est la première partie d'une série en deux parties sur la manière d'intégrer l'éthique dans l'IA. La première partie met l'accent sur la culture d'une culture éthique dans votre entreprise et votre équipe, ainsi que sur la transparence au sein de votre entreprise et à l'extérieur. La deuxième partie porte sur les mécanismes permettant de supprimer l'exclusion de vos données et algorithmes. Chacune des recommandations comprend des exemples d’erreurs éthiques et indique comment elles auraient pu être évitées ou atténuées.

Il semble que chaque jour, il y ait des articles sur la manière dont un système d'intelligence artificielle (IA) cause un délit (par exemple, étiqueter les Afro-Américains comme des "gorilles") ou un préjudice réel alors que l'intention était peut-être bien intentionnée (par exemple, un préjugé racial dans les condamnations pénales recommandations et taux d’intérêt).

Les développeurs de chacun de ces systèmes n’ont pas voulu offenser ni faire de mal à qui que ce soit et n’ont pas anticipé les conséquences négatives, mais devraient-ils l’avoir fait? Si vous concevez et construisez un système d'IA, pouvez-vous intégrer l'éthique? Quel que soit votre rôle dans une organisation, pouvez-vous aider à faire en sorte que votre système d'IA aboutisse à une société plus juste plutôt que de perpétuer des préjugés de société? La réponse à toutes ces questions est: "Oui!"

Bien faire et bien faire

Le directeur général de Salesforce, Marc Benioff, a déclaré: «Mes objectifs pour l’entreprise sont de réussir et de réussir.» C’est au cœur de nos valeurs fondamentales de confiance, d’égalité et d’innovation. Nous croyons fermement que nous pouvons être à la pointe de l'innovation, réussir et être une force pour le bien dans le monde. Nous travaillons en interne pour renforcer l'éthique dans Einstein (notre système d'IA) et collaborons avec d'autres membres du Joint Partnership for AI.

L'intégration de l'éthique dans votre système d'IA prend du temps et peut vous obliger à travailler différemment de la façon dont vous ou votre entreprise avez toujours travaillé. Cependant, étant donné le potentiel énorme de l’IA en termes de dommages et d’avantages, il est essentiel que vous investissiez!

Une approche de bout en bout

Le processus d'intégration de l'éthique dans votre système peut être divisé en trois étapes, chacune comprenant plusieurs étapes:

  1. Créer une culture éthique
  2. Être transparent
  3. Supprimer l'exclusion

Créer une culture éthique

Si vous ne construisez pas une base solide pour commencer, les efforts nécessaires pour réussir seront toujours plus importants. Cela implique de constituer une équipe diversifiée, de cultiver un état d'esprit éthique et de mener une analyse des systèmes sociaux.

Construire une équipe diversifiée

Recrutez dans des contextes et expériences variés pour éviter les biais et les lacunes.

Lorsque HealthKit d’Apple a été lancé en 2014, il pouvait suivre votre taux d’alcoolémie, mais vous ne pouviez pas suivre le problème de santé le plus fréquemment rencontré par la plupart des femmes chaque mois.

Les recherches montrent (1, 2, 3, 4, 5, 6) que diverses équipes (y compris l'expérience, la race, le sexe) sont plus créatives, assidues et travaillent plus dur. L'inclusion d'un plus grand nombre de femmes à tous les niveaux, en particulier la haute direction, génère des bénéfices plus élevés.

Le manque de diversité crée une chambre d'écho, des produits biaisés et des lacunes. Si l’équipe qui développait le kit de santé Apple avait plus de femmes dans l’équipe, elles auraient probablement identifié la caractéristique manifestement absente pour 50% de la population. Cet exemple met en évidence le manque de diversité des sexes, mais tous les types de diversité sont nécessaires, de l’âge et de la race à la culture et à l’éducation.

Si vous ne parvenez pas à recruter de nouveaux membres pour constituer une équipe plus diversifiée, demandez l'avis de divers employés de l'entreprise et de votre base d'utilisateurs.

Cultiver une mentalité éthique

L'éthique est un état d'esprit, pas une liste de contrôle. Donner aux employés les moyens d'agir correctement.

Le directeur général d’Uber estime que les dénonciateurs ont forcé la société à apporter des changements et à «aller de l’avant en tant que société qui fait ce qui est juste».

Le simple fait d’avoir un responsable de l’éthique n’empêche pas les entreprises de commettre des erreurs éthiques. En effet, personne ne peut ou ne devrait être responsable d’une entreprise agissant de manière éthique. Il doit y avoir un état d'esprit éthique dans toute l'entreprise.

Chaque employé doit pouvoir comprendre à tout le monde l'impact de son système d'IA. Les entreprises peuvent cultiver un état d'esprit éthique par le biais de cours, de groupes de soutien internes et d'audits d'égalité.

De plus, les employés doivent avoir le sentiment de pouvoir se mettre constamment au défi en se demandant: "Est-ce la bonne chose à faire?" Par exemple:

  • Gestionnaires de produits: «Quel est l'impact sur l'entreprise d'un faux positif ou d'un faux négatif dans notre algorithme?»
  • Chercheurs: «Qui sera touché par notre système et comment? Comment cela pourrait-il être maltraité? Comment les gens vont-ils essayer de casser le produit ou de l'utiliser de manière imprévue? ”
  • Designers: «Quelles sont les valeurs par défaut ou les hypothèses que je construis dans le produit? Est-ce que je conçois cela dans un souci de transparence et d'égalité?
  • Scientifiques et modélisateurs de données: «En optimisant mon modèle de cette manière, quelles implications est-ce que je crée pour ceux qui sont impactés?»

Lorsque les employés sont insatisfaits des réponses qu’ils reçoivent, il doit exister un mécanisme permettant de les résoudre.

Le simple fait d’avoir un responsable de l’éthique n’empêche pas les entreprises de commettre des erreurs éthiques. En effet, personne ne peut ou ne devrait être responsable d’une entreprise agissant de manière éthique. Il doit y avoir un état d'esprit éthique dans toute l'entreprise.

Effectuer une analyse des systèmes sociaux

Impliquez les parties prenantes à chaque étape du cycle de vie du développement du produit pour corriger l'impact des inégalités sociales systémiques dans les données sur l'IA.

Le service de police de Chicago a eu recours à un programme de police prédictive dirigé par l'IA pour identifier les personnes les plus exposées au risque de violence par arme à feu. Ce programme s’est avéré inefficace pour réduire la criminalité, mais certaines personnes ont été ciblées en vue de leur arrestation.

L'analyse des systèmes sociaux est l'étude des groupes et des institutions qui interagissent dans un écosystème. Plutôt que de supposer qu'un système sera construit, l'analyse des systèmes sociaux demande si le système doit être construit en premier lieu, puis procède à la conception du système en fonction des besoins et des valeurs des parties prenantes. Cela peut être fait en effectuant une ethnographie dans la communauté concernée ou en obtenant les commentaires d'un comité de surveillance ou d'une institution juridique.

Kate Crawford et Ryan Calo suggèrent ce qui suit: «Une approche fondée sur les systèmes sociaux prendrait en compte l’histoire sociale et politique des données sur lesquelles reposent les cartes thermiques. Cela pourrait nécessiter de consulter les membres de la communauté et de peser les données de la police par rapport à ces retours, tant positifs que négatifs, sur la police de quartier ».

Les organisations doivent comprendre l'impact de leurs créations sur les utilisateurs et sur la société dans son ensemble. En comprenant ces impacts, ils peuvent déterminer ceux qui sont le plus vulnérables aux effets négatifs du système. D'un point de vue statistique, il ne peut y avoir qu'un risque de 1% de faux positif ou de faux négatif (excellent du point de vue statistique!), Mais pour ce 1% de la population, le résultat peut être extrêmement néfaste. Les risques et les avantages du système sont-ils appliqués uniformément à tous? Qui profite et qui paie en fonction des résultats de l'IA? Poser cette question à chaque étape du développement d’Amnesty International, y compris avant et après le lancement, peut aider à identifier les préjugés nuisibles et à les résoudre.

D'un point de vue statistique, il ne peut y avoir qu'un risque de 1% de faux positif ou de faux négatif, mais pour ce 1% de la population, le résultat peut être extrêmement néfaste.

Être transparent

Pour être éthique, vous devez être transparent envers vous-même, vos utilisateurs / clients et la société. Cela implique de comprendre vos valeurs, de savoir qui en profite et qui paie, de donner aux utilisateurs le contrôle de leurs données et de prendre en compte les commentaires reçus.

Comprenez vos valeurs

Examiner les résultats et les compromis des décisions fondées sur la valeur.

Certaines personnes craignent que les assistants d'IA, comme Siri et Google, soient toujours à l'écoute. Ils ont été conçus pour deviner ce que les utilisateurs veulent savoir avant d’être interrogés, en fournissant des informations extrêmement utiles juste à temps. Cependant, cela suscite également des inquiétudes chez les utilisateurs soucieux de la confidentialité et de la sécurité.

Les valeurs d’un individu ou d’une entreprise peuvent entrer en conflit lors de la prise de décision, ce qui entraîne des compromis. Par exemple, les utilisateurs apprécient la commodité de résultats personnalisés mais peuvent se préoccuper de ce qu'une entreprise sait à leur sujet (confidentialité) ou de ce que l'entreprise peut choisir de ne pas leur divulguer (discrimination). Malheureusement, les assistants d'intelligence artificielle ne s'avèrent pas très utiles pour tout le monde car leur formation semble exclure les voix afro-américaines. Lorsque des compromis sont faits, ils doivent être explicites à toutes les personnes concernées. Cela peut être difficile si les algorithmes d'intelligence artificielle sont des «boîtes noires» empêchant leurs créateurs de savoir exactement comment les décisions sont prises.

Un examen constant des résultats est nécessaire pour comprendre l’impact de ces compromis. Supposons que votre entreprise conçoive un système de sécurité optimisé pour l'IA qui entraîne une certaine perte de confidentialité. Considérer ce qui suit:

  • Si la protection de la vie privée des utilisateurs est une valeur déclarée de l'entreprise, les employés (et pas seulement les plus hauts dirigeants) doivent être conscients de ce compromis.
  • De plus, les clients et le public doivent être informés de l'impact du système de sécurité sur la vie privée.
  • Si cela est caché par crainte des réactions négatives des relations publiques, il faut alors se demander: «La vie privée des utilisateurs est-elle vraiment une valeur pour l'entreprise?

Expliquer pourquoi la compagnie a fait le compromis et ce qu’elle fait pour atténuer les dommages peut contribuer grandement à maintenir la confiance du public.

Donner aux utilisateurs le contrôle de leurs données

Autoriser les utilisateurs à corriger ou supprimer les données que vous avez collectées à leur sujet.

L’objectif de Google est de rendre les informations mondiales «universellement accessibles et utiles». Depuis 2014, elles ont reçu 2,4 millions de demandes de «droit à l’oubli» visant à supprimer les informations de particuliers, d’hommes politiques et d’agences gouvernementales. Cependant, Google n'a répondu qu'à 43,3% des demandes.

Les entreprises peuvent collecter et suivre un nombre impressionnant de données sur leurs utilisateurs en ligne, dans les magasins et à partir de périphériques compatibles Internet (IoT). Il est uniquement éthique de permettre aux utilisateurs de voir les données que vous avez collectées à leur sujet et de les corriger ou de télécharger et de supprimer les données. Si votre société exerce ses activités dans l'UE, vous devez connaître le règlement général de l'UE sur la protection des données et son impact sur ce que vous pouvez collecter et stocker, ainsi que les règles permettant aux utilisateurs / clients de télécharger et de supprimer leurs données. .

De plus, assurez-vous qu'il est possible de représenter les données avec précision. Par exemple, est-il possible pour les utilisateurs d'indiquer leur sexe s'ils s'identifient comme non binaires? Ont-ils la possibilité de choisir plus d'une origine raciale?

Si les données collectées sont anonymisées et qu'il est impossible pour les utilisateurs de voir exactement ce que l'entreprise sait à leur sujet et de les modifier, communiquez clairement le type de données collectées et permettez aux utilisateurs de choisir de ne pas participer. Si les utilisateurs ne peuvent pas utiliser le produit sans la collecte de données, indiquez-le également.

Prendre des commentaires

Autoriser les utilisateurs à donner leur avis sur les inférences que l'IA fait à leur sujet.

Trois agences nationales d'évaluation du crédit rassemblent des informations sur des personnes afin de créer des rapports de solvabilité que les prêteurs utilisent pour déterminer le risque d'un emprunteur potentiel. Les individus ne peuvent pas opter pour les données collectées et doivent faire des efforts considérables pour corriger les données incorrectes ou des inférences à leur sujet.

Les déductions faites sur un individu (risque élevé de défaut de paiement, par exemple) peuvent avoir des conséquences néfastes à l’insu de son choix ou de son contrôle (impossibilité d’obtenir un prêt, par exemple). Malheureusement, les personnes qui souffrent le plus de l'IA et des «données volumineuses» sont les communautés déjà marginalisées, plus pauvres et sans voix (par exemple, celles qui n'ont pas accès à Internet et qui ne peuvent pas voir rapidement leur dossier de crédit ou déposer des demandes de correction).

Le droit de l'UE exige que les décisions relatives à l'IA ayant des conséquences graves soient vérifiées par un humain avec la possibilité de les annuler Cependant, un seul point de données isolé n'a aucune signification sans comprendre les décisions prises concernant les autres (par exemple, la recommandation d'approbation de prêt est-elle différente pour les clients noirs par rapport aux clients blancs, même si tous les autres facteurs sont similaires?). Il est important de comprendre les recommandations ou les prévisions de l'IA dans son contexte.

Etre transparent sur les inférences et permettre aux utilisateurs de faire des commentaires vous permet non seulement d'améliorer la précision de votre modèle, mais également de corriger la discrimination. Cela peut constituer un avantage par rapport aux concurrents qui licencient injustement des clients viables. Par exemple, une banque qui rejette un grand nombre de demandeurs de prêt en raison de son risque trop élevé pourrait identifier les microcrédits comme une offre alternative qui non seulement soutient la communauté, mais crée également une clientèle fidèle que ses concurrents ont ignorée. Cela permet aux clients d’améliorer leur situation financière et d’exploiter davantage les offres de la banque, ce qui crée un cycle vertueux.

Il faut un village pour faire la différence

Cultiver une culture éthique, faire preuve de transparence au sujet des valeurs d’une entreprise et responsabiliser ses clients, la société et ses employés doivent prendre de nombreuses mesures pour créer une base éthique sur laquelle fonder des produits d’IA. Pour trouver des moyens de supprimer l'exclusion dans vos produits basés sur l'IA, consultez la partie II.

J'aimerais entendre ce que vous pensez! Qu'est-ce que votre entreprise et vous-même faites personnellement pour créer une base éthique dans votre travail?

Merci Justin Tauber, Liz Balsam, Molly Mahar et Raymon Sutedjo-The pour tous vos commentaires!

Suivez-nous sur @SalesforceUX.

Voulez-vous travailler avec nous? Contactez uxcareers@salesforce.com