Après une année de scandales technologiques, nos 10 recommandations pour l’IA

Commençons par une meilleure réglementation, la protection des travailleurs et l’application des règles de «vérité dans la publicité» à AI.

Aujourd'hui, l'Institut AI Now publie notre troisième rapport annuel sur l'état de l'IA en 2018, comprenant 10 recommandations à l'intention des gouvernements, des chercheurs et des praticiens du secteur.

L'année a été dramatique pour l'IA. De Facebook incitant potentiellement au nettoyage ethnique au Myanmar, en passant par Cambridge Analytica cherchant à manipuler les élections, Google construisant un moteur de recherche secret censuré pour les Chinois, de la colère sur les contrats de Microsoft avec ICE, en passant par de nombreux soulèvements de travailleurs sur les conditions dans les entrepôts gérés de manière algorithmique par Amazon - les titres ne se sont pas arrêtés. Et ce ne sont que quelques exemples parmi des centaines.

Au cœur de ces scandales d'IA en cascade se trouvent des questions de responsabilité: qui est responsable lorsque les systèmes d'IA nous nuisent? Comment comprenons-nous ces dommages et comment y remédier? Où se trouvent les points d'intervention et quelles recherches et réglementations supplémentaires sont nécessaires pour garantir l'efficacité de ces interventions? Il existe actuellement peu de réponses à ces questions et les cadres réglementaires existants sont loin de répondre aux besoins. À mesure que l'omniprésence, la complexité et l'ampleur de ces systèmes augmentent, ce manque de responsabilité et de contrôle significatifs - y compris les garanties de base de responsabilité, de responsabilité et de respect de la procédure - devient une préoccupation de plus en plus urgente.

S'appuyant sur nos rapports de 2016 et 2017, le rapport AI maintenant de 2018 s'attaque à ce problème central et fournit 10 recommandations pratiques qui peuvent aider à créer des cadres de responsabilisation capables de régir ces technologies puissantes.

Recommandations

1. Les gouvernements doivent réglementer l'IA en élargissant les pouvoirs des agences sectorielles pour superviser, auditer et surveiller ces technologies par domaine.

La mise en œuvre des systèmes d'IA se développe rapidement, sans régimes de gouvernance, de supervision ou de responsabilité adéquats. Des domaines tels que la santé, l'éducation, la justice pénale et l'aide sociale ont tous leur propre histoire, leur propre cadre réglementaire et leurs propres dangers. Cependant, un organisme national de sécurité de l'IA ou des normes générales d'IA et un modèle de certification auront du mal à répondre aux exigences en matière d'expertise sectorielle requises pour une réglementation nuancée. Nous avons besoin d'une approche sectorielle qui ne donne pas la priorité à la technologie, mais se concentre sur son application dans un domaine donné. La Federal Aviation Administration des États-Unis et la National Highway Traffic Safety Administration sont des exemples utiles d'approches sectorielles.

2. La reconnaissance faciale et la reconnaissance des affections nécessitent une réglementation stricte pour protéger l'intérêt public.

Une telle réglementation devrait inclure les lois nationales exigeant un contrôle strict, des limitations claires et une transparence publique. Les communautés devraient avoir le droit de refuser l'application de ces technologies dans des contextes publics et privés. Un simple avis public de leur utilisation n'est pas suffisant, et tout consentement doit être soumis à un seuil élevé, compte tenu des dangers d'une surveillance de masse oppressive et continue. La reconnaissance de l'affect mérite une attention particulière. La reconnaissance de l'affect est une sous-classe de la reconnaissance faciale qui prétend détecter des éléments tels que la personnalité, les sentiments intérieurs, la santé mentale et «l'engagement du travailleur» à partir d'images ou de vidéos de visages. Ces affirmations ne sont pas étayées par des preuves scientifiques solides et sont appliquées de manière contraire à l'éthique et irresponsable, rappelant souvent les pseudosciences de la phrénologie et de la physionomie. Les liens qui affectent la reconnaissance à l'embauche, l'accès à l'assurance, l'éducation et le maintien de l'ordre créent des risques profondément préoccupants, tant au niveau individuel que sociétal.

3. L'industrie de l'IA a un besoin urgent de nouvelles approches en matière de gouvernance.

Comme le montre ce rapport, les structures de gouvernance internes de la plupart des entreprises technologiques ne parviennent pas à garantir la responsabilité des systèmes d'IA. La réglementation gouvernementale est un élément important, mais les grandes entreprises du secteur de l'IA ont également besoin de structures de responsabilité internes allant au-delà des directives en matière d'éthique. Cela devrait inclure la représentation des employés au sein du conseil d'administration, des conseils consultatifs externes en matière d'éthique, ainsi que la mise en œuvre d'efforts de surveillance et de transparence indépendants. Les experts tiers devraient pouvoir auditer et publier des informations sur les systèmes clés, et les entreprises doivent veiller à ce que leurs infrastructures d'IA puissent être comprises «du tout au tout», y compris leur application et leur utilisation ultimes.

4. Les sociétés d'intelligence artificielle doivent renoncer au secret commercial et à d'autres actions en justice qui entravent la responsabilisation dans le secteur public.

Les fournisseurs et les développeurs qui créent des systèmes de décision automatisés et d'intelligence artificielle destinés à être utilisés par le gouvernement doivent accepter de renoncer à tout secret commercial ou à toute autre revendication légale empêchant la vérification complète et la compréhension de leurs logiciels. Les lois sur le secret des entreprises constituent un obstacle à la régularité de la procédure: elles contribuent à l’effet de «boîte noire», rendant les systèmes opaques et inexplicables, rendant difficile l’évaluation des partis pris, les décisions contestées ou les erreurs corrigées. Toute personne achetant ces technologies pour les utiliser dans le secteur public devrait exiger que les vendeurs renoncent à ces revendications avant de conclure des accords.

5. Les entreprises technologiques devraient fournir des protections aux objecteurs de conscience, à la syndicalisation des employés et aux lanceurs d'alerte éthiques.

L'organisation et la résistance des travailleurs de la technologie sont devenues une force pour la responsabilité et la prise de décision éthique. Les entreprises technologiques doivent protéger la capacité des travailleurs à s’organiser, à dénoncer et à faire des choix éthiques quant aux projets sur lesquels ils travaillent. Cela devrait inclure des politiques claires tenant compte de la protection et de la protection des objecteurs de conscience, garantissant aux travailleurs le droit de savoir sur quoi ils travaillent et la capacité de s’abstenir de ce travail sans représailles ou représailles. Les travailleurs qui soulèvent des préoccupations éthiques doivent également être protégés, de même que la dénonciation dans l'intérêt public.

6. Les agences de protection des consommateurs devraient appliquer les lois sur la publicité véridique aux produits et services d'IA.

Le battage publicitaire autour de l'intelligence artificielle ne fait que croître, ce qui entraîne un fossé grandissant entre les promesses marketing et les performances réelles des produits. Ces lacunes entraînent des risques croissants pour les particuliers et les clients commerciaux, souvent avec des conséquences graves. Tout comme les autres produits et services susceptibles d’avoir un impact grave ou d’exploiter les populations, les fournisseurs d’IA doivent respecter des normes élevées en ce qui concerne ce qu’ils peuvent promettre, en particulier lorsque les preuves scientifiques permettant d’appuyer ces promesses sont insuffisantes et que les conséquences à long terme sont inconnues. .

7. Les entreprises technologiques doivent aller au-delà du «modèle du pipeline» et s'engager à lutter contre les pratiques d'exclusion et de discrimination sur leurs lieux de travail.

Les entreprises technologiques et le secteur de l'IA dans son ensemble se sont concentrés sur le «modèle de pipeline», cherchant à former et à embaucher des employés plus diversifiés. Bien que cela soit important, il ignore ce qui se passe une fois que des personnes sont embauchées sur des lieux de travail qui excluent, harcèlent ou sous-évaluent systématiquement des personnes en raison de leur sexe, de leur race, de leur sexualité ou de leur handicap. Les entreprises doivent examiner les problèmes plus profonds de leur lieu de travail et la relation entre les cultures d'exclusion et les produits qu'elles élaborent, ce qui peut produire des outils qui perpétuent les préjugés et la discrimination. Ce changement de cap doit être accompagné d'actions concrètes, notamment d'un engagement à mettre fin aux inégalités de rémunération et d'opportunités, ainsi que de mesures de transparence concernant le recrutement et le maintien en poste.

8. L’équité, la responsabilité et la transparence en matière d’IA exigent un compte-rendu détaillé de la «chaîne logistique complète».

Pour une responsabilisation significative, nous devons mieux comprendre et suivre les composants d’un système d’IA et la chaîne logistique complète sur laquelle il s’appuie: c’est-à-dire rendre compte de l’origine et de l’utilisation des données de formation, des données de test, des modèles et des interfaces de programme d’application (API). ) et d’autres composants infrastructurels tout au long du cycle de vie d’un produit. Nous appelons cette comptabilité la «chaîne d'approvisionnement complète» des systèmes d'intelligence artificielle et c'est une condition nécessaire pour une forme d'audit plus responsable. La chaîne logistique complète comprend également la compréhension des coûts réels en matière d’environnement et de main d’œuvre des systèmes d’IA. Cela inclut l'utilisation de l'énergie, l'utilisation de la main-d'œuvre dans les pays en développement pour la modération du contenu et la création de données de formation, ainsi que le recours à des clickworkers pour développer et maintenir des systèmes d'IA.

9. Un financement et un soutien supplémentaires sont nécessaires pour les litiges, la syndicalisation et la participation de la communauté aux questions de responsabilité en matière d'AI.

Les personnes les plus exposées au risque des systèmes d'IA sont souvent les moins en mesure de contester les résultats. Nous avons besoin d’un soutien accru pour des mécanismes robustes de recours juridique et de participation civique. Cela comprend le soutien des défenseurs publics représentant les personnes coupées des services sociaux en raison de la prise de décision algorithmique, des organisations de la société civile et des organisateurs syndicaux soutenant les groupes menacés de perte et d'exploitation, ainsi que des infrastructures communautaires permettant la participation du public.

10. Les programmes universitaires d'IA devraient s'étendre au-delà des disciplines de l'informatique et du génie.

AI a commencé comme un domaine interdisciplinaire, mais au fil des décennies, il est devenu une discipline technique. Avec l'application croissante des systèmes d'IA aux domaines sociaux, il doit élargir son orientation disciplinaire. Cela signifie centrer les formes d’expertise des disciplines sociales et humanistes. Les efforts de l'IA qui souhaitent réellement s'attaquer aux implications sociales ne peuvent pas rester uniquement dans les départements d'informatique et d'ingénierie, où professeurs et étudiants ne sont pas formés à la recherche sur le monde social. L'élargissement de l'orientation disciplinaire de la recherche sur l'IA assurera une plus grande attention portée aux contextes sociaux et une plus grande attention portée aux dangers potentiels lorsque ces systèmes sont appliqués à des populations humaines.

Vous pouvez lire le rapport complet ici.