Amazon Scraps Secret AI moteur de recrutement qui a montré des préjugés contre les femmes

Des scientifiques d'Amnesty International chez Amazon Research ont découvert des préjugés à l'égard des femmes dans leur moteur d'apprentissage automatique

11 octobre 2018 par Roberto Iriondo

Crédit: The Verge | «C’est la mission de notre génération de construire une IA juste.» ~ Omar U. Florez

Le professeur distingué Stuart Evans a expliqué lors d'une conférence à l'Université Carnegie Mellon que des biais dans les algorithmes d'apprentissage automatique peuvent avoir un impact négatif sur notre société, qu'ils soient ajoutés inconsciemment par apprentissage supervisé ou oubliés lors d'audits avec d'autres types d'apprentissage automatique. Dans ce cas, l’équipe de recherche sur l’intelligence artificielle d’Amazon avait mis au point un moteur de recrutement basé sur l’apprentissage automatique depuis 2014, chargé d’examiner les curriculum vitae des candidats dans le but d’automatiser intelligemment la recherche des meilleurs talents.

Citant un chercheur en intelligence artificielle de l’équipe: «Tout le monde voulait ce Saint Graal», a déclaré l’une des personnes. "Ils voulaient littéralement que ce soit un moteur dans lequel je vais vous donner 100 CV, cela va cracher le top 5, et nous allons les engager." Cependant, en 2015, Amazon s'est rendu compte que son nouveau système ne notait pas les candidats pour les postes de développeur de logiciels et autres postes techniques sans distinction de sexe.

Le modèle d’apprentissage automatique de recrutement d’Amazon a été formé pour examiner les candidats par l’analyse de certains paramètres des curriculum vitae soumis à la société sur une période de 10 ans. En raison des partis pris du modèle d’apprentissage automatique, la plupart des candidats idéaux ont été générés en tant qu’hommes, ce qui reflète la domination des hommes dans l’industrie des technologies. Les données fournies au modèle n’étaient donc pas impartiales, mais au contraire.

L'équipe de recherche d'Amazon a déclaré qu'elle avait modifié les algorithmes centraux et rendu le modèle d'apprentissage automatique neutre vis-à-vis de ces préjugés liés au genre. Cependant, cela ne garantissait pas que le moteur ne proposerait pas d'autres méthodes de tri des candidats (par exemple, des mots-clés dominants masculins dans le curriculum vitae du candidat). se révéler discriminatoire.

Les employeurs rêvent depuis longtemps de tirer parti de la technologie pour élargir le processus de recrutement et réduire le recours aux opinions subjectives des recruteurs. Néanmoins, des chercheurs du ML, tels que Nihar Shah, dont les recherches portent sur la théorie de l'apprentissage statistique et la théorie des jeux, se concentrant sur l'apprentissage auprès du personnel du département d'apprentissage automatique de l'Université Carnegie Mellon, affirment qu'il reste encore beaucoup à faire.

"Comment s’assurer que l’algorithme est juste, comment s’assurer que l’algorithme est vraiment interprétable et explicable - c’est encore assez loin", a mentionné le professeur Shah.

Crédits: Han Huang | Développeur de visualisation de données | Graphiques Reuters

Les mots-clés dominants masculins sur les curriculum vitae ont été déterminants après la modification des algorithmes sur les modèles d’apprentissage automatique à partir du moteur de recrutement d’Amazon. Le groupe de recherche a créé 500 modèles axés sur des fonctions et des lieux de travail spécifiques. Ils ont appris à chacun à reconnaître plus de 50 000 paramètres apparaissant sur les curriculum vitae des candidats. Les algorithmes ont finalement appris à attribuer un faible pourcentage d’importance aux compétences communes à tous les candidats (langages de programmation, plates-formes utilisées, etc.).

Notes finales:

Il est important que notre société continue de mettre l'accent sur l'apprentissage automatique, mais en accordant une attention particulière aux biais - qui, parfois, sont inconsciemment ajoutés à ces programmes. Heureusement, l’équipe de recherche sur l’intelligence artificielle d’Amazon a pu reconnaître de tels biais et agir en conséquence. Néanmoins, rhétoriquement parlant, que se passerait-il si, à la fin, ces préjugés n'étaient pas reconnus, ajoutant par la suite un tel moteur de décision biaisé du ML au recrutement général de talents au quotidien dans l'entreprise?

L'impact, ainsi que les conséquences auraient été atroces.

Je suis toujours ouvert aux commentaires, veuillez partager les commentaires si vous voyez quelque chose qui pourrait avoir besoin d'être revisité. Merci pour la lecture!

CLAUSE DE NON-RESPONSABILITÉ: les opinions exprimées dans cet article n'engagent que leur auteur et ne représentent en aucun cas celles de l'Université Carnegie Mellon, ni celles d'autres sociétés (directes ou indirectes) associées à leur auteur. Ces écrits ne sont pas destinés à être des produits finaux, mais plutôt à refléter la pensée actuelle, tout en étant un catalyseur de discussion et d'amélioration.

Vous pouvez me trouver sur: Mon site Web personnel, Medium, Instagram, Twitter, Facebook, LinkedIn ou via ma société de conception web.

Références: