Biais racial et sexiste Exemples dans les systèmes d'IA

BIAS

Je réfléchissais à des moyens interactifs d'obtenir ma thèse de troisième cycle sur les préjugés raciaux, les préjugés sexistes, l'IA + ainsi que de nouvelles façons d'aborder l'interaction homme-machine à tout le monde.

La vie a été très occupée, j'ai donc décidé d'ajouter des extraits de la thèse pour le moment.

Alors voilà:

Pour ce document de recherche, le chercheur a identifié un certain nombre de domaines de préoccupation en ce qui concerne les systèmes basés sur l'IA déployés dans des situations qui affectent la vie des humains. Ces exemples serviront à mettre davantage en évidence ce sujet de préoccupation.

Selon certaines suggestions, les systèmes d'aide à la décision basés sur l'IA peuvent être utilisés pour renforcer le jugement humain et réduire les biais conscients et inconscients (Anderson & Anderson, 2007). Cependant, les données d'apprentissage automatique, les algorithmes et autres choix de conception qui façonnent les systèmes d'IA peuvent refléter et amplifier les préjugés et les inégalités culturels existants (Sweeney, 2013). Tandis que, historien de la technologie, Melvin Kranzberg (1986) a construit le point de vue selon lequel la technologie est considérée comme neutre ou impartiale.

Un contre-argument est que les systèmes d'IA pourraient utiliser des algorithmes biaisés qui font beaucoup de mal à l'homme et pourraient passer inaperçus et non corrigés jusqu'à ce qu'il soit trop tard.

Préjugé racial

ProPublica, une organisation de presse à but non lucratif, avait analysé de manière critique un logiciel d'évaluation des risques optimisé par AI connu sous le nom de COMPAS. COMPAS a été utilisé pour prévoir quels criminels sont les plus susceptibles de récidiver.

Guidés par ces évaluations des risques, les juges dans les salles d'audience des États-Unis généreraient des conclusions sur l'avenir des accusés et des condamnés, déterminant tout, du montant de la caution à la peine.

Le logiciel estime la probabilité de récidive d'un défendeur en fonction de sa réponse à 137 questions d'enquête (un exemple d'enquête est illustré à la figure 1).

Figure 1: «Enquête COMPAS», Julia Angwin et al. (2016)

ProPublica a comparé les évaluations des risques effectuées par COMPAS concernant 7 000 personnes arrêtées dans un comté de Floride avec leur fréquence de récidive (Angwin et al. 2016; Garber, 2016; Liptak, 2017).

Il a été découvert que l’algorithme COMPAS était capable de prédire la tendance particulière d’un délinquant condamné à récidiver. Cependant, lorsque l'algorithme avait mal prédit, les résultats étaient affichés différemment pour les délinquants noirs et blancs.

Grâce à COMPAS, les délinquants noirs ont été vus presque deux fois plus susceptibles que les délinquants blancs d'être considérés comme présentant un risque plus élevé, sans pour autant récidiver. Tandis que le logiciel COMPAS produisait les résultats opposés avec les délinquants blancs: ils étaient identifiés comme présentant un risque plus faible que les délinquants noirs bien que leurs antécédents criminels affichaient des probabilités de récidive plus élevées (les exemples de résultats sont illustrés aux fig. 2–5).

Figure 2–5: «Résultats du logiciel COMPAS», Julia Angwin et al. (2016)

Pour illustrer l’impact d’un logiciel tel que COMPAS, les États-Unis ont emprisonné 1 561 500 personnes dans des établissements pénitentiaires fédéraux et d’États.

Les États-Unis emprisonnent plus de personnes que n'importe quel autre pays du monde, un pourcentage important de personnes emprisonnées étant de race noire (Carson, 2015; Wagner & Walsh, 2016).

La race, la nationalité et la couleur de la peau ont joué un rôle déterminant dans la formulation de telles évaluations et prévisions jusqu'aux années 1970, lorsque les recherches ont révélé des implications conduisant à considérer ces attributs comme politiquement inacceptables (Harcourt, 2010; Kehl et al; 2017).

En 2014, l'ancien procureur général des États-Unis, Eric Holder, a déclaré que les résultats de l'évaluation des risques étaient susceptibles d'implanter un biais dans les tribunaux (Barrett, 2014; Justice.gov, 2014).

Malgré cette découverte, les travaux de recherche de ProPublica ont été contestés par un groupe de doctorants (Flores et al; 2016). Leur point de vue était que les résultats de Propublica contredisent un certain nombre d'études existantes concluant que les scores d'évaluation des risques peuvent être prédits sans préjugés raciaux ni liés au sexe. Les chercheurs du PHD ont conclu qu’il était en réalité impossible pour un score de risque de satisfaire les deux critères d’équité en même temps.

Cela est dû au fait que les développeurs du logiciel COMPAS, Northpointe, ont refusé de divulguer les détails de son algorithme exclusif, empêchant ainsi les chercheurs d'évaluer à quel point son algorithme pouvait être injuste.

La divulgation d’informations cachées concernant leur algorithme pourrait limiter l’objectif de Northpointe de devenir une entreprise concurrentielle (Zhu & Zhou, 2011; Sacks, 2015). Cependant, l'action soulève des questions sur le fait que des ministères du gouvernement confient à des entreprises à but lucratif le développement d'un logiciel d'évaluation des risques de cette nature.

Dans une affaire judiciaire, la Cour suprême du Wisconsin a examiné la validité de l'utilisation du logiciel d'évaluation des risques COMPAS dans la détermination de la peine d'un individu (Kirchner, 2016). Les médias ont positionné cette affaire devant les tribunaux américains comme une première en ce qui concerne les préoccupations concernant un juge assisté d’un score d’évaluation du risque généré automatiquement par un logiciel (Liptak, 2017; Harvard Law Review, 2017; Garber, 2006). 2016).

La Cour suprême a décidé de continuer à utiliser COMPAS pour aider les juges à rendre leurs décisions. Cependant, le tribunal a exprimé des hésitations quant à l'utilisation future du logiciel dans la détermination de la peine, sans aucune information mettant en évidence les limites de COMPAS. (Cour suprême du Wisconsin, 2016).

La cour a délibéré à plusieurs reprises sur ses limites (Cour suprême du Wisconsin, 2016, p.5 - p.48):

1. COMPAS est un logiciel propriétaire pour lequel les développeurs du logiciel ont évité la divulgation d'informations explicites sur l'impact de ses facteurs de risque ou sur la manière dont les scores d'évaluation des risques sont calculés.

2. Les scores d'évaluation du risque COMPAS sont établis sur des données de groupe et, par conséquent, le logiciel classe les groupes avec des caractéristiques qui les désignent comme délinquants à risque élevé mais non comme individus à risque élevé.

3. Plusieurs études ont suggéré que les algorithmes COMPAS développent des résultats biaisés dans l'analyse des délinquants noirs.

4. COMPAS mesure les accusés / délinquants sur un échantillon national, mais le logiciel ne fait pas l'objet d'une étude de validation croisée pour une population locale. Les problèmes potentiels de prévision, comme le logiciel COMPAS, doivent être régulièrement contrôlés et mis à jour afin de garantir leur exactitude à mesure que les populations s’ajustent.

5. Le logiciel COMPAS n’a pas pour objectif initial la détermination de la peine, mais plutôt un outil d’aide à l’évaluation de la personne.

Biais de genre

Contrairement aux préjugés raciaux, la littérature sur son impact sur la vie des humains en ce qui concerne les algorithmes programmés dans les systèmes d'IA a été soulignée. La littérature sur les préjugés sexistes en est encore à ses débuts, la plupart du contenu écrit sur le sujet étant des articles de presse n’ayant pas été étayés par des études universitaires (Fessler, 2017; Bass & Huet, 2017).

Un article académique d'intérêt qui a mené le débat sur ce sujet d'actualité est un article intitulé La sémantique dérivée automatiquement des corpus linguistiques qui contient des biais humains (Caliskan et al; 2016) qui a été publié dans la principale revue scientifique Science. Un certain nombre de recherches ont été écrites sur les mots incorporés et leurs applications, allant de la recherche Web (Nalisnick et al; 2015) à la dissection de mots-clés dans des CV (Tosik et al; 2015).

Toutefois, les recherches antérieures ne reconnaissaient pas les associations sexistes d’intégration de mots et son éventuelle introduction de biais différents dans différents systèmes logiciels. Les chercheurs ont utilisé une référence pour les biais humains documentés, le test d'association implicite (IAT). L'IAT a été adopté par de nombreuses études de psychologie sociale depuis son développement (Greenward et al; 1998).

Comme le montrent les figures 6 à 8, le test mesure les temps de réponse des participants humains à qui il est demandé d'associer des concepts de mots affichés sur un écran d'ordinateur. Bien que l'IAT ait reçu des critiques d'universitaires (Azar, 2008; Rothermund & Wentura, 2004) en ce qui concerne la validité des résultats de sa recherche, le test a joué un rôle considérable dans l'orientation de cette étude particulière.

Figure 6–8: ‘Exemples de tests IAT’, extraits d’un certain nombre de sources.

Le groupe de chercheurs a construit une expérience avec un robot Web, qui était programmé pour fonctionner comme un agent artificiel intelligent participant à un test d'association implicite.

L'algorithme utilisé dans cette expérience est similaire à celui utilisé par une entreprise de technologie en démarrage, qui pourrait fournir un service alimenté par une intelligence artificielle analysant les CV qui seraient utilisés au cœur de son produit.

L'algorithme est capable de produire des statistiques de cooccurrence de mots - les mots qui apparaissent souvent proches les uns des autres ont une association plus forte que ceux qui le sont rarement (Pennington et al; 2014; Macfarlane, 2013).

Les chercheurs de Stanford ont utilisé le robot d'exploration Web pour agir en tant qu'indexeur automatique (Kobayashi & Takeda, 2000) sur une pêche colossale de contenus provenant d'Internet, contenant 840 milliards de mots.

Une fois l’indexation de l’information terminée, le groupe de chercheurs a examiné des ensembles de mots-clés tout en examinant une grande quantité de contenu à la recherche de données susceptibles de l’informer des biais potentiels que des êtres humains peuvent involontairement posséder.

Les exemples de mots étaient «programmeur, ingénieur, scientifique, infirmière, enseignant et bibliothécaire», tandis que les deux ensembles de mots caractéristiques étaient homme / homme et femme / femme.

Dans les résultats, les données ont mis en évidence des biais tels que la préférence pour «les fleurs par rapport aux insectes» (qui pourraient être illustrés par un biais inoffensif). Cependant, les données ont identifié un biais par thème lié au sexe et à la race.

Un cas particulier est celui de l’agent intelligent autonome associant des noms féminins à des mots attribués à la famille, tels que «parents» et «mariage», plutôt qu’à des noms de nature masculine. Par ailleurs, les noms masculins avaient des associations plus fortes avec des mots attribués à une carrière tels que «professionnel et salaire» (Caliskan et al; 2016).

Caliskan et al. Notent que les résultats de l'expérience d'apprentissage reproduisaient les nombreuses preuves de biais recensées dans un certain nombre d'études de tests d'association implicites antérieures impliquant des participants humains. On pourrait suggérer que ces résultats peuvent être reconnaissables dans des réflexions objectives sur la vie des humains.

Il existe des statistiques mettant en évidence des répartitions inégales des types d’occupation par sexe - Le Royaume-Uni a le pourcentage le plus bas de femmes professionnelles en génie logiciel en Europe, avec moins de 10% selon la Women’s Engineering Society (2018).

Le projet a mis en évidence que les biais du mot enchâssement sont en réalité étroitement liés à la conception sociale des stéréotypes de genre. Les stéréotypes ont été décrits comme des préjugés à la fois inconscients et conscients parmi un groupe de personnes (Devine, 1989; Greenwald et Banaji, 1995; Hilton et von Hippel, 1996). Un certain nombre d'études de recherche ont exploré les stéréotypes jouant un rôle déterminant dans les données utilisées pour la formation d'IA (Bolukbasi et al, 2016; Bashir et al, 2013).

Recommandations de littérature

Du point de vue de l'interaction homme-machine, lorsqu'une innovation technologique telle que l'intelligence artificielle est intégrée à des systèmes sociaux complexes tels que la justice pénale, les diagnostics de santé, les admissions universitaires, le recrutement et la promotion, elle peut renforcer les inégalités existantes, quelles que soient les intentions du technicien. développeurs.

En ce qui concerne l’éthique, des questions se posent, telles que «quelles sont les décisions»? Comment un système artificiel pourrait-il faire les «bons» choix pour arriver à une conclusion calculée? Quelles sont certaines instructions algorithmiques et entrées de données qui ont été programmées dans un système artificiel, ce qui lui permet de juger et de rendre un verdict dans les manières d'un humain? En ce qui concerne l'éthique A.I, que signifie le mot "penser"?

Il existe de plus en plus de littérature scientifique et de recherche sur les biais algorithmiques en ce qui concerne l'IA.

Un certain nombre de chercheurs ont proposé des techniques technologiques pour remédier à ce problème (Buolamwini & Gebru, 2018; Barocas & Selbst, 2016; Garcia, 2016; Kirkpatrick, 2016; Pedreschi, et al., 2008;).

Parmi les autres arguments, citons ceux d'experts et de commentateurs sur le terrain qui ont formulé un certain nombre de recommandations selon lesquelles les systèmes fonctionnant avec une IA devraient toujours être appliqués de manière transparente, sans préjugé ni parti pris.

En réfléchissant sur l’étude de cas COMPAS, le code de l’algorithme et son processus d’application doivent être ouverts au public. Une approche transparente permettrait aux tribunaux, aux entreprises, aux chercheurs, aux gouvernements et à d'autres personnes de comprendre, de surveiller et de proposer des améliorations aux algorithmes (Oswald et Grace, 2016).

Une recommandation qui reflète actuellement le secteur de la technologie est le besoin de diversité raciale et de genre parmi les développeurs, les chercheurs et les scientifiques travaillant sur l'IA. Selon certains points de vue, une équipe diversifiée serait en mesure de résoudre le problème de la formation des algorithmes par AI (Sweeney, 2013; Noble, 2013; Barr, 2015; Crawford, 2016).

Une autre recommandation est que la collaboration entre ingénieurs et experts du domaine qui connaissent les inégalités historiques et les domaines de préoccupation culturels et sociaux est importante pour le développement futur de l'IA (Sweeney, 2013).

Images utilisées:

Figure 1 - Angwin, J. (2016). Exemple-COMPAS-Évaluation-des-risques-COMPAS- "CORE". [en ligne] Documentcloud.org. Disponible à l'adresse suivante: https://www.documentcloud.org/documents/2702103-Sample-Risk-Assessment-COMPAS-CORE.html [consulté le 16 mars 2018].

Figure 2–5 - J. Angwin, J. Larson, S. Mattu et L. Kirchner (2016) Machine Bias. Disponible à l'adresse https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing [Date de consultation: 17 août 2017]

Figure 6 - Cammorata, K. (2013). Associations implicites. [en ligne] Kristinsrvenglish.blogspot.co.uk. Disponible à l'adresse suivante: http://kristinsrvenglish.blogspot.co.uk/2013/10/implicit-associations.html [Consulté le 16 mars 2018].

Figure 7 - Bator, V. (2016). Le test d'association implicite et le piège des 22 tests de développement. [en ligne] Moyenne. Disponible à: https://medium.com/psyc-406-2016/the-implicit-association-test-and-the-catch-22-of-developing-striking-tests-3150a4631d7f [Consulté le 16 mars 2018].

Figure 8 - Blattman, C. (2017). Liens hebdomadaires de l’API - Chris Blattman. [en ligne] Chris Blattman. Disponible à l'adresse suivante: https://chrisblattman.com 2017/01/13/ipas-weekly-links-95/ [consulté le 16 mars 2018].

Références:

Anderson, M. & Anderson, S.L (2007). «Éthique des machines: créer un agent éthique intelligent», AI Magazine, 28 (4), p. 15–58.

Angwin, J., J. Larson, S. Mattu et L. Kirchner (2016) Machine Bias. Disponible à l'adresse https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing [Date de consultation: 17 août 2017]

Azar, B (2008). "IAT: Fad ou fabuleux?", Moniteur en psychologie. 39, p. 44

Barrett, D. (2014). Le titulaire met en garde sur le risque de biais lié à l'utilisation de données volumineuses dans la justice pénale. [en ligne] WSJ. Disponible à l'adresse suivante: https://www.wsj.com/articles/us-attorney-general-cautions-on-risk-of-bias-in-big-data-use-us-in-criminal-justice-1406916606 [Consulté le 6 février 2018].

Barocas, S. et Selbst, A. D. (2016), «Big Data’s Impact», California Law Review, 104, p. 671–732.

Bass, D. et Huet, E. (2017). Des chercheurs combattent les préjugés sexistes et raciaux dans l'intelligence artificielle. [en ligne] Bloomberg.com. Disponible à l'adresse: https://www.bloomberg.com/news/articles/2017-12-04/researchers-combat-gender-and-racial-bias-in-artificial-intelligence [consulté le 7 février 2018].

Bashir, N., Y., Lockwood, P., Chasteen, A., Nadolny, D. et Noyes, I. (2013), L'impact ironique des militants: les stéréotypes négatifs réduisent l'influence du changement social. EUR. J. Soc. Psychol., 43, pages 614–626.

Barr, A. (2015). Google identifie par erreur les Noirs comme des "gorilles", indiquant les limites des algorithmes. Le New York Times.

Bolukbasi, T., Chang, K.W., Zou, J. Y., Saligrama, V. & Kalai, A. T. (2016) «L’homme est-il un programmeur informatique comme la femme est une femme au foyer? Débuter des mots incorporés », Advances in Neural Information Processing Systems, p. 4349–4357.

Buolamwini, J. & Gebru, T. (2018). «Les différences entre les sexes: disparités intersectorielles d’exactitude dans la classification commerciale par sexe», Actes de la 1ère Conférence sur l’équité, la responsabilité et la transparence, dans PMLR, 81, p. 77–91.

Caliskan, A., Bryson, J. J. et Narayanan, A. (2017) «La sémantique dérivée automatiquement des corpus de langage contient des biais de type humain», Science, 356, p. 183-186.

Carson, E. A. (2015). «Prisonniers en 2014», Washington, DC: Bureau of Justice Statistics. Disponible à l'adresse http://www.bjs.gov/index.cfm?ty=pbdetail&iid=5387 (consulté le 30 novembre 2017).

Crawford, K. (2016). Le problème des Blancs de l'intelligence artificielle. Le New York Times.

Devine, P. G. (1989). «Stéréotypes et préjugés: leurs composants automatiques et contrôlés 1479 composants contrôlés automatiques et implicites», Journal de la personnalité et de la psychologie sociale, 56, p. 5–18.

Fessler, L. (2017). Nous avons testé des robots comme Siri et Alexa pour voir qui résisterait au harcèlement sexuel. [en ligne] Quartz. Disponible à l'adresse: https://qz.com/911681/we-tested-apples-siri-amazon-echos-alexa-microsofts-cortana-and-googles-google-home-to-see-which-personal-assistant-bots se tenir debout pour faire face au harcèlement sexuel / [Consulté le 7 févr. 2018].

Flores, A.W., Bechtel, K. & Lowenkamp, ​​C.T. (2016) «Faux positifs, faux négatifs et fausses analyses: une réplique du biais de la machine: un logiciel est utilisé à travers le pays pour prédire les futurs criminels. et c’est biaisé contre les Noirs », Fed. Probation, 80 (38).

Garber, M. (2016). La criminalité est-elle prévisible? Devrait-ce être?. [en ligne] L'Atlantique. Disponible à l'adresse: https://www.theatlantic.com/technology/archive/2016/06/when-algorithms-take-the-stand/489566/ [Consulté le 7 février 2018].

Garcia, M. (2016) «Le racisme dans la machine: les implications inquiétantes du biais algorithmique», World Policy Journal, 33 (4), p. 111–117.

Greenwald, A. G., et Banaji, M. R. (1995). «Cognition sociale implicite: attitudes, estime de soi et stéréotypes», Psychological Review, 102, p. 4–27.

Greenwald, A. G., McGhee, D. E. et Schwartz, J. K. L. (1998). «Mesurer les différences individuelles dans la cognition implicite: le test d’association implicite». Journal de la personnalité et de la psychologie sociale, 74, pp. 1464-1480.

Harcourt, Bernard E., (2010) «Le risque, proxy pour la criminologie raciale et les politiques publiques», à paraître; Université de Chicago, Droit et économie, Document de travail Olin №535; Document de travail de droit public de l’Université de Chicago №323.

Harvard Law Review (2017). État v. Loomis. [en ligne] Harvardlawreview.org. Disponible à l'adresse: https://harvardlawreview.org/2017/03/state-v-loomis/ [consulté le 7 février 2018].

Hilton J.L & von Hippel, W. (1996). «Stéréotypes», Annu. Rev. Psychol, 47, p. 237–231.

Justice.gov. (2014). Procureur général: le ministère de la Justice va collecter des données sur les interpellations et les arrestations dans le cadre des efforts visant à lutter contre les préjugés raciaux dans le système de justice pénale. [en ligne] Disponible à l'adresse suivante: https://www.justice.gov/opa/pr/attorney-general-holder-justice-dept-collect-data-stops-arrops-part-effort-curb-racial-bias [Consulté 6 Février 2018].

Kirchner, L. (2016). Wisconsin Court: Des étiquettes d’avertissement sont nécessaires pour évaluer le risque de crimes futurs des accusés - ProPublica. [en ligne] ProPublica. Disponible à l'adresse: https://www.propublica.org/article/wisconsin-court-warning-labels-needed-scores-rating-ris-crating-crime-crime [consulté le 16 mars 2018].

Kehl, D., Guo, P. et Kessler, S. (2017) Algorithmes dans le système de justice pénale: évaluation de l'utilisation des évaluations du risque dans la détermination de la peine. Initiative des communautés réactives, Centre Berkman Klein pour Internet et la société, Harvard
Faculté de droit.

Liptak, A. (2017). Envoyé en prison par les algorithmes secrets d’un logiciel. [en ligne] Nytimes.com. Disponible à l'adresse suivante: https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algorithms.html [consulté le 6 février 2018].

Kirkpatrick, K. (2016) «Combattre le biais algorithmique», Communications of the ACM, 59 (10), p. 16-17.

Kobayashi, M. & Takeda, K. (2000). «Recherche d’informations sur le Web», ACM Computing Surveys. ACM Press. 32 (2), p. 144-173.

Kranzberg, M. (1986). «Technologie et histoire:« Les lois de Kranzberg », Technologie et culture. 27 (3), p. 544-560.

Macfarlane, T. (2013). Extraire la sémantique du corpus enron.

Nalisnick, E., B., Mitra, N. et Caruana, R. (2016), «Amélioration du classement des documents avec l’intégration de mots doubles», WWW.

Noble, S. U. (2013). «Recherche Google: L’hyper-visibilité comme moyen de rendre les femmes et les filles noires invisibles», InVisible Culture, 19.

Oswald, M. et Grace, J. (2016). Norman Stanley Fletcher et le cas de l’évaluation algorithmique exclusive du risque. Insight sur le maintien de l'ordre.

Pedreschi, D., Ruggieri, S., et Turini, F. (2008), «Exploitation de données sensible à la discrimination», Actes de KDD 2008.

Pennington, J., Socher, R. et Manning, C. D. (2014). «Gant: vecteurs globaux pour la représentation des mots», EMNLP, 14, p. 1532-1543.

Rothermund, K. & Wentura, D. (2004). «Processus sous-jacents du test d’association implicite (IAT): dissocier l’importance des associations», Journal of Experimental Psychology: General. 133, p. 139-165.

Sacks, M. (2015), «Concurrence entre logiciels libres et logiciels propriétaires: Stratégies de survie», Journal of Management Information Systems, 32 (3), p. 268–295.

Cour suprême du Wisconsin (2016). État du Wisconsin, demandeur-défendeur, c. Eric L. Loomis, défendeur-appelant. [En ligne] Wicourts.gov. Disponible à l'adresse suivante: https://www.wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690 [Consulté le 16 mars 2018].

Sweeney, L. (2013) «Discrimination dans la diffusion d’annonces en ligne», file d’ACM, 11 (3), p. dix.

Tosik, M., Hansen, CL, Goossen, G. et Rotaru, M. (2015) «Intégrations de mots et types de mots pour l'étiquetage de séquence: le cas curieux de l'analyse syntaxique du cv», Actes de NAACL-HLT, p. 123-128. .

Wagner, P. et Walsh, A. (2016). États d'incarcération: le contexte mondial. Initiative de politique pénitentiaire. Disponible à: http://www.prisonpolicy.org/global/2016.html [Consulté le 1er janvier 2018]

Women’s Engineering Society (2018). Statistiques utiles | Women’s Engineering Society. [en ligne] Wes.org.uk. Disponible à l'adresse suivante: http://www.wes.org.uk/content/wesstatistics [Consulté le 10 février 2018].

Zhu, K.X. & Zhou, Z. Z. (2011). «Stratégie de verrouillage dans la concurrence entre logiciels: logiciels à code source ouvert et logiciels propriétaires», Recherche en systèmes d’information.