Persuader des algorithmes avec un décalage de l'IA

La vérification des faits peut réduire la propagation d'informations non fiables. Il peut également faire l’opposé.

(ce poste est initialement paru sur civilservant.io)

Les lecteurs de r / worldnews sur reddit rapportent souvent des nouvelles sur les tabloïds aux modérateurs bénévoles, leur demandant d'interdire les tabloïds pour leurs articles sensationnalistes. Ces histoires embellies attirent les regards, suscitent la controverse et sont remarquées par l’algorithme de classement de reddit, qui les diffuse encore plus loin.

L’interdiction des nouvelles sur les tabloïds pourrait mettre fin à cette boucle de rétroaction, mais les modérateurs de la communauté s’opposent aux interdictions générales. Pour résoudre ce casse-tête, les modérateurs devaient répondre à une question au cœur des débats sur la prétendue «fausse nouvelle»: comment préserver la liberté des contributeurs tout en influençant le comportement mutuel des individus et des algorithmes pour le bien de la communauté?

Cet hiver, les modérateurs ont travaillé avec CivilServant pour tester une idée: quels sont les effets de l’encouragement à la vérification des faits sur la réponse à une information peu fiable? Nous voulions voir comment la communauté r / worldnews réagirait. Nous avons également observé l’effet sur le classement de reddit. Si les algorithmes de reddit interprétaient la vérification des faits comme une popularité, les articles peu fiables pourraient se propager encore plus loin.

Les nouvelles tabloïd représentent environ 2,3% de toutes les soumissions adressées à cette communauté de 15 millions d'abonnés qui discutent de nouvelles en dehors des États-Unis. Dans Worldworlds, 70 modérateurs examinent environ 450 articles par jour et permettent à 68% de ces articles de rester. Comme il s’agit d’un subreddit par défaut, la plupart des lecteurs de reddit reçoivent des informations mondiales par le biais de cette communauté. Bien que Facebook ait la portée la plus faible de la communauté, r / worldnews est peut-être le groupe le plus important pour débattre des actualités mondiales n'importe où sur Internet anglophone. Même de petits effets dans cette communauté peuvent faire une grande différence dans la façon dont des millions de personnes interprètent des informations potentiellement peu fiables sur le monde.

Dans notre étude du 27 novembre au 20 janvier, nous avons testé des messages encourageant la communauté à vérifier les faits et à voter sur les actualités tabloïd. Voici ce que nous avons trouvé:

L'effet d'une vérification des faits encourageante sur le comportement de la communauté

Dans les discussions sur les soumissions de tabloïd sur r / worldnews, encourager la vérification des faits augmente le taux d'incidence des commentaires avec des liens de 2x en moyenne, et encourager la vérification des faits et le vote a un effet similaire.

Effet d’une vérification des faits encourageante sur les algorithmes de Reddit

Observant plus de 24 heures, nous avons également constaté qu'en moyenne, les commentaires collants encourageant la vérification des faits entraînaient une réduction de 2x du score reddit des contributions au tabloïd, un effet statistiquement significatif qui aurait probablement influencé les classements dans le sous-répertoire. Lorsque nous avons également encouragé les lecteurs à voter, cet effet a disparu.

AI Nudges: Persuader les algorithmes tout en préservant la liberté

Nos questions sur les actualités tabloïd ont ajouté une dimension algorithmique à une question classique de gouvernance: comment les personnes détentrices du pouvoir peuvent-elles travailler pour le bien commun tout en minimisant les contraintes imposées à la liberté individuelle?

nous pouvons persuader les algorithmes de se comporter différemment en persuadant les gens de se comporter différemment.

Sur Internet, les gens apprennent à vivre avec des systèmes d’IA qu’ils ne peuvent pas contrôler. Par exemple, les conducteurs Uber peaufinent leur conduite pour optimiser leurs revenus. Notre comportement collectif influence déjà les systèmes d'IA tout le temps, mais jusqu'à présent, le public manque d'informations sur la nature réelle de cette influence. Ces résultats opaques peuvent poser problème lorsque les algorithmes jouent un rôle clé dans la société, notamment en matière de santé, de sécurité et d’équité. Pour résoudre ce problème, certains chercheurs conçoivent des systèmes de «société en pleine boucle» [4]. D'autres développent des méthodes pour auditer des algorithmes [5] [6]. Pourtant, aucune de ces deux approches ne permet de gérer le comportement quotidien des systèmes dont nous ne pouvons pas contrôler le code. Notre étude avec r / worldnews offre une troisième direction; nous pouvons persuader les algorithmes de se comporter différemment en persuadant les gens de se comporter différemment.

Certaines personnes peuvent se demander si cette expérience constitue une manipulation de vote, ce qui va à l’encontre de la politique de reddit. Nos notes autocollantes ne violent aucune des règles de reddit à des fins personnelles (nous n’avons pas non plus créer de faux comptes, ne pas dire aux gens comment voter ou organiser un bloc de vote). Mais nous avons montré qu'encourager les gens à vérifier les faits avait un effet systématique sur les algorithmes de reddit.

L'idée de «coup de pouce d'intelligence artificielle» nous permet de réfléchir aux efforts prosociaux déployés pour influencer le comportement humain et le comportement de la machine tout en préservant la liberté individuelle. Richard Thaler et Cass Sunstein ont d'abord proposé les «coups de pouce» comme moyen pour les institutions d'exercer leur pouvoir tout en préservant la liberté individuelle [7]. Par rapport à l'interdiction des nouvelles sur les tabloïds, le coup de pouce de l'IA pour encourager la vérification des faits est l'action la plus légère que les modérateurs pourraient prendre. Personne ne peut plus partager d’informations, commenter ou voter, mais le coup de pouce à l’IA freine toujours la propagation d’informations peu fiables.

Comme le soulignent Sunstein et Thaler, il n’est pas toujours évident de savoir si ces interventions légères auront le résultat souhaité. C’est pourquoi nous devrions systématiquement tester leurs effets, d’autant plus que les systèmes non testés peuvent avoir des résultats inattendus.

La gouvernance et l'éthique des Nudges d'IA

Les coups de pouce des gouvernements et les expériences sociales des plateformes en ligne suscitent souvent des critiques similaires. Je pense que les gens ont raison d'attendre la responsabilité de ceux qui exercent un pouvoir de persuasion. En travaillant avec des modérateurs bénévoles, j'ai pu travailler avec des niveaux de transparence et de responsabilité supérieurs à ceux de l'informatique sociale. Toutes les études de CivilServant sont conçues avec et par des équipes de modération, et tous les résultats sont divulgués d’abord à la communauté lors d’un compte rendu par sous-secrétaire. Nos conceptions d’étude sont répertoriées publiquement dans le cadre Open Science avant de commencer et tout notre code est open source. Les détails complets de l'analyse sont également publics, ainsi tout le monde peut consulter nos conclusions. Les seules données que nous retenons sont les données réelles, car nous respectons la vie privée de toutes les personnes impliquées.

Dans l’ensemble, j’espère que les pulsions d’IA, surtout quand elles sont dirigées par les communautés elles-mêmes, offrent au public une direction intéressante pour gérer le rôle des algorithmes dans la société, tout en préservant la liberté individuelle.

Comment l'étude a-t-elle fonctionné?

Pour ce test, les modérateurs ont commencé par dresser une liste des sources d’information qui reçoivent fréquemment des plaintes. Du 27 novembre au 20 janvier, nous avons assigné au hasard chaque nouveau lien de tabloïd à l'une des trois conditions suivantes: (a) pas de commentaire collant, (b) un commentaire collant encourageant le scepticisme, (c) un commentaire collant encourageant le scepticisme + le vote (plus de détails ici ).

Nous avons posté ce message au sommet des discussions d'actualités tabloïd

La seconde incite les gens à vérifier l’article et à envisager de sous-estimer le lien s’ils ne trouvent pas de preuves à l’appui de ses affirmations:

Ce deuxième message a encouragé les gens à envisager de voter à la baisse

Le comportement de vérification des faits peut-il influencer la manière dont les algorithmes de reddit voient les informations non fiables?

Alors que nous étions confiants que les lecteurs de r / worldnews aideraient si les modérateurs le demandaient, nous nous sommes aussi demandé: si nous augmentions le nombre de commentaires sur les nouvelles de tabloïd, pourrions-nous accidentellement faire en sorte que les algorithmes de Reddit promeuvent ces liens?

Si la vérification des faits augmentait la popularité des sources d’information peu fiables, la communauté pourrait devoir repenser où placer leurs efforts. C’est la raison pour laquelle les modérateurs ont testé un deuxième commentaire persistant, celui qui encourage les lecteurs à envisager de voter à la baisse.

Pour tester l’effet des commentaires persistants sur les algorithmes de reddit, le logiciel CivilServant a collecté des données sur le score des publications toutes les quatre minutes. La plate-forme ne publie pas exactement ce qui entre dans le score ni le fonctionnement de son classement (ai-je demandé). Cependant, nous avons pu prédire de manière fiable le classement par page HOT subreddit d'un article à partir de son âge et de son score (détails complets ici). Fondamentalement, si la vérification des faits a eu un effet important sur le score d’un article, elle a probablement eu un effet sur le classement d’un article au fil du temps sur la première page de subreddit. J'ai testé cela de deux manières: en comparant les scores après 24 heures et en modélisant les changements dans les scores au fil du temps.

J'ai utilisé un modèle binomial négatif pour tester l'effet sur les scores après 24 heures. Comme les algorithmes de Reddit étaient les mêmes au cours de notre expérience, la vérification des faits a poussé les soumissions de tabloïdes à recevoir 49,1% (2,04 fois moins) du score des soumissions sans commentaire collant, après 24 heures, en moyenne, dans r / worldnews. L'effet est statistiquement significatif. Dans ce modèle, je n'ai pas trouvé d'effet parmi les commentaires collants qui ont encouragé les lecteurs à envisager de voter à la baisse.

J’ai également testé l’effet de la vérification des faits sur le taux de croissance du score d’une publication dans le temps. Pour poser cette question, je mets un modèle de régression linéaire à interceptions aléatoires sur le score transformé en log pour un post toutes les quatre minutes. J'ai constaté qu'une vérification des faits encourageante entraîne une baisse du taux de croissance du score. Ici, j’ai trouvé qu’un vote encourageant avait en réalité un léger effet positif sur le taux de croissance du score au fil du temps, en moyenne. Étant donné que nous effectuions l’expérience lors d’un changement d’algorithme de reddit début décembre 2016, j’ai également constaté que l’effet de ces commentaires persistants sur les algorithmes de reddit avait peut-être changé après que reddit avait ajusté ses algorithmes (détails).

Qui a aidé à vérifier les articles de presse?

Sur 930 commentaires non-bot comportant des liens que les modérateurs ont autorisés à conserver, 737 comptes d'utilisateurs ont fourni des liens vers des preuves supplémentaires. Parmi eux, 133 comptes ont fait plus d'un commentaire avec des liens. De nombreuses personnes ont vérifié leurs propres soumissions, les auteurs ayant posté 81 commentaires pour en savoir plus.

Que pouvons-nous savoir de cette étude?

Ce test porte sur les résultats des discussions plutôt que sur des comptes individuels. Nous ne pouvons donc pas savoir si des personnes individuelles ont été convaincues d’être plus sceptiques, ou si les commentaires collants ont amené des personnes déjà sceptiques à enquêter et à partager. Je n’ai également aucune preuve de l’effet de la vérification des faits sur les lecteurs, bien que d’autres recherches suggèrent que la vérification des faits influence les convictions des lecteurs [2] [3].

Cette étude ne nous en dit pas beaucoup sur les raisons pour lesquelles nous constatons un si grand changement dans les effets algorithmiques lorsque nous modifions le message en encourageant les lecteurs à envisager de voter à la baisse. Cette différence peut être un exemple de ce que les psychologues appellent «réactance», une résistance aux suggestions de l'autorité. Ou bien, si les personnes qui présentent des nouvelles craignent que leurs liens soient rétrogradés, ils peuvent demander de l'aide, ce qui équilibre le comportement des lecteurs.

Cela fonctionnerait-il avec d'autres types de liens, d'autres subreddits ou d'autres sites? Cette étude est limitée à une communauté spécifique et à une liste de sites. Bien que je soupçonne que de nombreuses grandes communautés de lecteurs en ligne aideraient les liens de vérification des faits si les modérateurs le demandaient, nos conclusions sur l'algorithme Reddit sont beaucoup plus détaillées.

Nous pourrions répondre à ces questions si plusieurs sous-participants décidaient d’essayer des expériences similaires. Si vous êtes intéressé, contactez-moi sur Reddit pour discuter de la réalisation d'une expérience similaire et vous inscrire pour recevoir des mises à jour par e-mail.

En savoir plus sur cette expérience

Ma thèse consiste à aider les communautés à tester les effets de leurs propres pratiques de modération. J'ai conçu cette expérience avec les modérateurs de r / worldnews, qui a été approuvée par le Comité du MIT sur l'utilisation des humains en tant que sujets expérimentaux. Si vous avez des questions ou des préoccupations, veuillez contacter natematias sur redditmail.

Cette expérience, comme toutes mes recherches sur reddit jusqu’à présent, a été menée indépendamment de la plateforme reddit, qui n’a joué aucun rôle dans la planification ou la conception de l’expérience. L'expérience n'a pas encore été évaluée par des pairs. Tous les résultats de CivilServant sont publiés publiquement dans les communautés concernées dès que les résultats sont prêts, avec des publications académiques à venir.

Les détails complets de l'expérience ont été publiés à l'avance dans un plan de pré-analyse à osf.io/hmq5m/. Si vous êtes intéressé par les statistiques, j'ai publié tous les détails de l'analyse.

Références

[1] Salganik, M. J. et Watts, D. J. (2008). Dérouter le troupeau: étude expérimentale de prophéties auto-réalisatrices sur un marché culturel artificiel. Psychology social quarterly, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz et John Cook. La désinformation et sa correction Influence continue et débiastage réussi. Science psychologique dans l'intérêt public, 13 (3): 106-13, décembre 2012.

[3] Thomas Wood et Ethan Porter. L’effet anti-retour insaisissable: l’adhérence factuelle inébranlable de Mass Attitudes. Numéro de document savant du SSRN 2819073, Réseau de recherche en sciences sociales, Rochester, NY, août 2016.

[4] Rahwan, Iyad (2016) Société en marche: Programmation du contrat social algorithmique. Moyen

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios et Cedric Langbort. 2014. Algorithmes d'audit: méthodes de recherche pour détecter la discrimination sur les plateformes Internet. Données et discrimination: transformer les problèmes critiques en une enquête productive, réunion annuelle de l'International Communication Association, 2014

[6] Diakopoulos, N. et Koliska, M. (2016). Transparence algorithmique dans les médias. Journalisme numérique, 1–20.

[7] Thaler, R. H. et Sunstein, C. R. (2003). Paternalisme libertaire. The American Economic Review, 93 (2), 175–179.