Transparence et confiance dans l'écosystème de recherche

Cet article a été écrit par la conseillère BITSS, Jen Sturdy. Il est posté sur le blog BITSS.

La CEGA a lancé l’Initiative Berkeley pour la transparence des sciences sociales (BITSS), fondée sur l’argument selon lequel une plus grande transparence de la recherche pourrait remédier aux facteurs sous-jacents à la publication, aux résultats de recherche non fiables, à un manque de reproductibilité dans la littérature publiée et à une structure d’incitation l'écosystème de recherche. Entre-temps, de plus en plus d'outils ont vu le jour pour améliorer notre science: plates-formes de collaboration! Big Data! Apprentissage Machine! Tant de logiciels!

Pour cette raison, nous considérons le mouvement ouvert des sciences sociales comme un moyen à la fois d’alimenter ce nouveau monde - en créant des opportunités de recherche et d’apprentissage partagés - et de le tempérer - en exploitant de nouveaux outils et méthodes de transparence pour atténuer les préjugés des publications et des chercheurs. conduit la crise de crédibilité.

Nous pensons qu’il est possible de réaliser ces deux objectifs, notamment en développant et en généralisant l’enregistrement des études, les plans de pré-analyse (PAP) et les référentiels de données + code, ainsi que les pratiques de publication telles que les rapports enregistrés, les pré-impressions et les journaux en libre accès. Cependant, nous pensons également que les avantages de la conception, de la mise en œuvre et de la publication de la recherche ne pourront être pleinement exploités que si nous comprenons que ces avantages sont fondés sur la confiance - la confiance du public dans l’écosystème de la recherche et la confiance de ceux qui en font partie.

Bien que la transparence puisse être un outil de renforcement de la confiance, elle peut aussi l’endommager si elle n’est pas utilisée correctement. Dans cet esprit, nous proposons quatre réflexions sur la manière dont la confiance et la transparence peuvent fonctionner dans l'écosystème de recherche actuel:

  1. La transparence peut signifier une portée accrue, pas une réduction. L’argument que nous entendons souvent contre une plus grande ouverture dans la conception de l’étude est que les chercheurs seront «écopés». Le scénario généralement présenté est le suivant: un chercheur débutant avec une idée innovante publie son PAP et / ou son enregistrement, seulement pour avoir un statut plus établi (et meilleur). financée) saisissent l’idée, financent l’étude plus rapidement et la publient avant que le chercheur initial ait le temps de terminer l’étude. Cette préoccupation met en évidence un manque de confiance envers les autres chercheurs. Mais prenons deux contre-arguments: premièrement, par rapport à la pratique habituelle consistant à présenter des idées et des conceptions préliminaires lors de conférences académiques ou de propositions de financement, le PAP enregistré (par exemple sur OSF) dispose d’une piste de papier plus solide pour assurer un crédit approprié au projet original. chercheur. Deuxièmement, en particulier lorsque l’idée est nouvelle, pourquoi ne pouvons-nous pas envisager la publication d’un PAP comme une invitation à collaborer (le cas échéant)? Le chercheur initial ne peut faire que très peu en termes de portée - taille et puissance de l'échantillon, emplacement géographique, contexte, etc. - compte tenu des fonds disponibles. Mais si la publication de PAP pouvait être utilisée comme une invitation à collaborer avec d'autres chercheurs (et à leur faire confiance comme collaborateurs), le résultat pourrait être une augmentation de la taille des échantillons et / ou une contribution à une méta-analyse fusionnant et exploitant d'autres ressources pour traiter les contraintes liées à la recherche. puissance statistique, validité externe ou autres défis de l’étude initiale. (Dans cet esprit, nous sommes intéressés par un travail comme StudySwap mais curieux d’entendre des expériences positives / négatives d’une telle approche!)
  2. La confiance entre les chercheurs et les revues doit être reconstruite. Il est courant de supposer que les revues ne publient que des résultats innovants qui sont statistiquement significatifs - ce qui pousse les chercheurs à p-hack (voir l'exemple ci-dessous) à un certain seuil statistique (bien qu'il y ait de grands débats sur la question de savoir si ce seuil doit passer de p≤.05 à p ≤.005 ou s’il devrait y avoir un seuil du tout!). Il est également courant de supposer que les revues publient uniquement des réplications qui réfutent les résultats de l’étude originale. En conséquence, les chercheurs peuvent laisser les résultats répliqués dans des classeurs (nous ne le saurons jamais!) Ou rechercher activement les différences. On insiste beaucoup sur la manière dont les chercheurs doivent réagir et s’adapter à la crise de crédibilité, mais que peut-on faire si les revues ne réagissent pas aussi pour rétablir la confiance? Bien que les revues invitent à compléter les efforts des chercheurs pour améliorer les données et le code pour la réplication, les autres efforts menés par les revues - telles que la révision des résultats préliminaires des tests pilotes et la publication d'études de réplication indépendamment des résultats - sont encourageants, car ils montrent un intérêt pour les revues. assumer la responsabilité et le risque et démontrer que ce ne sont pas des résultats éclatants, mais des données scientifiques fiables qui sont publiées.
  3. Notre degré de transparence devrait être conforme à nos obligations éthiques. Une grande partie de la science repose sur la confiance que les participants à la recherche accordent aux chercheurs pour protéger les données personnelles et / ou sensibles. Cette confiance est inhérente au processus de consentement éclairé et indique dans quelle mesure les participants comprennent les données qu’on leur demande de fournir, comment ils seront utilisés et comment ils seront protégés. Considérez qu'il existe (au moins!) Trois groupes de données - (i) des données qui ne sont pas publiques et qui ne peuvent jamais être rendues publiques en raison de leur propriété, de leur sensibilité ou de tout autre préjudice potentiel subi par les participants; (ii) des données qui ne sont pas publiques mais qui peuvent être désidentifiées ou gérées d'une manière qui permette la transparence sans nuire aux participants (voir ce visuel utile concernant la désidentification); et (iii) des données publiques - ou du moins accessibles - mais qui doivent être soigneusement prises en compte aux fins de la recherche (pensez à OKCupid ou Facebook). Notre degré de transparence et l'éthique de cette transparence varient d'un groupe à l'autre (au moins) - il existe essentiellement un spectre de transparence. C'est pourquoi nous préconisons une approche équilibrée de la transparence dans nos formations et suivons l'évolution des pratiques en matière de consentement éclairé et de partage de données (comme la règle commune révisée). Pour maintenir la confiance dans nos pratiques et dans l’ouverture de la science, les chercheurs doivent clairement définir dès le début où leur étude relève du spectre de la transparence en fonction des avantages et des risques attendus. (Dans cet esprit, nous sommes ravis de suivre des travaux sur la manière d’ouvrir la recherche qualitative et multi-méthodes, l’éthique dans la recherche informatique via Pervade et le canevas des données sur l’éthique de la Open Data Initiative).
  4. Le maintien et le renforcement de la confiance constituent un bon moyen de défense contre ceux qui voudraient utiliser la transparence. Il existe un argument simple qui devrait intéresser tous ceux qui se soucient de la science: une recherche n’est crédible que si elle est transparente à 100%. Cet argument ignore le spectre discuté ci-dessus. Alors, comment se défendre? Eh bien, un bon point de départ est le résumé de Lewandowsky & Bishop sur les moyens de transformer la transparence en arme! Reconnaître que c’est une arme à double tranchant devrait éclairer nos efforts pour utiliser la transparence afin d’améliorer la science et non pour faire plus de mal que de bien. Deuxièmement, chacun doit jouer son rôle pour reconstruire et maintenir la confiance dans l'écosystème de la recherche. Par exemple: si vous êtes chercheur, ne prétendez pas à tort que la protection de sujets humains est une excuse pour ne pas partager les données sous-jacentes à l’analyse quand cela est possible (par la désidentification ou d’autres méthodes); si vous êtes un bailleur de fonds ou un décideur politique, n'obligez pas les chercheurs à partager toutes les données qui ne tiennent pas compte du spectre de transparence.

En bout de ligne, nous préconisons une plus grande transparence des sciences sociales (et de l'analyse des politiques qu'elles fournissent), dans la mesure où nous pensons que l'ouverture de la recherche en améliore la rigueur et la crédibilité. Mais cette hypothèse n'est valable que lorsque la transparence renforce et renforce la confiance dans l'écosystème de la recherche et ne la diminue pas.