Fraude et recherche douteuse: détecter mais ne pas commencer

Photo de Jason Coudriet sur Unsplash

La première fois que j'ai entendu parler de Questionable Research Practice (QRP), c’est lorsque j’ai lu un article sur la crise de la réplication en psychologie il ya quelques années. Ce n'est que récemment, après une longue conversation réfléchie avec mes collègues, que l'importance de connaître le QRP dans la recherche sur l'expérience utilisateur m'a été rappelée.

QRP fait référence à la manière dont les chercheurs effectuent l'exclusion des données pour étayer leur hypothèse. Il est décrit comme suit: «De telles pratiques incluent la conception, l'analyse et les pratiques de reporting qui peuvent introduire des preuves biaisées, ce qui peut avoir des conséquences néfastes pour la pratique, le développement de théories et les perceptions de la rigueur de la science». certaines personnes, mais dans un contexte académique, il est fréquemment mentionné. Vous pouvez lire plus ici.

Du même côté de QRP, il existe une version extrême que tout chercheur devrait éviter. C'est une fraude de recherche. C'est différent de QRP, mais QRP peut mener à la fraude. Ce que les gens appellent une fraude de recherche, c’est lorsque le chercheur falsifie, simule ou fabrique ses données. Horrible droit? C’est une faute scientifique.

J'ai trouvé un article qui satisfait ma curiosité sur les motivations, l'esprit et la raison de ceux qui ont fait de la recherche frauduleuse. Il a été publié par le New York Times, intitulé «L’esprit d’un arnaqueur». De l'écriture, j'ai appris l'existence de Driederik Stapel, un psychologue social néerlandais qui a commis une fraude à la recherche. Il était en train de préparer des données pour ses recherches, il était mentionné dans l'article qu'il était le seul sujet de ses études. Au lieu de rapporter la vérité sur les résultats de la recherche, il était «… en quête d'esthétique, de beauté, plutôt que de vérité». Ce qui était également surprenant pour moi, c’est la déclaration suivante: «J’ai toujours vérifié - c’est peut-être par un esprit manipulateur sournois - que l’expérience était raisonnable, qu’elle découlait des recherches précédentes, attendre."

QRP et la fraude de recherche se produisent, peu importe les paramètres de travail. Nous avons davantage entendu parler du milieu universitaire, mais cela ne veut pas dire que cela arrive rarement en milieu professionnel. Mettant de côté différents facteurs de motivation pouvant faire que le QRP se produise, le seul facteur déterminant serait le chercheur. Dans une autre publication de Reuters, Stapel a déclaré: "Je n'ai pas été capable de résister à la pression de marquer des points, de publier, de toujours devoir être meilleur" et "je voulais trop, trop vite. Et dans un système où il y a peu de contrôle, où les gens travaillent souvent tout seul, je me suis trompé de chemin ».

Tandis que les chercheurs effectuent la recherche, les différents contextes de travail ajoutent une bataille supplémentaire: visibilité, être entendu, convaincre, influencer, voire mettre en relation les parties prenantes. Entre tous les travaux, les chercheurs auront toujours la possibilité d’utiliser la recherche pour son intérêt personnel et d’exercer ainsi des pratiques de recherche douteuses. Voici quelques exemples auxquels je peux penser, sur la manière dont les chercheurs peuvent exécuter le QRP au travail:

  • Changer l’hypothèse après avoir examiné les données collectées et affirmé la prédiction est juste. Nous devons nous rappeler que nous ne pouvons pas prédire complètement le comportement des utilisateurs.
  • Laissant de côté la «grande image» des données, choisissez uniquement des données ou des idées considérées comme «stratégiques», «agréables» ou «sexy» pour les parties prenantes.
  • Pour imposer des résultats qui n'atteignent pas la saturation des données, ils doivent représenter la totalité de l'utilisateur ou être généralisés à tous les utilisateurs.
  • Rédaction de rapports sans laisser de traces de données sur les participants (documents de recherche tels que: le plan de recherche, le script de recherche, les enregistrements et / ou les transcriptions de données). Cela ignore la fiabilité: d'autres chercheurs doivent comprendre la logique de la conclusion, du processus de synthèse à la rédaction du rapport.
  • Avoir une arrière-pensée qui peut nuire à l'éthique de la recherche. Par exemple, être enthousiasmé par l’enthousiasme de mener de grandes recherches avec de grandes attentes pour obtenir une recherche très significative. Lorsque le résultat ne correspond pas aux attentes, le chercheur ignore la méthodologie et rapporte le résultat comme il le souhaite.

Le pire que j'ai appris sur le QRP et la fraude en matière de recherche est l'ampleur de l'effet. Lorsque le cas de Staple a été exposé, les retombées l'ont affecté non seulement, mais également à ses étudiants, aux éditeurs de recherche et aux décideurs, ainsi qu'à d'autres chercheurs qui ont référé leurs travaux à la recherche de Staple. Sans parler de la réaction de méfiance du public. Ainsi, je pense que le QRP en entreprise aura également un effet préjudiciable similaire en milieu universitaire. Similaire, mais pas dans la mesure des conséquences telles que le retrait des résultats de la recherche et l'annulation du titre du poste.

Tout d’abord, sur les affaires de la société, le rapport de recherche sert de référence pour proposer une idée de produit. Lorsque je partage mon rapport de recherche, il sera utilisé par d’autres chercheurs à titre de référence. Plus important encore, il sera utilisé par les parties prenantes pour les aider à prendre une décision concernant certaines conditions. Il se peut que la société ne soit pas totalement trompeuse, comme le disait Stapel, c’était quelque chose de «bien pensé» avant d’être partagé. Cependant, imaginez le coût que tout le monde doit payer en suivant un rapport incomplet des besoins des utilisateurs. Personnellement, je pense que cela découle du sens de la recherche. Peut-être que cela peut renforcer votre fierté de pouvoir prédire un comportement, mais je ne le trouve pas comme une compétence amusante.

Deuxièmement, sur le travail avec des collègues. À l’heure actuelle, les chercheurs en entreprise n’ont pris aucune initiative ni aucune recommandation concernant le QRP et la fraude, comme dans le cas de crise de réplication psychologique (voir la déclaration de l’APA sur la fraude en matière de recherche et l’enregistrement préalable de la recherche). Si j’exécutais le QRP, vous ne sauriez pas que j’en ai fait un. Surtout quand vous n’avez pas demandé ma documentation, mon processus, ou essayé de creuser un trou et de projeter votre esprit curieux vers ce que je fais. Je peux le faire à plusieurs reprises et cela passe inaperçu, puis je peux m'en tirer. Mais, une fois que mon collègue a soulevé des soupçons, ma bonne relation avec tout le monde au bureau disparaît. Mon collègue peut commencer à se comporter différemment: douter de mon travail, hésiter à citer mon rapport ou refuser de le considérer comme une référence. Même après l'avoir bien fait, la méfiance existera toujours. Pas une atmosphère agréable pour travailler, j'imagine.

Photo par chuttersnap sur Unsplash

En tant que chercheur, nous sommes libres de choisir l’orientation de la recherche, de trouver des références, de choisir la méthode et l’échantillon d’utilisateur, de traiter les données et de rédiger le rapport. Mais cela ne signifie pas que le chercheur peut négliger la responsabilité d’exercer la bonne pratique de recherche. Outre l’effet recherché, la recherche qualitative repose sur des principes qui peuvent aider les chercheurs à évaluer leurs pratiques: fiabilité (les résultats seront cohérents s’ils sont reproduits par un autre chercheur et garantissent que les données ne sont pas biaisées), validité interne (le chercheur doit s’assurer que les preuves négatives sont prises en compte, la conclusion décrit avec précision tous les participants et permet de rendre compte de l'exactitude des prédictions du chercheur) et de la validité externe (vérification de vos résultats avec la théorie et également échantillonnage qui garantit que les résultats peuvent être appliqués à grande échelle).

Être conscient de la possibilité d'un QRP est un moyen d'aider les chercheurs à rester sur la bonne voie. Cela peut fonctionner de deux manières. Tout d’abord, c’est essentiel pour notre travail: essayez d’obtenir des commentaires différents de vos collègues, soyez conscients de notre esprit partial, faites preuve de transparence en ce qui concerne les données brutes, prenez également l’habitude de rendre le processus et les documents traçables. Deuxièmement, vis-à-vis de vos collègues, cherchez activement à clarifier la collecte et le processus de données, comment ils peuvent entrer dans la conclusion du rapport et soyez prudent lorsque les données sont trop bonnes (remplissez facilement l'hypothèse initiale sans mentionner d'éléments de preuve négatifs). Cela n’est peut-être pas encore mentionné dans la politique de la société en matière de recherche, mais c’est une façon de commencer à sensibiliser. Ce n’est pas punissable en milieu d’affaires, aucun auditeur de recherche ne vous le signalera, mais cela reflète votre éthique de travail.

Quelle serait votre ligne de démarcation entre les bonnes et les mauvaises pratiques de recherche? Est-ce la conscience et la vérité? Ou est-ce la gloire et la gloire? Tu décides.

Les équipes et les individus qui ont une conscience de soi critique et le désir de s’améliorer chaque jour, c’est ce que nous sommes ici à Bukalapak! Intrigué? Vous pensez avoir le talent mais aussi l’humilité de contribuer à une équipe ambitieuse et en pleine croissance? Découvrez nos offres d'emploi!