Arrêtez de traiter vos participants expérimentaux comme du bétail

Sérieusement. Arrête ça.

Les spécialistes en sciences sociales s'inquiètent actuellement de l'utilisation (et de l'abus) des statistiques. Ce n’est pas nouveau. Ils sont juste en train de le refaire pour la première fois.

Cette préoccupation prend quelques formes - en utilisant les mauvaises méthodes, en utilisant les mauvais tests, en utilisant le mauvais cadre pour comprendre les hypothèses, en utilisant la méthode qui «fonctionne», en utilisant le mauvais critère de signification (ou en utilisant un seul), etc.

Mais je n’ai pas besoin de l'expliquer comme ça, et je ne suis pas un statisticien. Du moins, pas de la manière qui compte.

Faisons-le à ma façon.

Certains chercheurs utilisent les chiffres de la même manière que nous recyclons les déchets électroniques. Fondamentalement, ils écrasent les ordures en miettes, les introduisent dans un haut fourneau de statistiques et jettent des lingots de cuivre. Seulement, parce que c'est brillant, ils disent souvent que c'est de l'or. Après son évaluation initiale, il est verrouillé à Fort Knox et la porte du coffre-fort est soudée.

Certains chercheurs utiliseraient la modélisation à plusieurs niveaux pour ouvrir un paquet de gâteaux au thé de Tunnock.

Pas que compliqué

Certains chercheurs pensent que «Confirmation Bias» est un groupe indépendant.

Nous sommes Confirmation Bias, et cette chanson suivante est sortie de notre deuxième EP, Staring Sadly

Oh, et certains chercheurs ne peuvent pas ajouter.

Si vous ne savez pas de qui je parle, c’est peut-être votre première fois ici.

Erreurs conceptuelles, erreurs de procédure, confiance excessive et incompétence à l'ancienne. Tout cela a été longuement discuté.

Longtemps, en fait.

À long, fastidieux, brutal, sans fin, allonger la longueur de tweets intervenant-80.

Si vous avez déjà regardé un débat sur les statistiques, que ce soit en personne ou en ligne, vous vous rendrez compte que ce sont souvent des gens qui crient à contre-courant à travers différents fuseaux horaires jusqu'à ce que l'un d'eux se couche, avec suffisamment de détails redéfinir et ordonner de forcer un avocat à renoncer à la barre pour devenir instructeur de plongée.

Plus récemment, une série de discussions similaires a vu le jour autour de la théorie. Vos idées représentent-elles ce que vous pensez qu'elles devraient? Quelle est la force de vos hypothèses? Vos opérationnalisations expérimentales sont-elles suffisantes? Avez-vous envisagé le problème de l'induction? Si vos résultats étaient ‘significatifs mais inversés’ (c’est-à-dire que vous trouviez un effet OPPOSÉ significatif par rapport à ce que vous imaginiez), est-ce que cela tuerait votre théorie mais laisserait votre papier en vie?

Ou, pour le dire autrement, votre expérience représente-t-elle un analogue utile de tout contexte plus large que celui dans lequel elle a été menée? Ou est-ce simplement une construction incroyablement spécifique d'une maison incroyablement belle sur des pilotis incroyablement faibles?

Vous êtes à un raz de marée d'être aux nouvelles du soir là-bas, super-chef

Et pendant que je suis ici, rappelez-vous que le plaisir n’est pas terminé lorsque l’étude est terminée et que tous nos résultats ont été polis à la broche, comme à la bien. Ensuite, nous rencontrons notre vieil ami, surextrapolation!

"Eh bien, cette intervention a fonctionné chez dix-sept femmes de Virginie qui s'appelaient toutes Qcindee (le Q est silencieux) ou Chadleen, je ne vois donc aucune raison de ne pas la déployer chez les ouvriers agricoles du Sud-Soudan."

Ce sont des questions compliquées, et les décrire rapidement, c'est ne pas les décrire correctement. Si vous êtes impliqué dans l'un des problèmes ci-dessus, résistez à l'envie de me corriger trop sévèrement. Les arguments relatifs à la fois aux statistiques et à la théorie sont difficiles à comprendre en raison du niveau de détail et des connaissances préalables requises, et difficiles à entendre, car ils nécessitent souvent que vous remettiez en cause les hypothèses de votre propre travail.

Mais.

Ce que je vais dire n’est ni compliqué, ni difficile, ni difficile à corriger. C’est une combinaison de bon sens moyen et d’un soupçon de décence humaine.

Cependant, c’est un problème de recherche sociale, psychologique, médicale, comportementale, etc., peut-être même d’une ampleur équivalente, et il se passe comme ceci:

Arrêtez de traiter vos participants à l'étude comme de la merde.

Je ne peux pas vous dire combien de fois j'ai vu quelqu'un mêler un sujet expérimental à The Glorious Study Of Something ou autre, grogner contre eux, le déposer à la louche dans un coin au coin du laboratoire avec tout le confort du conflit des Balkans. , placez le fauteuil droit devant un ordinateur, murmurez-lui des instructions sur la marche à suivre, puis reliez-les.

Hourra Henrietta distribue une épaisse pile de formulaires à une salle de personnes incrédule.

Nous devons remplir tout cela?
 Oui, c’est obligatoire, hop.
Quoi, tous les six? Il doit y avoir 40 pages ici.
 Oui, c’est obligatoire, hop.
Certaines des questions sont les mêmes.
 J'ai fait Stutter, Jérémie.

Fondamentalement, une grande partie de la collecte de données en sciences sociales traite les adultes pleinement développés comme des bovins, comme si les données qu’ils produiraient seraient une nécessité regrettable pour parvenir à la tâche principale de… eh bien, en abusant de ces données. Les corps non nommés sont regroupés, étant donné une série de tâches incompréhensibles dans lesquelles ils ne pourraient pas être moins engagés, puis éliminés.

Eh bien, des expériences sans contexte ennuyeuses et dédaigneuses vous rapportent des réponses sans contexte ennuyeuses et dédaigneuses. Sans aucun investissement, vos participants mentiront, dissimuleront ou rempliront ce qu’ils pensent être réaliste. Ou plus vraisemblablement que tout ce qui précède, ils ne feront que mettre ce qui revient à "peu importe".

Vous ne serez pas en mesure de les attraper à travers des motifs dans leurs réponses (et presque personne ne pensera de toute façon à regarder).

Une théorie solide et des statistiques appropriées n'empêcheront pas vos participants de s'ennuyer, de curieux, de ruiner ou de mentir carrément pour se rendre au pub avant la fin de l'happy hour. Cela ne les empêchera pas d’essayer la routine Curious George, d’essayer de présupposer ce que vous faites, de casser votre théorie en morceaux, de vous rendre heureux… ou de vous rendre malheureux.

Je le sais parce que c’est ce que j’ai fait quand j’avais 17 ans. Mon Dieu, j’ai mal fait les expériences. J’ai puni les licenciements (où est l’alpha de votre Cronbach maintenant?), Jeté des réponses confuses et j’ai parfois coincé la langue dans ma joue et fait quelque chose de maladroit. J'ai essayé de craquer les tâches de temps de réponse. J'ai essayé de désosser des objectifs expérimentaux. Oh, et si quelque chose était vraiment irrespectueux ou bizarre, je mettais parfois quelque chose de terrible. Je pense que j’ai eu un IAT une fois pour me dire que j’étais «fortement implicitement partial envers les Blancs», et étant donné que je suis la personne la plus blanche du monde qui n’est pas un albinos finlandais, cela en a pris quelques-uns.

En gros, je me suis mis à jouer, quelque chose que j’ai toujours fait quand je me suis ennuyé.

Et oubliez les «contrôles de manipulation». Si vous ennuyez les gens et leur demandez ensuite si votre expérience est bonne ou non, ils pourraient vous le dire. Ils ne vous diront probablement pas s’ils se sentent carrément méprisés par vos procédures affreuses. Ils diront les mots nécessaires pour sortir de la pièce.

Je suis déconcerté par les personnes qui font de la recherche psychologique n’ayant que la compréhension la plus superficielle du comportement normal des gens. Newsflash: les gens en veulent des conneries.

Alors, parlez à vos participants. Ne donnez pas les objectifs de votre étude, ni ne les remplissez d’attentes qui biaiseront leurs réponses. Mais! Pour l'amour de tout ce qui chante les hymnes noirs d'une république déchue, donnez-leur une sorte de buy-in. Essayez d'expliquer le domaine de recherche. Utilisez uniquement les mots nécessaires lorsque vous le faites. N'empilez pas d'échelles sur des échelles sur des échelles si vous n'y êtes pas obligé. Regardez les gens dans les yeux. Découvrez leurs noms, si vous le pouvez.

Et si vous vous engagez à utiliser de longs instruments psychométriques - je sais que certains questionnaires abrégés ont toute la fiabilité d’une combinaison au crochet - vous permettent de faire des pauses. Et payez-les. Et tout ce qui précède va double.

Oh, et si vous avez des assistants de quelque forme que ce soit pour vos études, aidez-les de temps en temps à faire tout ce qui est mentionné ci-dessus. Essayez de vous rappeler qu'ils vous font la faveur.

Désolé si c'est fatiguant. Vous savez quoi d'autre est fatigant? Faire l'expérience.
Je n’ai aucune sympathie pour l’argument. Nous n’avons pas le temps d’investir dans ces personnes. Vous allez investir beaucoup de temps dans le papier que vous écrivez sur les numéros qu’ils mettront en ordre pour vous. Vous ne voulez pas que cela aille le mieux possible?

De toute évidence, nous acceptons le fait que la recherche basée sur un questionnaire est un peu ennuyeuse. Vous ne pouvez pas tout rendre excitant. (Rappelez-vous cette lubie nauséabonde d’il ya quelques années où nous avions essayé de tout «gamifier»? Il s’avère qu’un jeu de merde est aussi ennuyeux qu’une expérience sans jeu de merde. Qui aurait jamais vu cela venir?)

En gros, il faut parfois que l’on s’ennuie un peu, surtout si on construit des échelles à partir de zéro. Ou faire essentiellement toute la psychométrie. Considérez donc qu’il ya encore plus de raisons de penser à votre conception, à votre manière et de vous en conférer quelques-unes! - un peu de respect pour les gens assis à travers votre BS.

Je ne sais pas si cela constitue une compétence à part entière. Peut-être que si. Ou, comme je l'ai dit auparavant, peut-être juste de la décence humaine / du bon sens. Mais quoi que ce soit, il pourrait être amélioré.