Non, les éducateurs et les décideurs ne doivent pas simplement «faire ce que la recherche montre»

Mon ami Mike Petrilli et moi venons de terminer la septième cohorte de notre programme de jeunes chercheurs en politiques éducatives. Le temps que nous passons avec ces jeunes docteurs talentueux Les chercheurs débordent toujours de discussions sur l’influence de la recherche sur les politiques et les pratiques, et sur leur frustration de ne pas voir les choses grandir dans l’esprit des décideurs et des dirigeants du système. L’expérience est stimulante et j’apprends inévitablement beaucoup de choses. Mais je me trouve aussi souvent en train de proposer une version de la même méditation sur comment et quand la recherche influence les décisions du monde réel - et pourquoi cette influence devrait être beaucoup plus modeste et hésitante que les chercheurs ne le souhaiteraient généralement.

Pour ma part, je conseille régulièrement aux décideurs politiques et aux praticiens d’être vraiment nerveux quand un universitaire ou un expert les encourage à faire «ce que la recherche montre». Une bonne mesure de l'intelligence, les filles étaient incapables de faire des mathématiques avancées et le retard était très répandu parmi certains groupes ethniques. Maintenant, je sais ce que vous pensez: "Ce n’était pas une vraie recherche!" Cela a été réalisé par des professeurs d’université, publié dans des revues savantes et discuté dans des manuels. Mis à part le fait que les résultats paraissent maintenant loufoques, cela me semble être une véritable recherche.

Les chercheurs en médecine, par exemple, changent d'avis avec d'importantes découvertes avec une régularité inquiétante. Même avec leurs poches profondes et leur équipement de laboratoire sophistiqué, ils ont échangé des idées comme les dangers du cholestérol, les vertus de la soie dentaire, si les bébés devraient dormir sur le dos, combien d'exercice physique nous devrions faire et les effets de l'alcool . Les choses seraient compliquées si l'on demandait aux législateurs ou aux assureurs de changer de politique à la suite de chaque nouvelle étude médicale.

En vérité, la science est souvent beaucoup moins absolue que nous l’imaginons. En 2015, une tentative de réplication de 97 études avec des résultats statistiquement significatifs a montré que plus du tiers ne pouvait pas être dupliqué. Plus de 90% des chercheurs en psychologie admettent au moins un comportement susceptible de compromettre leurs recherches, par exemple arrêter la collecte de données plus tôt parce qu'ils ont aimé les résultats, ou ne pas divulguer toutes les conditions d'une étude. Et plus de 40% ont admis avoir parfois décidé d’exclure des données en fonction de ce qu’elles avaient eu sur les résultats.

Une recherche rigoureuse finit par influer sur les politiques et les pratiques, mais c’est généralement après une accumulation de preuves longue et progressive. L’exemple le plus célèbre est peut-être celui des effets du tabac sur la santé, où un corpus cumulatif de recherches a finalement influencé le public et façonné la politique antitabac, en dépit des efforts frénétiques et richement financés des sociétés productrices de tabac. Le consensus qui s'est dégagé a impliqué des dizaines d'études menées par des centaines de chercheurs, avec des résultats cohérents accumulés au fil des décennies.

Lorsque les experts affirment que quelque chose «fonctionne», ce type de preuves accumulées n’est guère ce qu’ils pensent. Au lieu de cela, leurs affirmations reposent généralement sur une poignée d'études récentes - voire sur une seule analyse - menées par un petit groupe de chercheurs. (Dans le domaine de l’éducation, ces chercheurs défendent souvent les programmes ou les politiques qu’ils évaluent.) Quand une personne prétend pouvoir prouver que son temps d’apprentissage prolongé, ses cours d’écolage, ses cours pré-K ou ses séjours en résidence d’enseignants «fonctionnent», ce qu’ils font habituellement. Cela signifie qu’ils peuvent citer quelques études qui montrent les avantages de programmes pilotes exécutés avec soin.

Résultat: lorsque les projets pilotes suggèrent que les politiques ou les programmes «fonctionnent», cela peut signifier beaucoup moins que les réformateurs ne le souhaiteraient. Pourquoi cela pourrait-il être?

Pensez-y de cette façon. La «norme de référence» pour la recherche en médecine et en sciences sociales est un essai contrôlé randomisé (ECR). Dans un ECR, la moitié des participants sont choisis au hasard pour recevoir le traitement - disons un médicament pour l'hypertension. Les groupes de traitement et de contrôle suivent le même régime et le même plan de soins de santé. Une des rides est que le groupe de traitement reçoit également le nouveau médicament. Parce que le médicament est la seule différence dans les soins entre les deux groupes, on peut attribuer à celui-ci toute différence significative dans les résultats.

Les ECR précisent le traitement précis, qui l’obtient et comment il est administré. Cela facilite la réplication des résultats. Si les patients qui subissent un ECR réussi reçoivent une dose de 100 mg de notre médicament pour la tension artérielle toutes les douze heures, les médecins doivent l’administrer de manière à obtenir les mêmes résultats. Si les médecins donnaient deux fois la dose recommandée ou si les patients prenaient la moitié moins souvent que la dose recommandée, vous ne vous attendriez pas aux mêmes résultats. Lorsque nous disons que le médicament “fonctionne”, nous entendons qu’il a des effets spécifiques et prévisibles lorsqu’il est utilisé avec précision.

Parfois, ce type de recherche peut très bien se traduire en pratique éducative. Si des interventions précises et pas à pas sont trouvées pour renforcer la conscience phonémique ou accélérer la maîtrise de la langue seconde, la réplication peut être simple. Pour de telles interventions, la recherche peut réellement démontrer «ce qui fonctionne». Et nous devrions y porter une attention particulière.

Mais cela contribue également à éclairer les limites de la recherche en matière de politique, étant donné toutes les complexités et les éléments en mouvement impliqués dans le changement de système. Les nouvelles politiques régissant des éléments tels que la taille des classes, la pré-maternelle ou la rémunération des enseignants sont adoptées et mises en œuvre par les États et les systèmes de différentes manières. Les nouvelles initiatives sont rarement des imitations précises de projets pilotes prometteurs, même dans les cas où il est clairement défini en quoi consistaient l’intervention initiale, le dosage, la conception et les conditions.

Si les imitateurs sont imprécis et incohérents, il n’ya aucune raison de s’attendre à ce que les résultats soient cohérents. Envisagez une réduction de la taille de la classe. Pendant des décennies, les partisans de classes plus petites ont souligné les résultats du projet STAR (Student Teacher Achievement Ratio), une expérience menée dans le Tennessee à la fin des années 1980. Les chercheurs ont constaté des progrès importants dans les résultats des élèves des très petites classes de maternelle et de première année. Frappés par les résultats, les législateurs de la Californie ont adopté un programme de réduction massive de la taille de la classe qui a coûté des milliards de dollars au cours de sa première décennie. Mais l’évaluation n’a finalement eu aucun impact sur les résultats des élèves.

Qu'est-il arrivé? Eh bien, ce qui a «fonctionné» à une échelle limitée dans le Tennessee s'est déroulé très différemment lorsqu'il a été adopté à l'échelle de l'État en Californie. La «réplication» n’a pas vraiment été reproduite au-delà de la notion de «petites classes». Là où les petites classes de STAR étaient composées de 13 à 17 étudiants, les petites classes de la Californie étaient beaucoup plus grandes. STAR était un programme pilote dans quelques centaines de salles de classe, réduisant au minimum le besoin de nouveaux enseignants, tandis que l’adoption par l’ensemble de l’État de la Californie nécessitait une vague de nouvelles recrues. En Californie, les districts ont été obligés d’embaucher des milliers d’enseignants qui n’auraient pas pu se faire payer auparavant, tandis que les écoles cannibalisaient salles d’art et bibliothèques afin de trouver suffisamment de salles de classe pour les loger. Les enfants qui auraient pu avoir de meilleurs enseignants dans des classes légèrement plus grandes se trouvaient maintenant dans des classes légèrement plus petites avec des enseignants de moins bonne qualité. Ce n’est pas un grand choc que les résultats aient déçu.

La recherche devrait informer les politiques et les pratiques en matière d’éducation, mais elle ne devrait pas la dicter. Le sens commun, l'expérience pratique, les relations personnelles et la sagesse démodée ont un rôle crucial à jouer pour déterminer quand et comment la recherche peut être utilement appliquée. Les chercheurs qui jouent les rôles les plus constructifs sont ceux qui comprennent et embrassent cette vérité confuse.

Ce poste a paru à l'origine sur Rick Hess Straight Up.