Ma liste de contrôle par les pairs

Cela fait environ un mois que j’ai posté ici. Pourquoi? J'ai lu au lieu d'écrire. J’ai passé en revue les documents SIGCSE, les documents ICSE, les documents IEEE Transactions on Software Engineering, les documents ACM Transactions on Computing Education. J'ai édité mes 7 merveilleuses soumissions de doctorants. J’ai guidé les bourses de recherche supérieures de deux étudiants de la NSF et une autre demande d’admission à un programme d’études de premier cycle. Et j'ai lu quelques dizaines de candidatures exceptionnelles au premier cycle de l'ARC.

Maintenant, certaines personnes n'aiment pas les critiques. Il se trouve que je l'aime, en particulier l'examen par les pairs! J’apprends (occasionnellement) de nouvelles idées, j’aide ma communauté académique à améliorer ses connaissances et à résoudre un casse-tête bien spécifique: que puis-je dire en 500 à 1000 mots qui transformeront le point de vue de l’auteur sur son propre travail? L’enseignant en moi profite de l’occasion pour essayer de déduire de l’écriture de l’écriture de la part de quelqu'un, puis de trouver les mots justes pour orienter sa pensée vers ma propre esthétique de recherche. Je ne réussis pas toujours (surtout pendant les mois chargés comme celui-ci), mais je m’amuse généralement à le faire.

Malheureusement, beaucoup de chercheurs dans mes communautés ne s’amusent pas autant à revoir. Et je ne les en blâme pas: les délais sont courts, le travail bénévole est généralement ingrat (en raison de l’anonymat), et il n’ya pratiquement aucune interaction avec les auteurs ou d’autres critiques, mis à part des discussions très asynchrones et très impersonnelles sur des projets mal entretenus, mal conçus. un groupware tel que PCS ou EasyChair (rien contre les développeurs qui les maintiennent: vous avez des emplois durs et très sous-financés qui ne font que maintenir ces sites en fonctionnement).

Après 15 ans d’examen, cependant, il ya quelques choses qui, à mon avis, pourraient faire que les gens l’apprécient vraiment, et qui me donneraient envie de le faire encore plus. Voici ma liste de souhaits pour l'évaluation par des pairs universitaires.

Évaluer par rapport à des critères explicites

Rien ne me rend plus fou qu'une boîte qui dit "Écrivez votre critique" ici. Ces processus d’évaluation par les pairs totalement non guidés échouent de deux manières: ils génèrent des opinions très divergentes sur la recherche, mais ils ne signalent pas non plus aux nouveaux relecteurs quels aspects de la recherche une valeur de la communauté ou comment les évaluer. Il n’existe pas un seul type d’examen, il existe une infinité et c’est un travail d’éditeur de réduire le champ d’application.

La Conférence internationale sur le génie logiciel a récemment progressé dans ce domaine, en ajoutant des critères spécifiques tels que:

  • Solidité. Les allégations relatives aux œuvres sont-elles étayées par les arguments et les preuves présentés?
  • Nouveauté. À quel point le travail fait-il progresser nos connaissances?
  • Clarté. Dans quelle mesure l'écriture et la présentation de l'œuvre sont-elles claires?
  • Réplicabilité. Avec une certaine expertise du domaine, le travail (technique, empirique ou autre) pourrait-il être reproduit?

Ce qui est formidable avec ces solutions, c’est qu’elles réduisent de nombreuses formes de biais implicites dans le processus d’examen, ce qui oblige les examinateurs à traiter chaque dimension. Je les ai utilisées pour structurer mes évaluations et pour m'assurer d'être juste quant à ce que l'ICSE souhaite choisir.

À présent, le processus de la CISP laisse encore beaucoup à désirer. Ces critères ne s’appliquent pas à tous les types de bourses, ce qui exclut certains travaux novateurs. Les examinateurs ont des idées très différentes sur ces critères, ce qui entraîne encore une grande diversité dans leurs évaluations. Et les présidents de programme ne donnent aucune indication sur les endroits où se trouve le «barreau»: un document peut-il en rencontrer trois, mais échouer à la nouveauté et continuer à être publié? Et le dernier est assez facile à corriger: publiez-les sur l’appel à contributions afin que tout le monde sache à quoi ils sont jugés.

Malgré ces limitations, je pense que tous les processus d’examen par les pairs devraient avoir des critères explicites. Les communautés doivent s'unir pour les élaborer et les faire évoluer au fil du temps.

Former les examinateurs

L’un des problèmes avec les critères explicites ci-dessus est que différents examinateurs n’ont pas la capacité systématique de juger chacun d’eux. Pourquoi pas? Parce que nous n’enseignons pas aux chercheurs d’examiner la recherche.

J’ai toujours trouvé que c’était la plus grande lacune dans la formation doctorale. doctorat les étudiants ont besoin d’autant plus de possibilités que d’exercer à réviser la recherche par rapport à des critères explicites, mais peu d’entre eux sont invités à passer en revue jusqu’à ce qu’ils soient plus âgés. Et si elles sont invitées à la relecture, les conférences et les revues leur dispensent rarement une formation.

Je me souviens de la première fois que je passais en revue pour une conférence. C’était un journal CHI, probablement en 2006 ou 2007, juste avant que je termine mon doctorat. J’ai reçu une boîte qui disait: «Écrivez votre critique ici.» Et ma première pensée a été: «Qu'est-ce que je suis censé réviser? Tout? Juste partager mon opinion? J’ai beaucoup d’opinions, êtes-vous sûr que chacune d’elles compte? »Bien sûr, elles importaient toutes, et tous les autres aussi. Le journal a donc obtenu des scores extrêmement variables, ce qui a probablement confondu les auteurs. Les critiques extrêmement variées que j'ai toujours reçues au CHI (et le sont encore à ce jour) continuent à désorienter.

En tant que doctorat conseiller, je ne parviens pas à former mes étudiants aussi. Quand dois-je enseigner à mes étudiants de doctorat à évaluer le travail des autres? À qui est-ce que je les fais évaluer si la relecture est confidentielle? Les groupes de lecture sont un endroit pour le faire, mais ils se concentrent souvent sur la lecture du travail le plus pertinent et le plus pertinent sur le terrain, et non sur le travail qui a besoin d’aide. La plupart des critiques portent sur des documents qui ont besoin d'aide.

Personnellement, je ne pense pas que ce soit le rôle du conseiller de décider des critères selon lesquels les papiers sont examinés. Je pense que c’est le travail d’universitaire et que ce sont les conférences et les revues qui expliquent ces critères et les formons. La prochaine fois que je présiderai une conférence ou deviendra rédacteur en chef d’un journal, je formerai tous les réviseurs.

Publier tout, y compris les avis

Quand je parle de cette idée aux gens, ils pensent que je suis fou. Avant de penser la même chose, écoutez-moi.

L'idée de base est la suivante: lorsque nous soumettons quelque chose à la publication, nous devons mener nos processus de révision habituels, puis publier tout ce que les auteurs souhaitent publier, à condition que tous les comptes rendus de leurs travaux soient également publiés et ouverts au public. tout le monde dans le monde universitaire. Les auteurs pourraient également décider de retirer leur travail et de l’améliorer. L’avenir de l’examen par les pairs doit être ouvert, continu et transparent, et chaque œuvre dans le monde doit faire l’objet d’une critique éternelle (modérée). Par exemple, je devrais être en mesure de revenir à mes anciens articles publiés dans la bibliothèque numérique d'ACM et de publier un commentaire disant: «Cet article est une foutaise. Cet autre article que j'ai publié présente un argument bien meilleur. »Et je devrais pouvoir faire de même avec mes pairs. Et tout le monde, y compris le public, devrait pouvoir visualiser nos commentaires sur tous les travaux publiés, ce qui permet aux communications scientifiques de se dérouler en public.

Pourquoi faire ceci?

  • Tout d’abord, nous avons dépassé l’heure où nous devons nous préoccuper des coûts d’impression. Le stockage est bon marché et nos documents sont petits.
  • Deuxièmement, nous avons déjà tout lu et tout évalué. Quel est l’intérêt de faire tout ce travail d’écriture et de révision, pour que 75% ne soient pas lus par les universitaires?
  • Troisièmement, pourquoi artificiellement, nous pensons que le travail de gardien a une valeur, même si le travail n’est pas parfait?
  • Quatrièmement, en refusant tant de travail, nous rejetons les idées et les efforts de nos communautés, qui sont démoralisants.
  • Quatrièmement, l’opacité de l’examen par les pairs nuit à l’opinion publique sur la science. Montrez-leur comment on fait la saucisse.

La plupart des arguments contre la vision ci-dessus se résument à ceci: les universitaires veulent utiliser les publications de conférences et de revues pour souligner le mérite, en plus de recherches ultérieures. «Nous devons rejeter les papiers pour que les papiers acceptés aient de la valeur», disent-ils, «sinon, comment saurions-nous que le travail est bon ou mauvais?» La chose ridicule à propos de cet argument est qu’à court et à long terme, nous ne le faisons pas. t utilisez exclusivement la publication pour décider quel travail est bon ou mauvais. Nous utilisons des lettres de recommandation, nous utilisons les meilleures récompenses sur papier, nous utilisons les récompenses les plus influentes sur 10 ans, nous examinons les citations. Nous savons tous que les conférences et les revues - même les plus prestigieuses - regorgent d'articles qui ne sont pas si géniaux, car nos processus d'examen par les pairs ne sont pas si géniaux. Il y a peu de mal à perdre un signal alors que nous en avons déjà beaucoup.

De plus, nous gagnerions de nouveaux signaux. Quel genre de dialogue a-t-il eu lieu sur un travail publié depuis sa publication? Qui parle du travail? Comment en parlent-ils? Imaginez simplement comment l'évaluation d'un candidat au corps professoral changerait: il ne s'agirait pas simplement d'une liste d'articles publiés, mais plutôt d'un ensemble de sujets dynamiques sur le sens et la signification d'une publication - ou du silence, qui dit autre chose.

D’autres arguments contre cette vision se concentrent sur les craintes que les personnes ne révisent plus si leurs critiques deviennent publiques. Pour moi, ceci est juste un signe que nous n’éduquons pas correctement les intellectuels publics. Notre ego est-il si fragile que quelqu'un qui verrait nos critiques bien raisonnées briserait notre réputation? Ou avons-nous peur que nos critiques ne soient pas si bien motivées?

De toute évidence, il n’ya pas grand chose à faire pour faire fonctionner un tel modèle. Si une communauté peut le faire, ce sont les sciences de l’informatique et de l’information, en particulier les interactions homme-machine.

La bande passante limite notre vision

Bien entendu, la mise en œuvre des modifications ci-dessus nécessite du temps. Et comme nous faisons déjà du bénévolat, le temps est limité. Certains d'entre nous ont besoin de consacrer une partie de notre temps, en particulier des professeurs titulaires comme nous, à faire de ces changements une réalité. Montrons au reste du monde universitaire ce que peut être la peer review. Qui est avec moi?