Examen par les pairs, les auteurs acceptent: un modèle de publication rapide avec comité de lecture

TL; DR: Cet article d’opinion propose un compromis entre le modèle de publication rapide d’arXiv et le processus d’évaluation par les pairs axé sur la qualité. L'idée est de passer en revue chaque article, mais la décision finale de publier ou non l'article, ainsi que ses critiques, appartient aux auteurs.

ArXiv est devenu un moyen populaire de publier des travaux scientifiques à un large public sans passer par le processus d'évaluation par les pairs qui dure depuis plusieurs mois. Bien que son modèle de publication ouverte accélère la propagation des idées, la qualité de la recherche en est réduite. Pas de vérification implique que plus de publications contiendront des erreurs, ce qui rend plus difficile de discerner les résultats sur lesquels on peut compter. Cela peut aussi être risqué pour les auteurs: un bon article comportant une erreur honnête peut être déchiré sur la scène publique avant même que les auteurs aient la possibilité de le corriger. Cela dit, le processus d’examen traditionnel est loin d’être parfait, et fait souvent obstacle à un travail de qualité qui n’a pas été publié de manière peu conventionnelle.

Je propose une expérience de pensée: pouvons-nous prendre les aspects positifs de la peer review et de arXiv et les combiner dans un modèle de publication unique?

Examen par les pairs, les auteurs acceptent

Ce que je suis sur le point de décrire est un compromis possible entre le modèle arXiv non réglementé rapide et le processus prudent d’évaluation par les pairs axé sur la qualité: Peers Review, Authors Accept (PRAA). La principale différence par rapport à l'examen par les pairs est que le rôle d'éditeur est dissout. Au lieu de cela, les relecteurs sont affectés instantanément par un processus automatique et la décision d'acceptation est déléguée aux auteurs. Contrairement à arXiv, les articles sont toujours publiés à côté de leurs critiques, offrant ainsi un contexte supplémentaire aux lecteurs. L'élimination des rôles de l'éditeur (affectation manuelle, discussion post-évaluation et processus décisionnels d'acceptation ferme) accélère considérablement le processus et réduit potentiellement le temps typique de révision de deux mois à deux semaines. En même temps, les auteurs sont habilités dans les cas où un critique mal interprète honnêtement, mal interprété par négligence ou tout simplement ne trouve pas le document si intéressant. Les auteurs peuvent essentiellement ignorer les recommandations des réviseurs et décider de publier, en publiant à la fois le document et les critiques (potentiellement négatives).

Dans PRAA, les auteurs téléchargent leur manuscrit sur un site Web, y compris des sources pour permettre l'anonymisation automatique, l'attribution d'un relecteur, le suivi des modifications et la détection des abus. Les réviseurs potentiels sont affectés via un processus automatique instantané. Les réviseurs disposent d’une courte période (par exemple 24h) pour accepter la tâche de relecture. Si un réviseur n'accepte pas la tâche dans le délai imparti, un autre réviseur lui est automatiquement affecté. Accepter la tâche de révision implique de terminer la révision dans un certain délai (par exemple, 2 semaines).

Une fois que les auteurs ont reçu les critiques, trois options leur sont proposées:

  1. Publiez le document tel quel avec les commentaires. Cela anonymisera le document et le rendra immédiatement public, avec les scores numériques attribués par les relecteurs. Les revues complètes apparaîtront à la fin du document. Les auteurs peuvent sélectionner cette option, indépendamment du sentiment des réviseurs.
  2. Editez le document dans un délai limité (par exemple, une semaine) et soumettez à nouveau. Les mêmes relecteurs verront alors la nouvelle version du manuscrit, ainsi que les différences de modification par rapport à la version précédente (détectée automatiquement à partir des fichiers source), et modifieront leurs révisions en conséquence. Ils auront un délai similaire (par exemple, une semaine) pour modifier leurs commentaires.
  3. Forfait, auquel cas le document n’est pas publié. Les auteurs ne peuvent pas soumettre à nouveau le document. Si le document subit des modifications majeures, les auteurs peuvent soumettre le manuscrit sous forme de manuscrit entièrement nouveau. Le document original est archivé en interne pour permettre la détection des abus.

Avantages

Les avantages de la PRAA peuvent être vus à travers trois rôles:

Les lecteurs

  • Des résultats frais. Un cycle de publication rapide signifie que les lecteurs peuvent se tenir au courant des derniers résultats. C'est sans doute l'un des principaux facteurs qui accélère les progrès scientifiques.
  • Alimentation quotidienne. Les dates limites des conférences créent des tsunamis de publications qui surchargent le lectorat avec une énorme quantité de documents à la fois. Au lieu de cela, le manque de délais de la PRAA permet de disposer d’un flux continu de nouvelles publications.
  • Tout est revu. PRAA veille à ce qu'aucun document ne soit rendu public sans examen par les pairs. Les valeurs numériques fournissent aux lecteurs des informations supplémentaires pour la sélection des articles à lire, tandis que les commentaires fournissent un contexte concernant l'impact potentiel du travail, ainsi que ses limites.

Les auteurs

  • L’acceptation est la décision des auteurs. L’évaluation par les pairs est un processus stochastique et est loin d’être parfaite. Transférer la décision d’acceptation aux auteurs permet de vérifier le pouvoir des examinateurs. Si les auteurs ne sont pas d’accord avec les commentaires des relecteurs, ils peuvent décider de publier quand même.
  • Les critiques sont privées. Bien que les auteurs soient rarement d'accord avec tous les arguments d'une revue, le processus de révision révèle souvent certaines failles dans le document. Les auteurs peuvent ensuite décider de corriger ces erreurs et d’améliorer leur travail sous la protection d’un processus de contrôle privé. Cela contraste nettement avec les modèles arXiv et Open Review, dans lesquels une erreur réparable peut discréditer publiquement une bonne idée.
  • Les critiques sont en double aveugle. Des expériences contrôlées ont montré que les revues à simple insu ont tendance à favoriser les chercheurs et les institutions renommés, ce qui crée un effet «riche s’enrichissant» (voir, par exemple, une étude récente dans la communauté du data mining). La révision en double aveugle élimine ce biais, permettant ainsi à un bon travail de se propager quelle que soit l’identité de ses auteurs.
  • Chaque jour est une date limite. La suppression de la date limite permet aux chercheurs de soumettre leurs travaux à un examen lorsqu'ils estiment que le travail est suffisamment bon. Bien que les délais puissent être utiles pour gérer en interne un effort de recherche, des délais imposés de l'extérieur peuvent inciter à soumettre un travail à moitié cuit, ou encore faire perdre du temps à perfectionner un effort de recherche déjà saturé.
  • Cycle de révision rapide. Un cycle de révision rapide limite le nombre de changements de contexte infligés aux auteurs, leur permettant de revenir rapidement dans le document et de le modifier si nécessaire.

Les relecteurs

  • Charge de contrôle plus légère. À long terme, la PRAA peut potentiellement réduire la charge de travail associée à la révision pour trois raisons. Premièrement, toutes les tâches éditoriales sont automatisées. Non seulement cela libère les rédacteurs en chef et les présidents de section, mais élimine également les discussions sur les enchères et les discussions postérieures à la révision. Deuxièmement, les cycles rapides d’examen et de modification pourraient réduire considérablement le changement de contexte, tandis que la mise en évidence automatique des modifications pourrait faire gagner du temps aux examinateurs en se concentrant sur ces changements. Enfin, le fait de laisser la décision d’acceptation entre les mains des auteurs pourrait potentiellement réduire le nombre total d’examens en réduisant le nombre de soumissions répétées et doubles.
  • Les critiques fournissent un contexte. Dans le modèle de révision traditionnel, trois longues révisions se traduiront par une décision binaire. La publication des critiques parallèlement au document renforce la valeur de la critique pour la communauté, comme le montre le modèle Open Review (toutefois, contrairement à Open Review, PRAA requiert le consentement des auteurs avant de rendre les critiques publiques).

Il reste encore beaucoup de questions en suspens et de détails de mise en œuvre qui doivent être étudiés avec soin lors de la mise en œuvre d'un tel système. Par exemple:

  • Combien de temps faut-il consacrer à l'examen?
  • Comment pouvons-nous allouer automatiquement des relecteurs?
  • Comment incitons-nous les relecteurs à participer?
  • Comment pouvons-nous dissuader les abus et jouer du modèle?
  • Comment appliquer la PRAA aux conférences?

Bien que je ne puisse prédire si PRAA fonctionnera bien dans la pratique, j’espère que cette idée inspirera de nouvelles discussions en vue de trouver de meilleurs modèles de publication permettant des progrès scientifiques rapides et solides.