Sur le nombre de publications

plus de publications ≠ meilleure performance

[Série de Pluton] # 0 - Universités, Fxxked Up Structural
[Série Pluto] # 1 - La recherche, l'industrie créatrice de connaissances
[Série Pluto] # 2 - Universités, édition et communication savante
[Série Pluto] # 3 - Publier, mais périr vraiment?
[Série de Pluton] # 4 - Publier ou périr, et perdu en vain
[Série Pluto] # 5 - Où ils publient
[Série Pluto] # 6 - Sur le nombre de publications
[Pluto Series] # 7 - Fondements de la citation
[Pluto Series] # 8 - Sur les pratiques de citation
[Série Pluto] # 9 - Sur les citations de suivi
[Pluto Series] # 10 - Sur les revues de pairs
[Série Pluto] # 11 - Fin de la série

Le message de la semaine dernière décrivait à quel point les critères d’évaluation sur «où» leurs résultats sont publiés affectent considérablement (et négativement) les universitaires et l’écosystème. Cette évaluation sur le lieu où ils publient décourage non seulement la création de connaissances authentiques et robustes, mais crée également une mauvaise ambiance parmi les différents acteurs. Il est difficile de clarifier ce qu’ils sont censés représenter et les résultats de la recherche sont précieux, quel que soit l’endroit où ils sont publiés. Cependant, c’est le problème qui pose problème, car de nombreux joueurs qui ne créent pas vraiment de connaissances, obtiennent un pouvoir exorbitant sur le système et certains joueurs, même des universitaires, sont tentés de commettre des actes répréhensibles afin d’accroître leur influence.

Cet article discutera, de manière similaire, des raisons pour lesquelles les chercheurs ne devraient pas être évalués sur le nombre de leurs publications (c’est-à-dire pourquoi c’est un mauvais stimulant). Le nombre de publications ne représente pas bien les valeurs positives du monde universitaire. Plus précisément, comme ce critère est absolument quantitatif, les joueurs peuvent toujours «jouer» la métrique. Cette pratique d'évaluation peut en outre avoir des conséquences indésirables, dont le pire est de rendre les universitaires douteux de leurs conclusions.

piles de livres, source: Darwin Vegher, Unsplash

Plus de publications, plus obscures

Tout comme l'indique littéralement l'expression «Publier ou périr», les chercheurs sont de plus en plus incités à générer davantage de publications au fur et à mesure de l'évaluation de leur productivité. Il semble tout à fait normal et normal que quiconque dans cette société fasse pression pour obtenir de meilleurs résultats. Mais la question qui se pose est celle-ci: «faire pression pour quoi?» Il est très discutable de savoir quel type de performance est tracé par cette mesure. Comme cette mesure imparfaite a cessé d’être de facto une mesure de la productivité, de nombreux chercheurs, tout en essayant de ne pas périr, sont obsédés par la publication de davantage de papiers plutôt que par la recherche de connaissances authentiques.

Tout d'abord, la plus petite unité de cette mesure, une publication, peut ne pas représenter une unité de connaissance. Ceci est mieux affirmé par l'expression «unité la moins publiable». Comme le terme lui-même l'explique, il n'y a pas de taille ni de norme convenue quant à la composition d'une publication. Même s'il y avait un consensus sur l'unité la moins publiable, on ne sait toujours pas ce que cette unité capture. Mis à part que c’est un défi de définir une connaissance unitaire, la valeur de la connaissance n’est pas aussi simple à capturer par une métrique unique. Pour prendre un exemple simple, tout mathématicien se demanderait si la solution de Perelman à trois papiers pour la conjecture de Poincaré était cent fois moins productive que plus de mille publications d’un théoricien douteux.

Pire, les taux de publication diffèrent d’une discipline à l’autre. Même au sein d'une même discipline, différents sujets peuvent afficher des taux de publication différents. Autrement dit, même si un chercheur dans le domaine de la physique des hautes énergies peut avoir de la difficulté à publier un seul article par an, il pourrait être relativement facile pour un informaticien de publier plusieurs comptes rendus de conférence par an.

En tirant toutes les limitations de côté, il est également très controversé de savoir ce qui devrait être considéré comme une publication. Tout comme il a été décrit avec "où ils publient", le nombre de publications dépend autant de l'indice utilisé pour l'analyse. Web of Science et SCOPUS sont encore une fois souvent utilisés. Par conséquent, les mêmes questions abordées dans la section «où elles publient» sont également valables. Au-delà de cela, une autre controverse sur ce qui devrait compter tient toujours quel que soit l'indice utilisé. Devrions-nous ne compter que les rapports de recherche originaux? Qu'en est-il des essais cliniques, des études de réplication, des articles de synthèse, etc.? Devraient-ils tous compter comme la même contribution unitaire? Que diriez-vous de la paternité? Devrions-nous ne compter que ceux publiés comme premiers auteurs? Permettons-nous généreusement aux auteurs en second et aux auteurs correspondants? Ou simplement diviser le nombre de publications par unité par le nombre d'auteurs? Il est assez pénible de soulever autant de questions sans y apporter de réponses claires, mais utiliser une mesure simpliste sans les poser est encore pire.

Plus de publications, plus d'obsolescence

L'évaluation basée sur le nombre de publications a également eu des conséquences indésirables. Comme on pourrait le penser naturellement, le nombre de publications entières a explosé. La plupart de la littérature a rapporté la croissance des publications avec analyse sur la base de données Web of Science, mais si nous couvrons ces analyses au-delà du Web of Science, les chiffres devraient simplement dépasser la corrélation linéaire.

Plus de publications ne sont apparemment pas si mauvaises si nous supposons que ces publications signifient plus de connaissances. Mais le problème ici est que les résultats de qualité médiocre et en double, voire frauduleux, sont en augmentation. Ceci est en quelque sorte en ligne avec le discours des journaux prédateurs, où les modèles économiques Open Access et APC sont souvent blâmés pour l'augmentation du nombre de journaux prédateurs. Mais comme nous le savons tous, il faut être deux pour danser. Les publications de qualité médiocre et sur les fraudes ont augmenté non seulement parce que cela fait de bonnes affaires, mais aussi parce que les chercheurs ont besoin de plus de publications à mesure qu’elles sont évaluées, qu’il s’agisse de mesures novatrices, progressives ou factices.

Évaluer avec le nombre de publications avait également conduit à des inconduites dans la recherche. L’absence de diligence raisonnable dans la sélection des revues lors de la soumission de manuscrits (c’est-à-dire la soumission à des revues prédatrices) en est un exemple, voulu ou non. Des méthodes d'évaluation mieux adaptées, complètes et contextuelles encourageraient les auteurs à choisir une revue dans laquelle il est très probable que les résultats de leurs recherches feront l'objet d'un examen minutieux par de véritables pairs qui comprennent leur domaine d'expertise.

Des inconduites plus graves sont menées pour augmenter le nombre de publications. Le tranchage de salami est dans une certaine mesure lié à l'unité la moins publiable décrite ci-dessus. Certains universitaires ont tendance à scinder leurs résultats de recherche en fractions plus petites afin de pouvoir sécuriser plusieurs publications avec un seul projet de recherche. Ils pourraient même être tentés de fabriquer leurs résultats pour en assurer la publication, tels que P-Hacking et HARKing. D’autres fautes graves signalées quant à la publication sécurisée sont l’usurpation de faux relecteurs (par exemple, des relecteurs recommandés par l’auteur avec de faux courriels) et une fausse représentation de la paternité.

Surtout, la conséquence la plus importante et la plus mauvaise de l’évaluation des universitaires avec un décompte de publications est qu’ils sont obscurs au sujet des résultats de leurs recherches. Cela réconcilie à nouveau avec ce que «publie ou périt» dit. Toute action allant à l'encontre de la sécurisation des publications possibles est NON pour les universitaires. Sous le terme générique «Open Science», de nombreuses suggestions ont été faites sur la manière dont les résultats de la recherche sont communiqués. Open Data consiste à rendre les jeux de données disponibles au même titre que les publications et Open Notebook Science consiste à partager les notes de laboratoire. Dans la pratique, la recherche ne contient pas de termes spécifiques, mais elle contient beaucoup plus d'éléments qui seraient mieux communiqués que ceux conservés dans des cabinets privés *: idées de recherche, configurations expérimentales, protocoles et astuces, limitations et études supplémentaires pour les surmonter, etc. Ce n'est pas vraiment partagé activement. (* ou disques durs, ou stockage en nuage)

Étant donné que les chercheurs sont évalués en fonction du nombre de leurs publications, ils sont incités à indiquer «Informations les moins publiables» dans leurs publications. Parfois, des informations essentielles peuvent même être omises de la publication. Considérant les aspects collaboratifs et circulants de la création de connaissances, nous pouvons tous convenir que le mieux est de les inciter à publier les informations «maximales» possibles. L'évaluation actuelle sur un simple décompte de publications est plutôt opposée à cette croyance.

Les points précédents sont aussi mauvais qu'ils sont introduits, à savoir des publications augmentées (et particulièrement de qualité médiocre et frauduleuses); résultats de recherche fabriqués; et inconduite dans le processus de publication. Ils sont également problématiques dans la mesure où la création de connaissances est un système en rotation. De mauvaises amorces peuvent avoir des conséquences encore pires. Et le résoudre est aussi important que la création de nouvelles connaissances.

Pas de JIF, pas de pub. Comptez, maintenant quoi?

Nous avons maintenant abordé les deux critères d’évaluation des universités les plus utilisés, à savoir l’impact des revues et le nombre de publications, le prochain article sera consacré aux citations. Contrairement à ces deux sujets récents, la citation est relativement plus complexe à traiter, en ce sens qu’elle constitue une forme claire d’attribution. «Les publications désignent explicitement une autre publication du passé comme source d’information». C’est probablement la raison pour laquelle la plupart des débats des dernières décennies s’articulent autour de l’hypothèse «la citation est l’évaluation ultime».

Restez à l'écoute pour entendre ce que Pluton a à dire à ce sujet et CLAP & SHARE l'histoire avec vos pairs, amis et familles pour susciter davantage de discussions.

[Série de Pluton] # 0 - Universités, Fxxked Up Structural
[Série Pluto] # 1 - La recherche, l'industrie créatrice de connaissances
[Série Pluto] # 2 - Universités, édition et communication savante
[Série Pluto] # 3 - Publier, mais périr vraiment?
[Série de Pluton] # 4 - Publier ou périr, et perdu en vain
[Série Pluto] # 5 - Où ils publient
[Série Pluto] # 6 - Sur le nombre de publications
[Pluto Series] # 7 - Fondements de la citation
[Pluto Series] # 8 - Sur les pratiques de citation
[Série Pluto] # 9 - Sur les citations de suivi
[Pluto Series] # 10 - Sur les revues de pairs
[Série Pluto] # 11 - Fin de la série

Réseau Pluton
Page d'accueil / Github / Facebook / Twitter / Telegram / Medium
Scinapse: moteur de recherche académique
Email: team@pluto.network