Sur où ils publient

pourquoi vous ne devriez pas juger les chercheurs par Journal Impacts

[Série de Pluton] # 0 - Universités, Fxxked Up Structural
[Série Pluto] # 1 - La recherche, l'industrie créatrice de connaissances
[Série Pluto] # 2 - Universités, édition et communication savante
[Série Pluto] # 3 - Publier, mais périr vraiment?
[Série de Pluton] # 4 - Publier ou périr, et perdu en vain
[Série Pluto] # 5 - Où ils publient
[Série Pluto] # 6 - Sur le nombre de publications
[Pluto Series] # 7 - Fondements de la citation
[Pluto Series] # 8 - Sur les pratiques de citation
[Série Pluto] # 9 - Sur les citations de suivi
[Pluto Series] # 10 - Sur les revues de pairs
[Série Pluto] # 11 - Fin de la série

Dans le post précédent, nous avons discuté de ce qui constitue une mauvaise structure d’incitation dans le monde universitaire. Des connaissances plus nombreuses, originales et robustes constituent l’objectif général du monde universitaire dans son ensemble. Si des conséquences non souhaitées autres que ces valeurs positives sont induites par l'incitation, ou ne parviennent pas à capturer les valeurs positives de manière appropriée, cette incitation peut être considérée comme mauvaise.

Journal, source: Plush Design Studio, Unsplash

Cet article fournit la première instance de ce type, à savoir l'évaluation des chercheurs avec où ils publient. On peut se demander ce que cette pratique tente d’évaluer et quoi qu’il en soit, les valeurs complexes de la connaissance ne peuvent être mesurées avec des moyens aussi simplistes. La structure dans laquelle cette pratique est maintenue a conféré des pouvoirs excessifs à certaines parties prenantes, ce qui a entraîné un manque de transparence, des politiques inutiles et même des inconduites contraires à l'éthique.

Pourquoi ou

Décrivant la structure des incitations des universités dans un précédent article, il avait été expliqué que les chercheurs évaluaient souvent leur productivité à l'aide de leurs notices bibliographiques, ou de la liste des articles publiés dans des revues universitaires, en combinaison avec «où ils publient» en utilisant Journal Impact Factors. valeur proxy de ce «où». Ce «où» est, bien sûr, un raccourci pour «quelle revue évaluée par des pairs», et plus particulièrement qu'autrement, il suppose des revues incluses dans des index majeurs tels que Web of Science Core Collection (WoSCC) de Clarivate Analytics ou SCOPUS de Elsevier .

À première vue, choisir le lieu de publication peut sembler extrêmement important. En fonction de l'endroit où vous publiez les résultats de votre recherche, le degré de diffusion de votre publication peut être très différent. Autrement dit, si vous choisissez un journal approprié pour votre publication, celui-ci peut être transmis à des centaines, voire des milliers de vos pairs, alors qu'une sélection insuffisante peut ne permettre à personne de votre domaine pertinent de le lire. C’est ce que vous voyiez lorsque vous Google "où publier". (bien sûr, avec beaucoup de ces «guides de bibliothèque» disant qu'il faut savoir si les revues sont indexées dans WoS ou SCOPUS)

Le comité de rédaction de la revue est un autre aspect important à prendre en compte lors du choix de l’emplacement de publication. La fonctionnalité la plus distincte des revues académiques est l'examen par les pairs, le processus scientifique d'examen par des experts sur le terrain. Ce processus d’évaluation par les pairs est géré par les comités de rédaction et les équipes. Ils présélectionnent les manuscrits soumis, choisissent les examinateurs et prennent la décision finale d'accepter, de rejeter ou de suggérer une révision des manuscrits. Comme les différentes revues ont des éditeurs différents, donc des pratiques d’examen différentes, il est probablement très important de choisir une revue digne de ce nom, publiée par des experts de votre domaine faisant autorité, qui possède les compétences nécessaires pour mener à bien l’examen de votre publication.

Pourquoi pas où?

Bien qu’il semble évident qu’il est important de choisir le bon endroit pour publier, cela ne signifie toujours pas que la recherche doit être évaluée en fonction de son lieu de publication. Tout d’abord, on ignore quel type de valeur est capturé. C’est peut-être bien si c’est pour capter l’ampleur de sa diffusion comme décrit ci-dessus. Mais c'est très difficile, à la fois contextuellement et techniquement. Devrions-nous regarder le nombre absolu de personnes uniques qu'un journal atteint? Des sessions uniques et des accès des universités et des instituts? Ce type de numéro sur les revues représente-t-il également le degré de diffusion des publications individuelles? Les revues et les services d’information sont-ils capables de suivre ces statistiques? La réponse est ridiculement, que ce soit oui ou non, le système ne se préoccupe jamais de cet aspect.
(Altmetrics, les statistiques d’utilisation des services d’information en ligne, se rapportent à cet aspect. Il s’agit néanmoins d’indicateurs découlant directement de publications individuelles et non d’où il se trouve.)

Qui décide où?

La valeur saisie avec «où» peut probablement être déduite des critères d'inclusion et des processus d'évaluation des index (critères et processus WoSCC, processus SCOPUS et tableau). Les deux ont en commun des exigences telles que l'enregistrement auprès de l'ISSN et les métadonnées bibliographiques anglais (ou romaines) (résumés, références, etc.) qui jouent un rôle important dans le maintien de toute la base de données propre et gérable. Une autre condition nécessaire est que le contenu des journaux soit soumis à une évaluation par les pairs. Ceci, bien sûr, est positif. Le problème est de savoir comment ils sont montrés. Comme il s'agit d'une condition NECESSAIRE, une revue incluse dans ces index doit être évaluée par des pairs. Mais comment savons-nous quand ils ne prouvent jamais qu'ils le sont? Certaines revues publient des rapports d’évaluation par les pairs avec les publications originales. Faudra-t-il simplement que les fournisseurs d’index vérifient honnêtement les pratiques d’évaluation par les pairs et les éléments de preuve eux-mêmes?

Cela se passe exactement de la même manière avec le reste de ces processus d'inclusion. Au-delà des conditions nécessaires, ils répondent à de nombreux autres critères. Pour en nommer quelques-unes: «Contribution académique au domaine», «Qualité et conformité aux objectifs et à la portée déclarés de la revue», «Classement du rédacteur», «Point de vue inédit» et «Public cible». Celles-ci sont également communes dans les deux index, bien que certaines expressions soient différentes. Ces critères ont tous l’air attrayants et fantaisistes, et encore une fois, la question est de savoir comment ils le font vraiment. D'après leurs explications, tout ce que je constate le plus, c'est qu'ils sont évalués par leurs équipes de rédaction ou leurs conseils d'administration (ne confondez pas cette question avec les éditeurs de revues). Je ne trouve AUCUNE information sur le comité de rédaction de la WoSCC, et la page du comité de SCOPUS donne à 17 universitaires choisis au hasard leurs affiliations, chacune représentant une méta-discipline (17 personnes en charge de «définir» la taxonomie universitaire dans son ensemble, wow). En bref, nous ne savons absolument pas à qui appartient le journal, pourquoi ils devraient être responsables de ce travail ou à quoi ils ont réellement décidé.

Nous parlons d’index d’index. Les articles sont publiés (et donc indexés dans la revue dans laquelle ils sont publiés) dans des revues éditées par les experts sur le terrain. À ce stade, nous sommes un peu détendus, car de nombreuses pages Web de revues fournissent des informations sur leurs comités de rédaction. * Ces revues sont ensuite méta-indexées dans des bases de données bibliographiques comme WoSCC ou SCOPUS, éditées par des personnes aléatoires, où nous sommes complètement perdus. qui ils sont et ce qu'ils ont fait. Considérant le fait que ces index sont utilisés dans de nombreuses décisions universitaires comme critères d’évaluation, nous laissons certaines entreprises commerciales décider où les universitaires devraient soumettre leurs articles pour qu’ils soient considérés comme des «connaissances scientifiques» aux opérations obscures. Je me demande fortement si c’est ce que la science est censée être.
(* Voir, par exemple, celui de Lancet. Personnellement, je considère que beaucoup d'informations sur les éditeurs sont une exigence minimale.)

Capturer l'impact

Peut-être que la réponse est mieux représentée avec le nombre principalement utilisé comme proxy pour ceci: Journal Impact Factors (JIF). Aussi évident que son nom l'indique, il semble que les FIJ évaluent l'impact des revues. Laissant le doute sur la signification de cet impact, il semble que l'impact des revues soit fortement lié aux citations, les FI étant calculés à l'aide des graphiques de citation. (JIF est le nombre moyen de citations reçues par les publications de la revue d’intérêt au cours des deux années précédentes de toutes les publications de l’index de cette année. Voir Wikipedia pour plus de détails.)

Impossible de tuer plusieurs oiseaux avec une pierre plate

C'est en effet déroutant ce que signifie cet impact. Une chose que nous pouvons dire clairement. Cela signifie une citation moyenne. Qu'il s'agisse d'impact, de valeur, d'avancement, de contribution ou autre, une métrique simpliste et unique ne peut (et ne doit pas) représenter les aspects complexes et divers de la connaissance. De plus, les processus d’inclusion par index illustrent bien la contribution au domaine, ses objectifs, son champ d’application, sa conformité et sa qualité, son statut, l’originalité des idées, son public, son éthique, sa transparence… pour ne nommer que très peu d’entre eux. Personne ne trouvera jamais un moyen de capturer ces valeurs avec une seule métrique.

L'utilisation d'une métrique simpliste et unique cause un préjudice grave au monde universitaire: elle conduit à la loi du pouvoir *. Formulée par Robert Merton comme “Matthew Effect”, cette loi de puissance est bien décrite par l'expression “Les riches s'enrichissent, les pauvres s'appauvrissent”. Cette loi du pouvoir dans le monde universitaire est indésirable pour deux raisons principales. i) Les jeunes chercheurs en début de carrière ont moins d'opportunités. ii) Peu de personnes aberrantes ont plus d'autorité que la communauté, ce qui va à l'encontre du «scepticisme organisé» de la science moderne. La science est réalisée par un examen minutieux effectué par des pairs et non par les autorités de quelques-uns.
(* Les preuves de cette loi de puissance incluent: les prix, les lois de Lotka, de Zipf et de Bradford)

“Où” ne remplace jamais “Quoi”

Outre les préoccupations relatives à l'utilisation d'une seule mesure, il existe des critiques sur le FJI lui-même. Surtout, comme il est calculé à partir de citations, il hérite de la plupart des critiques sur les citations. Par exemple, les citations peuvent être jouées, les comptes réels peuvent varier de manière significative en fonction de l'indice de citation utilisé et, plus important encore, les comptes de citation ne représentent pas la valeur d'une publication. Il en va de même pour les FI. Plus de détails sur ce point seront traités dans un post ultérieur traitant de Citations.

Il convient également de noter que les FIJ ne doivent pas être utilisés pour évaluer des publications individuelles. La signification de moyenne est généralement interprétée comme une mesure prédictive, mais il est signalé que vous ne pouvez pas prédire les citations d’une publication dans une revue avec son FJI. Ceci est principalement dû à la distribution asymétrique des citations. Les JIF sont très affectés par les valeurs aberrantes. Supposons que nous ayons un journal avec JIF = 40, que nous choisissions des publications au hasard pour voir le nombre de citations, et que nous verrons probablement des nombres beaucoup plus petits que 40. Décrivant cette mise en garde, Nature Materials a suggéré dans un éditorial que les journaux étaient mieux à même de divulguer leurs distributions de citations.

Plus important encore, la valeur d'une publication est Universal (U de CUDOS). Cela ne devrait pas changer où il est placé. Vous avez expérimenté A, collecté le jeu de données B, analysé avec la méthode C, obtenu le résultat D. Que vous le mettiez sur votre flux Facebook, le tweetiez, le blogiez, le publiiez ou le publiez dans un journal au format JIF exorbitant, sa valeur ne ne change pas.

Puissance écrasante

À mesure que les chercheurs sont évalués en fonction de leur lieu de publication, certains acteurs en relation avec ce «où» peuvent exercer une grande influence sur le monde universitaire. Comme décrit ci-dessus, à peu près la définition virtuelle de la science (ou «où il faut publier pour être considéré comme une science») est contrôlée par quelques fournisseurs d'index.

Les éditeurs et les revues acquièrent également un pouvoir faisant autorité. Comme la plupart des revues ont des décisions binaires sur les manuscrits soumis (c'est-à-dire accepter ou refuser), les chercheurs sont soumis à cette décision. De nombreux éditeurs et revues ne «prennent pas officiellement en charge l’archivage» * (c’est-à-dire les préimpressions et les référentiels). Il existe des sites alternatifs à publier qui peuvent prendre en charge l’archivage, mais les chercheurs sont toujours enclins à ne pas utiliser de pré-impressions si une revue à fort impact de leur domaine ne le soutient pas. C’est la seule chose qui empêche les chercheurs d’archiver leurs archives avant la publication et de changer de sens, c’est pourquoi les éditeurs et les revues peuvent décider de ne pas le soutenir.
(** Selon SHERPA / RoMEO, 487 éditeurs sur 2566 (19%) ne «soutiennent pas officiellement l'archivage». L'extension de cette statistique au niveau de la revue augmentera certainement la part. *)

Dépassement de publication

Les éditeurs dotés d'un pouvoir faisant autorité peuvent conduire à davantage de publications plutôt qu'à des connaissances meilleures et robustes. Le modèle commercial de la plupart des éditeurs recueillant des bénéfices par le biais d’abonnements et d’APC (les auteurs paient ces frais lorsqu’ils soumettent des manuscrits pour l’Open Access), il est donc évident qu’ils préféreraient davantage de publications. Cela peut ne pas être vrai au niveau de chaque journal, car davantage de publications peuvent réduire le JIF. (c’est le dénominateur) Mais au niveau des éditeurs, cela peut être coordonné en augmentant le nombre de publications tout en générant plus de citations dans leurs revues. En effet, le nombre total de publications a considérablement augmenté depuis des décennies, mais il faut se demander si cela a également permis d’améliorer la connaissance.

Risques moraux

Un autre inconvénient est que les éditeurs et les revues peuvent influer sur l’orientation générale des communautés et des tendances de la recherche. Comme discuté dans l'article précédent, ils ont tendance à définir des politiques susceptibles d'accroître le FIJ, telles que l'acceptation de revendications accrocheuses, à la mode, voire erronées et le rejet d'études incrémentielles, négatives ou répliquées.

Pire encore, les inconduites qui visent à augmenter la métrique. Les revues, en particulier ses éditeurs, peuvent forcer les auteurs auteurs de la soumission à citer des articles dans cette revue. Les rédacteurs et les auteurs entourant plusieurs revues peuvent former des cartels de citations, dans lesquels ils citent les articles des autres pour augmenter délibérément l’impact de chacun. Ces mauvaises pratiques ne sont pas seulement mauvaises car elles sont contraires à l’éthique, elles déprécient davantage la fiabilité du JIF en tant que métrique. En tant que tels, ils contaminent l'ensemble de la littérature, générant des citations moins pertinentes, voire parfois dénuées de sens, dans les publications. En fin de compte, ils détériorent la confiance dans le monde universitaire.

Améliorer, ne pas décourager

Il restera toujours des aspects discutables sur le partage des résultats de recherche. En tant que partie essentielle de la communication scientifique, la diffusion de contenus scientifiques implique toujours le transfert d'informations de recherche précieuses d'un joueur à un autre. En outre, l’évaluation par JIF (ou le lieu où ils publient) présente cet avantage par rapport au nombre de citations, à savoir que les citations pour une publication individuelle prennent beaucoup de temps, alors qu’un proxy avec le journal peut être utilisé immédiatement. Néanmoins, les pratiques actuelles d'évaluation des chercheurs et de leur contenu en fonction de l'endroit où ils publient devraient être améliorées.

Alors qu’une métrique simpliste pose des questions sur ce qu’elle capture, il convient d’examiner des moyens plus complets permettant de mieux saisir divers aspects des connaissances. Il faut toujours tenir compte du fait qu’une connaissance et sa valeur ne changent pas en fonction de l’endroit où elle est publiée, tout en rappelant qu’il est toujours important de se demander à qui elle sera communiquée.

Des fautes peuvent être commises par un petit nombre d'acteurs disposant d'un pouvoir d'autorité trop important et d'intérêts bien loin de générer une connaissance réelle. En particulier, la transparence est impérative pour ne pas laisser le fonctionnement opaque d’un petit nombre d’acteurs à but lucratif décider de ce qui sera considéré comme de la recherche.

NEXT UP

Dans le prochain article, nous discuterons d'un autre exemple d'incitatif défavorable, sur l'utilisation du nombre de publications comme critère d'évaluation, le problème le plus important de «publier ou périr».

Merci toujours pour votre soutien, et s'il vous plaît CLAP & PARTAGER l'histoire avec vos pairs, amis et familles pour inviter plus de discussion.

[Série de Pluton] # 0 - Universités, Fxxked Up Structural
[Série Pluto] # 1 - La recherche, l'industrie créatrice de connaissances
[Série Pluto] # 2 - Universités, édition et communication savante
[Série Pluto] # 3 - Publier, mais périr vraiment?
[Série de Pluton] # 4 - Publier ou périr, et perdu en vain
[Série Pluto] # 5 - Où ils publient
[Série Pluto] # 6 - Sur le nombre de publications
[Pluto Series] # 7 - Fondements de la citation
[Pluto Series] # 8 - Sur les pratiques de citation
[Série Pluto] # 9 - Sur les citations de suivi
[Pluto Series] # 10 - Sur les revues de pairs
[Série Pluto] # 11 - Fin de la série

Réseau Pluton
Page d'accueil / Github / Facebook / Twitter / Telegram / Medium
Scinapse: moteur de recherche académique
Email: team@pluto.network