Prix du meilleur poisson d’avril scientifique

"Just Hanging around", CC par Immagina

Le prix du meilleur poisson d’avril scientifique est dédié à Digital Humanities Quartely, une des principales revues dans le secteur des Humanités numériques. J’ai conscience que ça ne fera rire que le petit milieu universitaire, mais il est symptomatique d’une situation dans laquelle les classements, les évaluations et le système de valeur de l’université semblent glisser vers une robotisation aveugle, alors que le numérique offre des perspectives d’humanisation, d’individualisation et d’affinement de la boîte à outils du chercheur et de la recherche. La revue DHQ, dans son annonce-gag, promeut quatre méthode aveuglement quantitatives pour sélectionner les articles :

  1. étude de similarité stylistique avec les « meilleures » revues, de façon à s’assurer que rien ne changera, que tout va pour le mieux dans le meilleur des mondes ;
  2. étude quantitative de la longueur des phrases et des mots, afin de classer les articles en fonction de leur lisibilité. Les responsables de la revue ajoutent un « proprietary DHQ readability index », aux antipodes de la tradition d’ouverture des Humanités numériques ;
  3. étude stylistiques permettant de s’assurer que l’auteur jargonne bien, sur la base de l’identification de termes techniques et concepts spécialisés ;
  4. étude des pratiques de citations : pour être publié, l’auteur devra citer les auteurs les plus cités, de façon à ce que la boucle soit bouclée, et que les auteurs les plus cités restent au sommet du top ten pour les siècles à venir.

Voici une façon décontractée et amusante de prendre position pour le retour de l’humain dans les pratiques éditoriales et scientifiques mondiales. A bon entendeur. Voici l’annonce dans sa totalité, initialement diffusée sur la liste Humanist :

Digital Humanities Quarterly is pleased to announce a move to Peer Review with Advanced Technology (PRAT): a new computational peer review system based on text analysis.

This new approach to peer review will enable DHQ to process vastly increased numbers of submissions, speeding up time to publication and ensuring consistency of review criteria, compared with results from human peer reviewers.

This move comes at a time when peer review mechanisms are coming under close scrutiny, as journals and other online publications experiment with alternatives to traditional peer review. DHQ has considered a variety of models, including crowd-sourced peer review based on reader comments, but we have determined that these require too great an investment of time and create unacceptable delays in production. Our new text-analysis-based method will eliminate human reviewers altogether and assess submissions based on a set of measures that may include:

1. Stylistic similarity to articles in the highest tier of citation rankings in a selected set of major journals, using state-of-the art measures that focus on vocabulary choice and patterns of clause construction.

2. Average and maximum word length, sentence length, and clause length. Submissions will be scored in all three categories and the results will be compared with a proprietary DHQ readability index to determine the submission’s suitability for publication. The highest-scoring articles will be published in a special « Expert » column.

3. Frequency of high-value technical terminology. Terms from specific domains will be weighted dynamically, based on current measures of usage of those terms in high-ranking peer journals, to ensure that DHQ’s published articles keep pace with the changing patterns of technical jargon in the broader community. For special issues, terms from specific topic areas will be given extra weight to ensure that submissions are related to the issue’s subject area.

4. Rate of citation of the most highly cited references in digital humanities. Submissions that cite the most highly cited references (or articles citing those) will be more highly ranked. Over time, we anticipate that this mechanism if properly used could result in the DHQ article corpus achieving complete self-referentiality.

The new system goes into effect with the special issue « From Lemons to Lemonade: Learning from project failures in the Digital Humanities », to be published on April 1.

Best wishes, Julia, Melissa, and Wendell

Julia Flanders
Melissa Terras
Wendell Piez
General Editors, DHQ


Vous aimerez aussi...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *