Accès ouvert et évaluation de la recherche

open-access-et-evaluation-de-la-recherche-vers-un-nouvel-ecosysteme-avec-images-tweets-%c2%b7-openeval-%c2%b7-storify

J’étais invité comme « grand témoin » au passionnant colloque « Open access et évaluation de la recherche » qui s’est tenu à Toulouse la semaine dernière. Voici les notes que j’ai prises pour l’introduction dont j’avais la charge  vendredi matin.

***

« Il y a un problème particulier avec les SHS »

J’ai une très mauvaise nouvelle, et une bonne nouvelle, à partager avec vous. La mauvaise nouvelle, c’est que les sciences humaines et sociales n’ont aucun impact. Pardon. Aucun facteur d’impact. Pardon à nouveau. Elles sont exclues du facteur d’impact car elles sont exclues du Web of sciences (WOS), service produit par une société appartenant désormais à Onex Corporation et Baring Private Equity Asia. La preuve : la plus grande revue de SHS, les Annales, n’est pas dans le WOS. C’est aussi le cas de la revue Études photographiques, qui est pourtant, elle aussi, une référence incontournable dans son domaine. En revanche, on y trouve les magazines de kiosque Historia et Positif1. Cela produit un effet assez particulier, comme l’a dit hier notre collègue hier : « il y a un problème particulier avec les SHS« . En fait, ce ne sont pas les SHS qui ont un problème. C’est plutôt le WOS qui a un problème avec les SHS. Ou plutôt, un problème avec les SHS qui ne sont pas anglo-américaines. Ou plutôt, je me dois de préciser progressivement, un problème avec des titres qui ne constituent pas un marché assez rentable pour prendre le temps de faire le ménage dans cette base médiocre. Quand on se plaint auprès du WOS, on nous répond d’abord : « Avez-vous une bonne raison scientifique de ne pas écrire en anglais ?« . De quoi je me mêle? Si on insiste, surtout en public, la réponse évolue sous la forme : « Vous avez raison, nous devons vous intégrer dans le WOS, on va vous faire un « index » régional rien que pour vous (au passage, vous n’aurez pas de facteur d’impact, et nous pourrons vendre une base de données supplémentaire)« . Ma réponse est très simple : nous ne souhaitons pas être parqués dans une réserve d’indiens. Vous avez déjà fait le coup à d’autres. Ca ne marchera pas cette fois.

Nous sommes des survivants

Maintenant, j’imagine que vous avez envie d’entendre la bonne nouvelle. La bonne nouvelle, c’est que les SHS sont toujours debout. Elles ont survécu à l’absence du WOS et du facteur d’impact. Du coup, sans le WOS et sans son facteur d’impact, nous avons réussi à produire un peu d’intelligence du monde -rendez-vous compte!- Georges Duby, Michel Foucault, Pierre Bourdieu, Bruno Latour, Patrick Boucheron, Arlette Farge, Natalie Zemon Davis, Michelle Perrot, … Tout ça, sans facteur d’impact, figurez-vous. J’en déduis que le Facteur d’impact n’est pas précisément l’oxygène nécessaire à la science et qu’il est situé à sa périphérie, pas à son centre2. J’en déduis aussi que si nous n’avons pas de facteur d’impact, nous avons quand même un impact. Et que nous pouvons laisser tomber le facteur. Je ne vous parlerai pas des 64 millions de visites sur OpenEdition… Et puis si, je vais vous en parler, car hier certains ont dit que « les SHS comment lentement à se mettre à l’accès ouvert », et il faut poursuivre l’effort pédagogique.

Et si PLoS quittait le WOS ?

Concernant toujours le facteur d’impact (FI), au vu de la victoire éblouissante de PLoS et de sa flotille de revues, je crois qu’ils sont les seuls à pouvoir changer quelque chose politiquement et symboliquement. Ils ont fait la preuve qu’ils pouvaient truster de bonnes places dans le WOS. Ils sont légitimes pour dénoncer le FI et décider d’en sortir. Publiquement. Fortement. Allez, encore un effort. Cela pourrait inciter les politiques à saisir le problème. Car oui, le problème n’est pas que les SHS soient hors du FI, mais qu’une partie très datée des revues de STM (Sciences Techniques Médecine) qui y soient présente. Cela dit, je dis cela, je ne dis rien : nous, nous sommes immunisés contre le facteur d’impact, celui qui fait et fait les carrières dans beaucoup d’universités.

Le lecteur inattendu

Nous sommes immunisés contre le facteur d’impact, mais pas contre l’impact. On a parlé de sleeping beauty, ces articles parus dans l’indifférence générale, puis ressurgissant dans les citations des chercheurs, quelques années ou quelques décennies plus tard3. On peut aussi parler de lecteur inattendu. Le lecteur inattendu est ce lecteur que personne n’avait prévu de voir arriver sur un article scientifique ou un billet de blog. Je prendrai un seul exemple, celui du billet paru en 2012 sur le carnet de recherches de l’IFPO : La représentation figurée du prophète Muhammad. Ce billet apporte des éléments largement connus par les spécialistes du Coran, mais mal diffusés dans la société :  « Contrairement à une idée reçue fort répandue dans les milieux musulmans et non musulmans, le Coran n’interdit en aucune manière la représentation figurée, celle des hommes pas plus que celle des animaux.  ». Au début, ce billet trouve son public, avec entre 100 et 500 accès par mois, ce qui est déjà très intéressant (figure 1).

lecteur-inattendu-before

Figure 1. Nombre de visualisations/téléchargement par mois (2013-2014)

Puis, il se passe quelque chose. En janvier 2015. 113241 accès au même document. Le document lui-même n’a pas changé, il reste toujours le même document produit depuis Beyrouth par l’Institut français du Proche-Orient. Mais la société, elle, a changé. Les attentats de janvier 2015 en France sont passés par là… Je ne commenterai pas plus.

lecteur-inattendu-after

Figure 2. Nombre de visualisations/téléchargement par mois (2013-2016)

Evaluation ouverte ?

La tentation est forte, pour les sciences humaines et sociales, de dire qu’elles sont à la traîne des autres disciplines. On peut discuter de ce point à l’infini. Sur les innovations en cours de développement ou d’expérimentation dans le domaine de l’édition scientifique, par exemple l’accès ouvert ou l’évaluation ouverte, on a tendance à se flageler en disant que les SHS sont encore « en retard » (drôle de notion d’ailleurs, nous devrons un jour revenir sur celle-ci). Hier, Julien Bordier a montré que les SHS s’intéressaient à l’évaluation ouverte et menaient des expériences riches dans ce domaine.

Évaluation ouverte par les pairs : bilan de l’expérience

Open peer review: from an experiment to a model

Mais je voudrais reprendre ici l’idée avancée hier par Didier Torny. Il a rappelé que nous faisons, en SHS, de l’évaluation ouverte par les pairs depuis deux ou trois siècles, sous la forme du compte-rendu de lecture. Exercice très codifié et reconnu, dont pourraient s’inspirer les STM 😉 Sur OpenEdition, la revue la plus consultée est précisément une revue de comptes-rendus. Elle s’appelle Lectures. D’une façon plus générale, nous dénombrons sur OpenEdition au moins 55 000 comptes-rendus. Ces instruments de débats sur les publications sont au coeur du processus de discussion des hypothèses, des méthodes et des résultats de nos disciplines.

La stratégie du sauna finlandais

Je ne peux pas terminer sans évoquer, même rapidement, la question de la composition des comités d’évaluation. Car, même en accès ouvert, et même dans une communauté ouverte, l’évaluation est déterminée par la composition des instances d’évaluation. Ce point est rarement abordé, mais il mérite un coup de projecteur. Je m’appuierai ici sur une petite étude que j’ai menée en 2013.

Je suis parti de l’hypothèse que la communauté des humanités numériques, qui a pu construire le Manifeste des humanités numériques, est probablement une des communautés les plus ouvertes de la planète. Je me suis intéressé au colloque DH2012 à Hambourg. Le colloque « Digital humanities » a lieu tous les ans, dans un continent différent. Il réunit 600 personnes environ. Cette étude a été publiée dans une revue canadienne, Digital studies / Le champ numérique. Je passe sur les détails pour en venir à la conclusion. J’ai comparé la population des chercheurs qui considèrent qu’ils appartiennent au monde des humanités numériques avec la population des chercheurs qui ont évalué les soumissions pour DH2012. Et j’ai produit le DHDP, DH Decision Power, un indicateur très simple. C’est, en gros, la probabilité d’être expert pour DH2012 si vous vous considérez comme membre de la communauté DH. Donc avoir un DHDP de zéro, ça veut dire que votre probabilité d’être évaluateur est nulle. Un taux de 50%  signifie que vous avez une chance sur 2, etc. Bref, ici, on est théoriquement dans un monde ouvert. Mais on voit bien des mécanismes géopolitiques à l’oeuvre, et il y a des gens qui seront moins égaux que d’autres devant l’évaluation, je vous l’assure… J’utilise la métaphore du sauna finlandais pour indiquer que nous ne partons pas avec les mêmes chances au départ, et qu’il faut imaginer un système de compensation de handicap (des quotas géographiques ?) ou un système de handicap pour ceux qui s’expriment en anglais dans leur langue natale. [EDIT] Dans les championnats du monde de sauna, compétitions qui sont aujourd’hui interdites, il est évident que les Finlandais avaient un avantage, et les Français, Américains ou Espagnols avaient un handicap. Même les Russes partaient avec un handicap, même s’ils parvenaient à rivaliser avec les Finlandais. C’est un modèle de ce type auquel il faudrait penser pour l’évaluation des papiers aux conférences DH. L’autre modèle pourrait être un modèle de quotas. En tout cas, le statu quo n’est pas une bonne option. [/EDIT]

Carte 8. Le DH Decision Power en 2012

Le DH Decision Power en 2012

Questions

Voici les questions que je propose comme axes de réflexion au long de cette journée :

  1. Comment peut-on réinventer l’écosystème dans lequel fonctionne la recherche scientifique ?
  2. Comment promouvoir la bibliodiversité y compris dans le domaine de l’évaluation ?
  3. Comment récompenser les bonnes pratiques, c’est-à-dire comment peut-on encourager l’ouverture vs la fermeture ? Les technologies narcissiques seront-elles les alliées de l’ouverture4 ?

Les tweets échangés lors de ces deux journées ont été regroupés.

 

  1. données collectées en 2013 pour le colloque Berlin 11, mais cela n’a pas dû bouger en profondeur []
  2. Jean-Claude Guédon a écrit le meilleur texte sur cette question il y a bien longtemps, et je vous invite à le lire : Guédon, Jean-Claude. In Oldenburg’s Long Shadow: Librarians, Research Scientists, Publishers, and the Control of Scientific Publishing. ARL, 2001. http://www.arl.org/component/content/article/6/2598. []
  3. au sujet des sleeping beauties, lire Raan, Anthony F. J. van. « Sleeping Beauties in Science ». Scientometrics 59, no 3 (s. d.): 467‑72. doi:10.1023/B:SCIE.0000018543.82441.f1. []
  4. Wouters, et R. Costas. « Users, narcissism and control – tracking the impact of scholarly publications in the 21st century ». SURFfoundation, 2012. http://sticonference.org/Proceedings/vol2/Wouters_Users_847.pdf []

Marin Dacos

Marin Dacos (CNRS) is the founder and director of OpenEdition. He has been awarded two Google Digital Humanities Research Awards (2010 and 2011) and the CNRS Innovation Medal (2016). He is scientific advisor for open science to the director-general of research and innovation at the Ministry for Research (France).

More Posts - Website

Follow Me:
Twitter

Marin Dacos

Marin Dacos (CNRS) is the founder and director of OpenEdition. He has been awarded two Google Digital Humanities Research Awards (2010 and 2011) and the CNRS Innovation Medal (2016). He is scientific advisor for open science to the director-general of research and innovation at the Ministry for Research (France).

Vous aimerez aussi...

1 réponse

  1. 27/01/2017

    […] vs la fermeture ? Les technologies narcissiques seront-elles les alliées de l’ouverture4 […]

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *