EERQI
Aujourd’hui, j’ai assisté à une journée d’étude organisée par l’URFIST Paris (atelier « évaluation et bibliométrie »), au cours de laquelle ont été présentés les résultats d’une recherche portant sur l’évaluation qualitative de la recherche en Europe. Son titre est EERQI : european educational research quality indicators.
Cette approche a la particularité de tenter d’utiliser les ressources de l’analyse sémantique pour mieux évaluer les publications en sciences humaines. Ils ont travaillé sur un corpus de publications en sciences de l’éducation et c’est Emmanuelle Picard qui m’a signalé l’existence de cette présentation, assurée par Stefan Gradmann, professeur de sciences de l’information et de la communication à l’Université Humboldt de Berlin.
C’est un programme européen financé dans le cadre du 7e PCRD qui a duré 3 ans et a rassemblé 19 participants venant de 6 pays d’Europe du Nord : des sociétés savantes (EERA, BERA, SSRE), des laboratoires, des éditeurs, des centres de calcul, des bibliothèques, etc. En France, c’est l’INRP qui était le partenaire. Pour le côté informatique, ce sont plusieurs centres de recherche en bibliométrie et en informatique qui ont pris en charge cet aspect. A noter la participation du laboratoire de recherche Xerox à Grenoble, pour le TAL.
Les objectifs : le développement de nouveaux modules pour l’identification et l’évaluation de la qualité de la recherche ; une plateforme prototype intégrée, multilingue et opérationnelle, un moteur de recherche, et un test de transmissibilité à d’autres disciplines (sciences politiques en particulier)
Ils sont partis du problème de base de l’inadéquation des bases bibliographiques et des métriques STM pour l’évaluation des publications en SHS. Leur réflexion ne porte pas seulement sur les méthodes d’analyse, mais surtout sur les sources de données.
Ils sont partis d’une base locale de 5000 documents venant des éditeurs partenaires : tous types de documents, qu’ils ont élargis à 42000 documents crawlés sur le web. Grosse déception pour eux : les éditeurs ne leur ont pas transmis de XML, mais des pdf et du HTML, donc, des documents non structurés.
L’objectif du programme est de repérer les publications de qualité en sciences de l’éducation. Leur approche repose sur la distinction entre des indicateurs de qualité intrinsèques et extrinsèques.
C’est Xerox qui a commencé à appliquer des systèmes d’analyse sémantique sur les publications en informatique : ce qui a très bien marché car ce sont des publications très formalisées. L’application aux corpus en SHS est beaucoup plus compliquée car les structures de citation sont beaucoup plus diffuses.
Leur méthode : identification indirecte des indicateurs par approximation de classement d’articles sur la base de la comparaison des indicateurs intrinsèques et extrinsèques. Si vous n’y comprenez rien, c’est normal ; il vous manque les informations détaillées.
L’équipe a commencé en dressant la liste de tous les indicateurs possibles pour établir des classements d’articles : grade de l’auteur, affiliation institutionnelle de l’auteur (sont de très mauvaise qualité dans les bases de l’ISI), la présence de caractéristiques structurelles (résumé, notes, bibliographie), les caractéristiques de la plateforme de publication (peer review, facteur d’impact, réputation de la revue ou de l’éditeur, l’impact international), parmi d’autres. Au bout d’un moment, ils ont commencé à distinguer des indicateurs intrinsèques et des indicateurs extrinsèques :
Intrinsèques : rigueur (intellectuelle), originalité, importance (significance), intégrité (respect de la propriété intellectuelle, codes éthiques et déontologiques), style (communication en accord avec l’audience, structuration) Style et intégrité ne seront pas finalement retenus car non fiables, c’est-à-dire trop difficiles à établir de manière objective.
Extrinsèques : toutes les mesures d’usages et d’impact telles qu’on peu les voir via Google Scholar (qui vient en premier car le plus riche en sciences de l’éducation), Scopus, mais aussi les réseaux sociaux scientifiques (CiteULike, Connotea, Mendeley), ou encore le Web impact.
Pour constituer la base documentaire, ils ont conçu un crawler basé sur Nutch qui s’appelle aMesure. Cet outil est capable de détecter l’autocitation, mais aussi de classifier automatiquement les publications dans les domaines disciplinaires (ici, sciences de l’éducation donc) par apprentissage du robot par analyse sémantique.
Ils ont ensuite regroupé les indicateurs en les pondérant et les ont utilisés pour fabriquer un modèle mathématique permettant de classer les articles. L’objectif est d’aboutir à des classements similaires à ceux produits par les humains.
L’exploitation repose sur une méthode « approximative » en trois étapes :
1. Evaluation humaine sur indicateurs intrinsèques sur 100 articles. On compare et on établit une corrélation avec le classement issu de l’utilisation des indicateurs extrinsèques.
2. Ensuite, on établit une liste automatique sur la base des indicateurs intrinsèques au moyen d’algorithmes d’analyse sémantique et on recompare avec les indicateurs extrinsèques pour déterminer une corrélation.
3. On cherche à déterminer un indice de corrélation.
Le projet est en train de finir de travailler sur la corrélation décrite en 1, si j’ai bien compris. En fait, ils n’ont pu aller beaucoup plus loin car les outils d’analyse sémantique se sont ensablés dans les pdf non structurés : impossible de repérer les citations, les références et finalement de quelconques régularités. A plusieurs reprises, l’orateur s’est plaint du manque de coopération des éditeurs qui ont transmis des données de mauvaise qualité et n’ont pas non plus voulu transmettre leurs statistiques de consultation. Cela a manifestement constitué un obstacle au projet.
Pour ma part, j’ai trouvé le projet intéressant sur bien des aspects : si le laboratoire Xerox de Grenoble disposait d’articles plus et mieux structurés, tout un ensemble d’analyses sémantiques pourraient effectivement être faites sur la construction intellectuelle du raisonnement dans les articles, sur les usages des références et des citations, sur les moyens d’administrer la preuve, bref, sur l’écriture en sciences humaines et sociales, plutôt que pour simplement classer des articles, ce qui personnellement me passionne assez peu.
OpenEdition vous propose de citer ce billet de la manière suivante :
- (15 décembre 2010). EERQI. Blogo-numericus. Consulté le 19 janvier 2025 à l’adresse https://doi.org/10.58079/m331
Le paragraphe qui conclut cet excellent compte-rendu me paraît essentiel. Il paraît hautement souhaitable de développer des systèmes approchant l’analyse méthodique de la construction intellectuelle du texte en SHS. Aujourd’hui, s’efforcer de rapprocher artificiellement l’évaluation et la caractérisation SHS de la bibliométrie STM me semble intellectuellement malhonnête et source de temps perdu. Merci, Pierre, pour cette synthèse clairvoyante.