Compte rendu de la réunion "bibliométrie" à l’AERES, par Christophe Mileschi, président de la SIES

Le 19 septembre, dans les locaux de l’AERES à Paris, s’est tenue une réunion convoquée par notre collègue Ronald Shusterman (Université Paul Valéry-Montpellier 3), concernant l’établissement d’une liste de revues et leur classement en trois catégories qualitatives (A, B, C). Étaient présents des représentants des sections 11, 12, 14 et 18 du CNU (présidents et/ou vice-présidents), ainsi que des représentants de plusieurs Sociétés Savantes (SHF, AGES, SAES…), dont Jean Viviès (président de la SAES, section 11), Françoise Lartillot (présidente de l’AGES, 12), Geneviève Champeau (présidente de la SHF, 14) et moi-même. Cette réunion faisait suite à une réunion précédente, en juin dernier, à laquelle je n’avais pas été convié. Si l’oubli a été réparé, c’est grâce à notre collègue Alfredo Perifano, qui préside la section 14 du CNU, et auquel j’adresse mes remerciements au nom de la SIES.

Les enjeux de cette réunion étaient de première importance. Je les rappelle succinctement. La liste et le classement des revues sont destinés à fournir un outil aux experts mandatés par l’AERES pour l’évaluation des Centres de recherche, notamment pour déterminer le pourcentage de « chercheurs publiants ». Un enseignant-chercheur publiant doit faire état de 2 publications au moins de rang A en quatre ans. Les revues classées B seraient cependant traitées à égalité avec celles qui sont classées A. Les publications dans des revues classées C seraient en revanche prises en compte comme valant une demi-publication. Quant aux publications « hors-liste », elles seraient évaluées au coup par coup par l’expert, mais ne pourraient évidemment valoir plus qu’une publication dans une revue nominée.
La base de travail consistait en une liste dite ERIH (« European Reference Index for the Humanities »), où n’apparaissait aucune revue italianiste française. Pour l’anecdote, la revue Studi danteschi était classée A, tandis que Studi leopardiani était classée C. Sauf à penser que les dantistes sont notoirement plus savants et sérieux que les léopardistes, on peut je crois y déceler un effet de la googuelisation du réel.

Ronald Shusterman a ouvert la réunion en rappelant quelques points. 1. La comptabilisation de la part de chercheurs publiants dans les Centres de recherche adviendra, cela n’est pas négociable, l’AERES ayant pour mission de définir les critères ; 2. Établir un classement officiel des revues n’est pas une obligation ; 3. Tous les autres domaines disciplinaires ont cependant décidé de le faire, sauf le nôtre ; 4. l’objectif de la présente réunion est de dégager un consensus sur les critères permettant de définir le statut de chercheur publiant ; 5. il est proposé de distinguer entre revues qualifiantes et revues non qualifiantes.

Patrice Bourdelais, historien EHESS et nouveau coordinateur SHS à l’AERES, se dit conscient des limites d’une évaluation quantitative, mais en affirme tout de même l’intérêt. Il souligne l’autonomie de chaque discipline, mais qu’elle doit être conciliée avec une homogénéisation des pratiques (« comparabilité »). Il précise que le taux de publiants d’un Centre de recherches n’est pas le critère unique d’évaluation, mais qu’il s’inscrit dans un ensemble comportant quatre volets : 1. excellence scientifique ; 2. notoriété internationale ; 3. gouvernance (gestion de l’unité) ; 4. dynamique de l’unité (avenir, nombre de doctorants ; etc.). Quant aux publications, leur intérêt sera mesuré à l’aune de ce qu’elle apportent de nouveau, de ce qu’elles « font bouger ». Pour l’évaluation de la vague A, il sera tenu compte de ce que les chercheurs eux-mêmes indiqueront comme novateur dans leurs publications.

Après l’examen d’un cas pratique (fictif), le débat s’est ouvert. Deux positions se sont exprimées : 1. établissement d’une liste, mais sans classement ; 2. refus d’établir une liste. Dans un cas comme dans l’autre, le principe du classement a fait l’objet de dures critiques.

Voici en substance les points que j’ai soulignés dans mon intervention :

• Point positif de cette réunion : ouvrir à des échanges, à une réflexion sur nos pratiques. On entrevoit par exemple la possibilité de prendre en compte des travaux qui, à l’heure actuelle, n’ont aucun poids dans l’évaluation de la recherche (traductions).

• Extrême difficulté de hiérarchiser un domaine dont toute la richesse est dans sa variété. Un article sur le rap trouvera moins aisément place qu’un autre dans les revues « prestigieuses », sans que cela signifie que sa portée gnoséologique est moindre.

• Risque, par conséquent, d’une « homologation » qui est l’exact contraire de ce dont la recherche a besoin.

• Le foisonnement, une part de désordre relatif, de « bruit », sont nécessaires à la recherche (à la science, à la pensée). Car, entre autres raisons, ce qui est bruit aujourd’hui peut devenir signifiant demain.

• Membre d’une Commission du Centre National du Livre, qui évalue chaque année plusieurs centaines de demandes de subvention, je n’ai jamais entendu quiconque avancer qu’un projet porté par une « grande » maison d’édition fût bon a priori, ni qu’un autre fût moins bon par avance parce que présenté par une maison petite, ou inconnue, ou venant tout juste de se créer. L’expérience prouve que d’excellents projets, audacieux et nécessaires, sont le fait de maisons d’édition n’ayant pas pignon sur rue.

• Ce constat peut être appliqué aux revues où nous publions. Nous avons tous pu constater que d’excellentes revues comptent pourtant des publications qui, sans être détestables, ne sont pas nécessairement une avancée majeure dans nos champs de réflexion. Et, inversement, que des revues moins connues présentent fréquemment des articles de haute tenue.

• L’adoption d’une liste et d’un classement risque de faire la part trop belle aux réseaux, aux relations, au « copinage ».

• En tout état de cause, faire cette liste et la hiérarchiser serait un travail absolument énorme, demandant des moyens humains et financiers, et beaucoup de temps. Au CNL, chacun des dossiers est confié à un ou plusieurs experts, rétribués, puis examiné par une Commission de 20 membres ou plus. Dresser et classer une liste de revues sans ces moyens, comme cela est en train de se faire, ne peut qu’aboutir à un résultat caricatural et arbitraire.

• La crainte existe, enfin, auprès de nombre de collègues, que cette liste (et la détermination du pourcentage de chercheurs publiants en général) ne soit un « bras séculier » de la loi LRU. Certes, les résultats des expertises des Centres de recherche ne seront pas nominatives, mais il ne sera pas difficile pour une université de recouper les données, pour déterminer qui sont les enseignants-chercheurs inclus dans les (par exemple) 23 % de non publiants. La Loi LRU prévoit la flexibilisation des services au cas par cas.

Certains de ces arguments avaient déjà été formulés par d’autres collègues présents et ont été repris, développés, complétés. Notamment, Geneviève Champeau (SHF et CNU) « conteste le poids prépondérant accordé aux articles de revues, alors que les collègues publient majoritairement dans des ouvrages collectifs issus de séminaires ou de colloques. C’est le résultat d’une politique de développement des équipes de recherche locales, on nous y a poussés ». D’autres intervenants, dont Pierre Cotte, interviennent dans le même sens.

C’est autour du refus de toute liste que s’est finalement établi le consensus souhaité.

L’approche quantitative de l’évaluation des publications, qui reposait essentiellement sur les articles publiés dans des revues « reconnues » (id est figurant sur la liste), est (pour l’instant) abandonnée au profit d’une démarche « au cas par cas ». Chaque unité de recherche sera invitée à soumettre aux experts une sélection de ses meilleurs travaux (au minimum cinq), sans distinction entre monographies, articles dans des revues, dans des collectifs, ou autres réalisations.

Bien à vous

Christophe Mileschi
Président de la SIES