"Entre rires et larmes. L’évaluation automatisée en sciences humaines", par Olivier Boulnois (Directeur d’Etudes, EPHE/CNRS, Laboratoire d’Études sur les Monothéismes)

Sur le site consacré à l’évaluation en SHS, un article d’Olivier Boulnois, (Directeur d’Etudes, EPHE/CNRS, Laboratoire d’Études sur les Monothéismes) :

Le roi est nu. Je viens de lire sur Internet le classement des revues établie par l’AERES (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur), destiné à évaluer les publications des chercheurs en sciences humaines. Je réagirai simplement sur le domaine que je connais : la philosophie, et notamment la philosophie médiévale. Au premier regard, j’ai seulement remarqué quelques étrangetés. Pourquoi la revue fondatrice de nos études, celle dans laquelle tout médiéviste rêve d’écrire, les Archives d’histoire doctrinale et littéraire du Moyen Age, obtient-elle la note de B ? Pourquoi son équivalent italien, la revue Documenti e Studi sulla tradizione filosofica medievale n’obtient-elle que C ? Pourquoi l’excellente revue Quaestio aussi ? Pourquoi les principales revues généralistes de philosophie française (les Archives de Philosophie, les Etudes philosophiques, Philosophie, la Revue de Métaphysique et de Morale) obtiennent-elles seulement B, alors que leurs équivalents anglo-saxons ont tous A (Philosophical Quarterly, Philosophical Review, Philosophical Studies) ?

À la seconde lecture, des passages se sont révélés franchement comiques. La Revue des sciences théologiques et philosophiques a obtenu la note de B, ce qui est quand même pas mal … pour une revue qui n’existe pas ! Mais pourquoi n’a-t-elle pas la même cote que la (véritable) Revue des Sciences philosophiques et théologiques qui obtient la note de A ? Et pourquoi la revue Medieval Philosophy and Theology apparaît-elle trois fois, une fois cotée A et une fois B (en philosophie), mais aussi une fois A en histoire ? Pourquoi la Revue de Philosophie Ancienne obtient-elle A en histoire et B en philosophie ? L’ingénu pourrait croire qu’un article aura la note de A s’il est historique, et la note de B s’il est philosophique. Mais selon quel critère va-t-on classer les articles transversaux, ou d’histoire des doctrines (politiques, morales, théologiques, etc.), c’est-à-dire les travaux les plus novateurs en philosophie médiévale ?

Faut-il en rire ou en pleurer ? Au fond, c’est le principe même du classement qui me semble inquiétant. Pourquoi, par exemple, la revue Studia Mediewistyczne n’apparaît-elle pas, alors que beaucoup d’articles essentiels pour la discipline y figurent ? La réponse semble évidente : parce que c’est une revue polonaise, supposée de faible diffusion. Précisons pourtant que des articles fondamentaux y ont été et y sont publiés dans les grandes langues européennes, y compris en français.

Les indications sur la méthode suivie sont vagues mais révélatrices : « La classification A, B, C, correspond à l’étendue du rayonnement des revues ». Puisque la qualité d’une revue est un critère subjectif, le critère choisi était celui de l’extension de la diffusion (concept un peu camouflé ou corrigé par le terme « rayonnement » qui laisse croire à une certaine profondeur qualitative). Mais alors, l’ensemble des anomalies que j’avais remarquées prend sens ! Les revues citées plus haut sont mal cotées parce qu’elles sont chères, récentes ou excentrées, et qu’on les estime moins diffusées dans les bibliothèques. On confond la qualité d’une revue avec sa diffusion, et la qualité d’un article avec la qualité d’une revue ; pourtant d’excellents articles sont publiés dans des petites revues, et d’excellentes revues publient de mauvais articles.

Ce classement reflète une triple erreur de méthode.

1°) Comme d’habitude, aligner les sciences de l’homme sur les « sciences dures ». Il est clair que pour un scientifique, publier dans Nature n’est pas la même chose que publier dans la revue des anciens élèves de l’Ecole Normale Supérieure. Mais croire qu’en sciences humaines, l’extension de la diffusion a le moindre rapport avec l’importance des travaux est une faute de raisonnement. Si nous devons passer autant de temps dans nos bibliothèques indigentes, c’est bien parce que des textes fondamentaux ont été publiés dans des revues ou des livres difficiles d’accès. Et qu’à notre tour, nous publions des articles dans des revues surprenantes, pour des raisons contingentes (sollicitations, commémorations, rapport à un fonds d’archives, réseaux de chercheurs, etc.). L’historien de la pensée sait bien que les documents les plus significatifs ne sont pas les plus diffusés, mais les plus rares. Sinon, à quoi bon éditer les manuscrits du Moyen âge, les papiers de Pascal ou les fiches de Wittgenstein ?

2°) Croire que l’existence d’un comité de lecture est l’universelle panacée contre le copinage. Cela seul, à mon avis, peut expliquer l’extraordinaire surévaluation des revues anglo-saxonnes. Or de récents et célèbres canulars ont montré à quel point il était facile de franchir la barrière d’une double lecture à l’aveugle (double blind review). Pour se faire accepter, le jargon d’une coterie est aussi efficace qu’une signature. Même si ce critère est légitime, il n’est pas pertinent pour des revues déjà réputées, qui peuvent attirer les bons articles et les évaluer autrement. Dans l’état actuel du classement, il entraînera automatiquement une fascination pour le monde anglo-saxon, puis une baisse indiscutable du niveau des publications : en sciences humaines, où la finesse de l’analyse dépend beaucoup de la qualité de la langue, un chercheur qui publie dans un anglais de base écrit moins bien que s’il publie dans sa propre langue en Italie ou en Allemagne. Or sur les quatre tomes des Dits et Ecrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A…

3°) Oublier que le résultat est déjà contenu dans la méthode. Si l’on mesure une revue à l’ampleur de sa diffusion, il n’est pas étonnant que les revues généralistes anglo-saxonnes aient en moyenne un point de plus que leurs équivalents français ou européens : vu leur bassin de diffusion, vu l’état de nos bibliothèques, il est clair qu’elles sont plus diffusées que les françaises.

Je souligne que les Actes de colloque ne seront pas évalués. C’est vrai, ils sont de valeur très différente. Les auteurs sont évidemment invités, et ne doivent pas toujours soumettre leur article à un comité de lecture. Mais l’aveu est éclatant : l’évaluation reconnaît elle-même qu’elle ignorera tout ce qui échappe à une quantification automatique – car pour noter ces Actes (horreur !) il faudrait les lire. Selon une logique imparable, la mesure ne mesure plus qu’elle-même. Négligeons vaillamment le fait qu’on renonce ainsi à évaluer l’un des principaux postes de dépense de la recherche en sciences humaines : les colloques.

Là comme ailleurs, il est prévisible que la mesure va modifier l’objet, en poussant les chercheurs à publier dans les revues bien évaluées. L’évaluation nourrit ainsi le complexe d’Astérix : plus je publie en Europe, plus je suis déclassé par cette évaluation, et plus les travaux anglo-saxons apparaissent, par contraste, surévalués. On enclenche alors un cercle vicieux, qui provoque ce qu’on est censé conjurer : la fuite des auteurs dans ces revues mieux cotées. Mais personne ne semble s’être demandé si les articles publiés dans des revues de style anglo-saxon (souvent en anglais) sont vraiment meilleurs que les articles publiés par les revues européennes. Je ne le crois pas. Autant que les nôtres, ces revues ont leurs dadas, qui ne sont pas des gages de qualité : déconstruction sommaire, philosophie analytique à coups de marteau, ou gender studies.

D’après certaines indiscrétions, ce classement aurait une explication simple : la liste serait reprise d’un original anglo-saxon (lui-même très contesté en Grande-Bretagne et aux Etats-Unis), à peine toilettée lors d’une réunion qui n’a duré que trois heures (on voit avec quel sérieux ces choses-là sont faites). En réalité, le problème n’est pas la fascination pour le monde anglo-saxon. C’est la fascination pour un modèle économique, où la pensée serait une marchandise, quantifiée par une équation simple, croisant le nombre d’articles par le rang de la revue. D’ailleurs, nos collègues anglo-saxons se battent eux aussi contre l’économisme ambiant. Et ils sont loin d’être aussi confiants que nous envers leurs revues et envers ce genre de classements.

Il est normal que le travail des chercheurs fasse l’objet d’une évaluation. Mais chacun sait déjà que le nombre des publications ne dit rien sur leur qualité. Et croire que la classification des revues permet de réintroduire une évaluation qualitative est une illusion. En se fondant sur l’étendue de la diffusion, elle ne fait que confirmer le critère de la quantité. Cette liste réussit l’exploit de refléter à la fois une fascination sarkozyenne pour les Etats-Unis et un mépris chiraquien pour les pays d’Europe Centrale. L’adjectif « européenne » accolé au nom de l’agence est un bel exemple de langue de bois.

Je comprends que des experts aient envie de critères pour évaluer les dossiers en trois coups de cuiller à pot. Mais en sciences humaines, ceux-ci n’existent pas. Seule la lecture approfondie du travail pointu d’un chercheur par une personne compétente permet d’en jauger la valeur. Cette évaluation centralisée et automatisée, sélective dans sa méthode, quantitative dans son fond, ne sert à rien. Quant à moi, je continuerai à publier dans des revues roumaines, allemandes ou tchèques. Je continuerai à demander à mes étudiants d’apprendre des langues, de chercher les bibliographies les plus approfondies, de lire des textes rares et érudits, et non les revues les plus diffusées. C’est ce qui fait la différence entre la vie de l’esprit et l’évaluation quantitative.

Le 22 octobre 2008