Les instances de l’évaluation : de l’AERES au HCERES Épisode 2 - Robert Boure, Mondes Sociaux, 1 juin 2015

A lire sur Mondes Sociaux

Lire le premier épisode.

L’idée de confier des évaluations à ce type d’instance connaît en fait une première concrétisation à partir des années 1980, dans un contexte marqué notamment par la réorganisation de la recherche publique (suppression de la Délégation Générale à la Recherche Scientifique et technique, réforme du CNRS…) et la contractualisation des universités.

C’est ainsi que se crée en 1984 le Comité national d’évaluation (CNE) chargé principalement d’évaluer les universités, les grandes écoles et les organismes de recherche relevant du ministère de l’enseignement supérieur. Et que la Mission scientifique universitaire du ministère se transforme en 2003 en Mission scientifique, technique et pédagogique (MSTP) qui évalue tous les quatre ans la politique des universités, les laboratoires, les formations et diplômes et les écoles doctorales.

Mais l’ensemble est éclaté, d’autant qu’il existe d’autres instances, et le système peu efficace (les avis du CNE sont peu suivis d’effet) et critiqué : les dispositifs de la MSTP sont décriés, notamment en raison de leur opacité, de leur caractère peu contradictoire et du contenu souvent lapidaire des rapports. Il apparaît alors pertinent de créer une structure regroupant la plupart des activités et des instances existantes : ce rôle est dévolu à l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES), puis en 2013-2014, au Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (HCERES).

L’AERES : une agence ambitieuse mais contestée

L’AERES est créée en 2006 sous la forme d’une autorité administrative indépendante : si elle fait partie de l’administration de l’État, elle ne dispose pas de la personnalité juridique et n’est pas rattachée au ministère. Le terme « agence » rappelle à la fois le modèle américain et la modernisation de l’administration « à la française ». Le mode d’évaluation qu’elle impose présente trois traits majeurs :

1. dispositifs spécifiques construits à distance du monde scientifique et qui s’imposent à lui. S’ils ne sont pas totalement exogènes (les délégués et les experts sont formellement des pairs, certains critères sont traditionnels…), ils empruntent largement au New Public Management (NPM). Enfin, elle s’inscrit dans une démarche qualité.
2. publicité et transparence : la méthodologie, les procédures, les critères, les noms des experts, les rapports sont publiés.
3. dualité : l’évaluation repose d’abord sur une procédure jusqu’alors étrangère au monde académique, mais préconisée par le NPM : l’autoévaluation des évalués, qui permet « l’évaluation interne des performances ». Elle se poursuit par une évaluation conduite par une structure collective ad hoc : le comité de visite pour les établissements, les unités de recherche ainsi que les écoles doctorales et le comité de site pour les formations et diplômes.

Avant son installation, l’Agence suscite de nombreuses réactions négatives. Dès qu’elle devient opérationnelle, elle est l’objet de critiques d’autant plus fortes que la première véritable vague d’évaluation coïncide avec la montée en puissance du mouvement de contestation de la Loi relative aux libertés et responsabilités des universités (LRU). Les critiques se concentrent sur quelques points, dont :

– Le déni de l’élection : l’AERES est dirigée un Président nommé par le Président de la République et par un Conseil. Elle est divisée en trois sections (établissements, unités de recherche, formations et diplômes) dirigées par un directeur. Chacune dispose de délégués (111 en 2010) qui jouent un rôle déterminant dans l’organisation et la conduite de l’évaluation, ainsi que d’un vivier de plus de 2000 experts. En contradiction avec la collégialité, le Conseil ne comporte aucun élu et très peu de membres proposés par des instances composées d’élus. Les directeurs, les délégués et les experts sont nommés par le Président en raison de leur compétence .
Qu’est-ce qui explique le poids de la cooptation dans l’opacité, option peu en phase avec la collégialité et la transparence pourtant revendiquées. On peut y voir un rejet du principe de l’élection pour ce type d’instance. Ou alors, plus prosaïquement, la croyance en sa faible pertinence à partir du moment où l’on est persuadé que l’Agence est un tiers extérieur réellement indépendant des évalués et des tutelles et qui finira par être accepté par le milieu ; ou bien que la compétence des cooptés se mesure à leurs performances attestées par leur parcours et exprimées dans leurs CV publiés sur le site.

– Les experts (ex-pairs ?) : sur le plan formel, les experts sont des pairs agissant temporairement pour le compte de l’AERES. Cependant, dès que l’on s’écarte du point de vue formel, des questions apparaissent. Tout d’abord le passage de l’état d’expert potentiel à celui d’expert officiel n’est pas clair. Pourquoi untel est-il retenu et pas un autre ? Si l’on s’en tient aux textes, la réponse va de soi : parce que le délégué l’a choisi… en fonction de critères qui lui laissent en fait une grande liberté.
La conduite de l’évaluation leur échappe en partie au profit du délégué. Celui-ci est en fait un médiateur multi-cartes : il rappelle régulièrement les principes et les règles, explique et légitime le dispositif, participe au rapport à travers des propositions d’écriture, et enfin transmet le rapport amendé à son supérieur pour ultimes contrôles et corrections. Mais le principal problème vient moins de leur omniprésence que du fait que les experts sont conduits à mettre en œuvre un dispositif qu’ils n’ont pas construit, qui repose beaucoup sur des performances souvent mesurées par des indicateurs et qui, in fine, remet partiellement en cause l’existence de plusieurs manières de faire science. On notera cependant que les critères, aussi contestables qu’ils soient, sont connus des évalués… ce qui n’était guère le cas auparavant.

– « L’oubli » des contenus : plusieurs experts et évalués déplorent la pauvreté des discussions sur les contenus (travaux, projets de recherche…) et, a contrario, l’importance accordée à la gouvernance, à la stratégie, à la lisibilité externe… Dans le même ordre d’idées, le recours à la bibliométrie pour évaluer les publications est dénoncé, plus particulièrement dans les SHS où la place occupée par le qualitatif et les pratiques de publication s’accorde mal avec cette technique. D’ailleurs, vérifier que les publications sont « citées » et « référencées » dans une base de données, anglo-saxonne de préférence, ne suffit pas ; il faut prendre le temps d’en débattre entre auteurs et spécialistes du domaine… ce qui n’est guère possible en raison des conditions dans lesquelles se déroulent les évaluations.

– La notation : elle apparaît rapidement comme un élément central, ce qui est somme toute en conformité avec la logique d’une ingénierie construite pour évaluer, surtout quantitativement, les performances. Parce qu’elle est publique et lourde de conséquences pour les évalués, elle devient de facto l’élément le plus attendu par les établissements, les tutelles et les évalués. Les critiques portent principalement sur son principe, ses modalités, et surtout sur les usages et mésusages des notes par les tutelles et les établissements, et par exemple sur « l’exclusion » des mal notés.

Le HCERES : une évolution en demi-teinte ?

Bien qu’il soit trop tôt pour dresser un véritable bilan du passage de l’AERES au HCERES, on peut toutefois avancer quelques éléments. Pour les défenseurs de la collégialité, la réforme est un changement dans la continuité puisqu’elle procède à des aménagements secondaires ne remettant pas en question le modèle d’évaluation gestionnaire. Et pour eux, ce qui ne change pas ou peu touche en fait à l’essentiel : indépendance insuffisante, périmètre d’action voisin, refus de l’élection, cooptation dans l’opacité des conseillers, des délégués et des experts, philosophie globale du dispositif…

Sentant le vent tourner avant la loi du 22 juillet 2013 créant le HCERES, l’AERES avait apporté ou proposé une série d’adaptations – ce dont on ne peut que se réjouir – répondant à certaines critiques et qui ont été complétées par la loi et son décret d’application du 16 novembre 2014 : allègement des dossiers, prise en compte plus large du qualitatif, modification des référentiels, signature du rapport d’évaluation par les présidents de comité d’experts (c’est censé renforcer le poids des comités), remplacement de la note par des appréciations qualitatives. On relèvera également un changement de « l’état d’esprit des évaluations » favorablement accueilli par les laboratoires évalués : les comités de visites sont désormais plus proches de l’aiguillon bienveillant souhaité par certains que du censeur ou du Père Fouettard, voire des Tontons flingueurs dénoncés dans quelques cas d’espèce. On notera enfin que les rapports ne sont plus publiés dans leur intégralité, ce qui fait l’objet d’appréciations contradictoires…

Tout cela pour dire que la réforme reste en-deçà des attentes de ceux qui contestaient la légitimité de l’AERES, sans pour autant s’accorder sur un modèle. De sorte que la question centrale n’a guère changé depuis le milieu des années 2000 : comment penser un régime d’évaluation général, transversal aux disciplines et aux objets évalués (établissements, laboratoires, formations, chercheurs…), permettant les comparaisons et l’affinement des stratégies, mais aussi davantage collégial, indépendant, pluraliste, contradictoire, soucieux des contenus et de la liberté de la recherche ? Peut-on le penser uniquement à partir de la critique du régime actuel, et donc en faisant l’économie des comparaisons internationales ou de la critique du modèle collégial lui-même, de ses insuffisances et des dérives auxquelles il a donné lieu ? Comment le penser en l’absence de contre-propositions fortes portées par la communauté scientifique ? C’est en fait à une réflexion collective et sans tabou sur la « culture de l’évaluation » que ladite communauté doit s’inviter, faute d’y avoir été réellement conviée. La balle est désormais dans son camp. Pourra t-elle et/ou voudra t-elle s’en saisir ?