"Recherche, performance, évaluation" par Luigi Delbuono (CNRS-SLU)

Un texte qui fait le point de manière particulièrement approfondie sur les indicateurs et leurs usages, sur l’évaluation de la recherche et le long chemin vers l’Objectivité. Mise en forme en cours, voir le PDF ci-joint.

Luigi Delbuono est chargé de recherches au LPNHE (UMR CNRS/IN2P3 Paris 6/7, Physique des Particules)

***

[/Si jamais il y a un problème, je le filme et ce n’est plus un problème.
C’est un film./]

L’agitation récente autour de la réforme de la recherche publique en France a été accompagnée de doutes profonds quant aux performances du système national de recherche, ceux-ci s’exprimant depuis des horizons variés : responsables gouvernementaux ou politiques, chefs d’entreprises, journalistes, intellectuels, citoyens pétitionnaires, etc. Certains chercheurs donnent eux-mêmes de la voix pour dénoncer, de manière en général plus nuancée, les imperfections d’un système qui entraînerait la recherche « française » (et la France avec elle) dans la spirale du déclin.

Ces critiques ont le plus souvent comme base, pas toujours explicitée, un ensemble de comparaisons internationales réputées défavorables à la France, que ce soit au niveau de la productivité, du rayonnement, ou même de l’utilité des travaux de recherche menés dans ce pays. Une fois cet inquiétant diagnostic posé, les propositions de réformes plus ou moins ambitieuses, douloureuses (mais nécessaires) suivent. L’ordre du discours est bien réglé, et souvent les remèdes préconisés sont similaires, d’un quotidien national ou d’une tribune télévisée à l’autre. Une relative uniformité, ou du moins une certaine convergence de vues, offre ainsi au public un début de consensus plutôt rassurant, malgré la gravité supposée du sujet, et facilite l’adhésion à ces propos.

Nous allons examiner de quels éléments et quelles méthodes dépend l’affirmation d’un rôle déclinant de la recherche française sur la scène internationale.

La Recherche Française face à ses concurrents

L’évaluation de la recherche est souvent décrite comme insuffisante, voire inexistante, pourtant il existe une multiplicité d’instances, dans tous les pays, qui s’intéressent de près à la question. Certains organismes internationaux (la Commission européenne avec EUROSTAT, l’OCDE, l’UNESCO) produisent régulièrement une série d’indicateurs statistiques destinés à décrire les caractéristiques des systèmes d’innovation et de recherche pour les principaux pays développés ou émergents. Les Etats eux-mêmes se sont en général dotés d’appareils statistiques ou d’agences spécialisées (en France, entre autres, l’OST : Observatoire des Sciences et Techniques) qui sont chargés de suivre l’évolution de quantités analogues à l’échelle nationale et de développer l’expertise correspondante. Aux Etats-Unis, ce rôle est joué principalement par la NSF (National Science Foundation) qui édite bisannuellement, depuis une trentaine d’années, un volumineux ouvrage (« Science and Engineering Indicators ») dans lequel sont compilés et commentés les différents indicateurs. L’OCDE et la NSF sont des pionniers dans ce domaine puisqu’ils publient ce genre de documents depuis les années 60, et qu’il y avait une activité embryonnaire de suivi statistiques des sciences et techniques bien avant (années 30) aux Etats-Unis.
Depuis quelques années, les instruments statistiques de comparaisons internationales sont complétés par des exercices de benchmarking pour les sciences et technologies (S&T), donnant lieu à la publication de « tableaux de bords » (scoreboards) utilisant des indicateurs de même nature qu’auparavant (quoique plus robustes, pour faciliter les comparaisons), avec cependant une volonté analytique plus accentuée d’identifier les « bonnes pratiques » en usage dans les pays se révélant les plus performants, ce qui demande une meilleure coopération avec (et entre) les Etats participant à ces opérations. En Europe, ce benchmarking s’inscrit dans le cadre de la construction de l’Espace de Recherche Européen, il inclut les pays de l’Union, plus le Japon et les Etats-Unis.

Les indicateurs statistiques pour les Sciences et Technologies sont habituellement classés en deux catégories : les indicateurs intrants (input) et les indicateurs extrants (output et « impact »), ces derniers étant d’apparition plus récente. Cette distinction technique correspond au fait que les premiers s’attachent à décrire plutôt l’environnement ou les conditions dans lesquelles se déroule le processus de recherche, tandis que les seconds, plus quantitatifs, veulent refléter d’assez près les résultats obtenus par les différents systèmes de recherche et d’innovation, et leur retentissement sur la société.

Il y a une assez grande variété d’indicateurs, et ils sont plus ou moins détaillés ou composites, mais les principaux intrants utilisés sont :
• Investissement public et privé en Recherche et Développement (R&D) :
o dépense totale en R&D par rapport au PIB
o dépense publique en R&D par rapport au PIB
o dépense des entreprises par rapport au PIB
o pourcentage du budget de l’Etat destiné à la R&D
• Ressources humaines en R&D :
o pourcentage de chercheurs par rapport à la population active
o pourcentage de nouveaux docteurs dans la classe d’âge correspondante
o dépense totale pour l’enseignement supérieur en pourcentage du PIB
o dépense par étudiant en pourcentage du PIB par tête

Et les principaux extrants d’intérêt (pour un pays donné) :
• Part relative des publications scientifiques mondiales
• Nombre moyen de citations (à deux ans) par publication, rapporté à la moyenne mondiale
• Nombre de dépôts de brevets auprès des principaux offices de brevets (Etats-Unis, Europe, Japon), par million d’habitants
• Part de marché mondial dans les exportations de produits de haute technologie.

Alors que les grandeurs utilisées pour le calcul des intrants sont le plus souvent fournies par les services statistiques des différents Etats étudiés (le PIB, le nombre de chercheurs, etc.), celui des extrants demande l’exploitation de bases de données répertoriant les publications scientifiques et les brevets, et cela à l’échelle planétaire, car il faut croiser les informations entre différents pays pour établir les indices dépendant du nombre de citations.
Pour des raisons essentiellement historiques, la base de publications la plus complète est maintenue et exploitée aux Etats-Unis par l’Institute for Scientific Information (ISI), société fondée en 1954 par John Garfield, chimiste de formation orienté tardivement vers la linguistique, qui fut l’un des pionniers de la scientométrie et du traitement de l’information scientifique telle que nous le connaissons aujourd’hui. Dans ses premières versions la base (nommée aujourd’hui « Web Of Science ») indexait seulement des articles venant des sciences de la vie ou de la médecine/pharmacie, mais elle est rapidement devenue multidisciplinaire, et les outils proposés par l’ISI sont de nos jours plus diversifiés qu’à l’époque. La société a été achetée en 1992 par la Thomson Corporation, multinationale très bien implantée dans la gestion de l’information (scientifique, financière et autres), ainsi que dans l’édition et propriétaire également de l’importante base de données (britannique) Derwent, analogue du WoS pour les brevets (depuis la vente, Garfield a quitté la société). L’ISI est la source de la très grande majorité des indices bibliographiques, il existe en effet d’autres bases de données (dont certaines non commerciales) mais elles semblent n’être que marginalement utilisées par les producteurs de statistiques ou d’études scientométriques ; le même phénomène semble exister pour le système Derwent, mais dans une moindre mesure, puisqu’il existe depuis longtemps des systèmes nationaux et internationaux de gestion des brevets qui construisent leurs propres bases de données.

Tous ces indicateurs, input et output, sont plus hétérogènes et difficiles à définir qu’ils n’en ont l’air, surtout si l’objectif est d’établir des bilans comparatifs entre pays. La « dépense » de recherche et développement est une quantité qui est définie différemment dans chaque pays (par exemple : doit on comptabiliser les dépenses pour la recherche militaire ou proche de celle-ci, pour l’enseignement universitaire, pour certaines activités industrielles privées ?), et de fait, selon les Etats la notion de « recherche » elle-même est floue : nous n’insistons pas davantage ici sur ces difficultés qui sont connues.
Le constat, fait généralement en s’appuyant sur les intrants, est que la France dépense moins que les pays comparables de l’OCDE pour la R&D : moins en termes bruts (en 2005 2.13 % du PIB, moyenne OCDE : 2.25%, Etats-Unis 2.62%), moins en termes de ressources humaines (en 2005, 8.1 chercheurs par millier d’actifs, contre 9.8 pour les Etats-Unis) et moins pour l’enseignement (7372 US$ par étudiant et par an dans l’enseignement supérieur français hors troisième cycle, moyenne OCDE : 11443 US$, contre 19842 US$ pour les Etats-Unis).

La dépense publique consacrée en France à la recherche était en 2004 à la hauteur de 0.81% du PIB ; ce niveau de financement est proche, voir supérieur à celui des pays européens analogues (Allemagne : 0.75%, Suède : 0.89%). Cependant, il faut interpréter ces chiffres avec précaution, leur proximité cachant des différences considérables de structuration socio-économique des dépenses : au sein de la CEE, la France est le pays dont le gouvernement investit le plus pour la R&D dans les domaines apparentés de la défense et de l’aérospatiale (respectivement 28% et 8.8% du total des financements publics), davantage que l’Allemagne (5.8% et 4.9%) et plus qu’un pays comme le Royaume-Uni (31% et 2%), traditionnellement orienté vers la R&D militaire. Donc, si l’on désire tenir compte de cette spécificité française pour estimer la dépense publique de R&D qui irrigue la recherche strictement civile en France, l’on est amené à retrancher 25 à 30% du chiffre cité plus haut : la dépense publique pour la R&D civile serait d’environ 0.6% du PIB, ce qui éloigne nettement la France des pays « concurrents » (et encore plus de l’objectif des 1% préconisé par le conseil Européen de Barcelone en 2002, si tant est que celui-ci ait concerné la recherche civile). Ce mauvais chiffre est aggravé par une autre particularité française : le faible degré de financement de la recherche publique par les fonds privés (4.6% en 2003, au Royaume-Uni : 6.6%, en Allemagne : 7.9%), la fraction destinée à alimenter la recherche civile étant encore nettement plus faible.

Ainsi, le discours qui critique le système de R&D français ne peut que difficilement s’appuyer sur les intrants les plus simples (mais aussi les plus surveillés) pour proclamer l’inefficacité ou la faillite opérationnelle de ce dernier : si faillite il y a c’est celle de l’engagement du pays pour la recherche et le développement, au moins envers sa composante civile.

C’est probablement pour cette raison que la plupart des critiques utilisent les indicateurs output dans leur argumentation, à l’image d’Olivier Postel-Vinay, l’un des plus fervents tenant du « déclin », qui remarque que la France est mal placée dans le classement utilisant l’indice des citations d’articles. En effet, suivant ce critère, en 2004 la France se classait 9ème, assez loin derrière le Royaume-Uni et l’Allemagne (5ème et 4ème respectivement, les Etats-Unis étant très largement en tête). Les positions relatives de ces quatre pays n’ont guère évolué depuis, car leur indice de citation est resté presque stable.

Mais M. Postel-Vinay, malgré tout son bon sens, n’est pas un spécialiste aguerri en Bibliométrie. Que peuvent nous dire les experts de l’Observatoire des Sciences et Techniques sur la valeur de ce classement ? Rémi Barré, fondateur et ex-directeur de l’OST, très actif dans le domaine de la scientométrie, parait être qualifié pour nous éclairer : «  Prenons par exemple le score modeste de la recherche française sur l’indicateur de citations, qu’on interprète comme démontrant l’insuffisante qualité de la recherche de notre pays. En y regardant de plus près, on s’aperçoit que le niveau de l’indicateur s’explique en réalité par celui de la recherche médicale, qui est faible […], et, dans la mesure où des analyses précises permettant d’expliquer le niveau de l’indicateur, n’ont pas été menées, on ne saurait conclure. ».
Il indique, dans les notes de son intervention, qu’environ 30% des revues sélectionnées par l’ISI pour former le SCI sont spécialisées en recherche médicale, et parmi ces dernières la très grande majorité sont anglo-saxonnes (ce n’est pas très étonnant vu l’histoire de l’ISI). Dans de telles circonstances, il suffirait que les chercheurs français en médecine aient une tendance même modérée à publier dans leur langue vernaculaire pour influencer nettement le classement par l‘indice de citations, mais bien sûr cela reste à confirmer car il n’y a pas eu d’études précises sur la question. L’ISI semble d’ailleurs prendre conscience du problème et se dirige vers une diversification plus accentuée des revues qu’elle utilise.

L’un des griefs les plus courants fait à l’ISI est effectivement le manque d’équilibre dans la sélection des 9300 revues (sur 67000 existantes en 2007) indexées dans sa base de données. La sélection se veut rigoureuse du point de vue de la qualité scientifique, mais les revues de langue non anglaise sont faiblement représentées (alors que certaines font référence), le poids des revues de sciences de la vie et de médecine (dans le SCI) est bien trop important (surtout comparé à certaines disciplines peu répandues, ou à des spécialités interdisciplinaires), et de manière générale il y a un excès de revues américaines, certaines d’entre elles jugées de second ordre ou peu représentatives du domaine. C’est dans le cas des sciences humaines et sociales (SHS) que les biais linguistiques sont les plus évidents : d’une part la base WoS ne comprend que très peu de revues non anglo-saxonnes dans ce domaine, et d’autre part, en France, la majeur partie des publications en SHS se font en français, ce qui rend le WoS inutilisable (et inutilisé) en pratique dans bon nombre de disciplines. A noter que dans les pays du G7, la France n’est pas la seule à pâtir de ces distorsions liées à la langue, des phénomènes comparables se produisent au Japon, producteur scientifique de premier ordre, mais parfois en japonais, ce qui explique partiellement son mauvais classement en terme de facteur d’impact relatif (2 places derrière la France en 2004).

L’indice des citations, parfois considéré comme plus robuste que les autres, prête lui-même le flanc à de nombreuses critiques, l’une des plus cruciales étant l’observation du fait qu’il ne dépend pas linéairement du nombre de publications : les pays ou entités publiant beaucoup sont fortement avantagés par ce phénomène, ce qui biaise l’utilisation de cet indice comme indicateur de qualité. Au Royaume-Uni, il a été démontré que le doublement du nombre de publications d’une institution entraînait une multiplication moyenne par 2.19 de son nombre de citations, en sciences de la vie ce facteur atteint 2.27. A l’échelle d’un pays, à cause des faibles écarts constatés, le classement par facteur d’impact relatif peut être bouleversé par cet effet : l’utilisation d’un indice « ajusté » qui tient compte partiellement de cet effet fait passer le nombre de disciplines dans lesquels les Etats-Unis sont en tête de 70 (sur 150) à 16. L’Allemagne passe de 12 à 35, et la France de 10 à 35.

Il y a d’autres sources de distorsions, plus techniques, que nous ne détaillerons pas ici (par exemple la question du temps d’intégration du nombre de citations, fixé à deux ans, ou la bonne manière de prendre en compte les articles signés par plusieurs auteurs). Ces difficultés, couplées aux différences culturelles et sociales dans les différents champs scientifiques, pays, institutions, créent une situation inextricable dont la scientométrie a beaucoup de mal à s’extraire, comme semble le montrer la littérature. On notera d’ailleurs que les rapports des organismes que nous avons mentionnés (OCDE, NSF, CEE) n’utilisent qu’avec circonspection le nombre de publications et l’indice des citations, en les entourant de tout un appareil de notes explicatives et prudentes, et de long paragraphes d’introduction destinés à alerter le lecteur sur les risques liés à une utilisation naïve de ces indices. L’indicateur des citations est suffisamment problématique pour qu’on ne le voie apparaître dans les benchmarks que sous des formes édulcorées qui sont censées accroître sa robustesse : la NSF l’utilise principalement agrégé dans des zones d’échelle plus large que celle du pays (et comparables en structure et en nombre d’habitants : la zone ALENA, ou l’Union européenne, par exemple), l’OCDE quand à elle n’utilise pratiquement que le nombre de publications, enfin la Commission Européenne calcule (depuis peu) cet indice par disciplines ou par ensemble de disciplines dans des combinaisons (construites grâce à une étude de l’Université de Leyde, aux Pays Bas) qui limitent une partie des problèmes. Les facteurs d’impacts ne sont que très brièvement mentionnés dans le scoreboard européen.

Des difficultés plus profondes

En plus des difficultés déjà évoquées, tout système d’indexation basé sur les citations est sujet à des distorsions d’une nature plus profonde. Si ce concept de « classement par nombres de liens » a pu paraître novateur, efficace et objectif à l’époque où il a été introduit par Garfield il y a une quarantaine d’années, il n’en est plus de même aujourd’hui, les chercheurs ont relevé et étudié plusieurs problèmes intrinsèques :
• Comme dans toute activité humaine, des réseaux peuvent se former entre auteurs de publications, auteurs qui auront tendance à citer plus souvent les membres du ou des réseaux dont ils font partie. Une « économie du don » de la citation en quelque sorte, qui peut être amplifiée par l’utilisation réelle des indices dans l’évaluation. Des estimations grossières indiquent que 10% environ des citations seraient de cette nature.
• Les auteurs ne choisissent pas les citations uniquement sur des critères de qualité scientifiques et d’ « influence » sur leur propre travail : il y a une tendance à citer les auteurs les plus récents, les plus connus ou à la mode. De même, quand des équipes se retrouvent en concurrence entre elles, les publications qu’elles produisent se référencent moins mutuellement. Inversement, il y a des modalités d’influence entre scientifiques, des moyens de communication informels, qui ne s’inscrivent pas dans les publications et n’influent donc pas sur le facteur d’impact. Il ne faut pas négliger non plus les nouveaux outils de diffusion de l’information, comme les revues électroniques libres disponibles sur Internet, qui ne sont pas, pour l’instant, prises en compte par l’ISI.
• Il y des différences entre champs disciplinaires (nombre de citations « traditionnel » par publication, fréquence de publication, âge et étendue du champ, etc.) et entre pays (« publish or perish » plus ou moins accepté) qui rendent très difficiles les comparaisons. Les disciplines qui publient beaucoup (en valeur absolue) par rapport à d’autres sont avantagées en termes de facteur d’impact relatif.
• Le nombre de citations et leurs distributions temporelles varient amplement avec le type de revues (revues de communication rapides, de synthèse, etc.) et les disciplines.
• Les règles de composition de la base de données ont changé au cours du temps (inclusion de différentes catégories de documents, addition ou suppression de revues, etc.) : la base WoS a sa propre histoire.
• Il est pratiquement impossible de calculer des marges d’erreurs plausibles pour ces indicateurs. Or les écarts entre pays comparables sont souvent relativement faibles.

L’idée que le nombre de citations traduit l’importance et la qualité d’une publication (et de ses auteurs) repose sur l’hypothèse que les chercheurs sont capables et désireux de reconnaître objectivement le degré d’influence qu’a eu une publication donnée sur leur travail, la formation de leur pensée disciplinaire, la structure de leur champ disciplinaire, etc., ou du moins qu’ils ne font pas trop d’erreurs (corrélées) dans cette appréciation pour le cas - comme celui d’un pays - où l’on considère un grande population de chercheurs. Comme le fait remarquer MacRoberts, cette affirmation n’a jamais été testée empiriquement, et l’étude limitée rapportée dans son article permet plutôt d’arriver à une conclusion pessimiste sur sa pertinence : le fait de citer une publication peut obéir à de nombreuses motivations bien distinctes de la simple reconnaissance entre scientifiques. Certains travaux ont essayé de mesurer la corrélation statistique brute entre le « jugement des pairs » traditionnel et les indices bibliométriques (le facteur d’impact le plus souvent), pour les scientifiques pris individuellement : les résultats semblent beaucoup varier d’une discipline à l’autre, sans que l’on sache pourquoi, et sont peu probants (coefficients de corrélation entre 0.5 et 0.7, avec des statistiques limitées) ; d’autre part, il est clair que les deux types de variables mises en corrélation ne sont pas statistiquement indépendantes…

Il est à craindre qu’il ne soit très difficile d’arriver à une conclusion précise et non normative sur cette question, en l’absence d’une définition universelle (ou du moins largement applicable) de l’« influence » d’un travail ou d’un scientifique sur un autre. Cette définition dépendrait en pratique de la possibilité d’un jugement a priori sur l’importance pour une discipline donnée, et à un moment donné, d’une orientation particulière de la recherche, un problème toujours non résolu, comme on le sait. On finit donc par se demander si un indice de citations élevé pour un pays, une institution, un laboratoire, est bien une marque de qualité ou s’il n’exprime pas autre chose, qui resterait à définir. Ce genre de considérations relativisent l’intérêt de cet indice et le ramènent à peu près au même niveau que le nombre de publications normalisé (réputé moins « fiable » en scientométrie depuis longtemps, puisque, s’il reflète bien un niveau de « production », il ne donne aucune idée sur la qualité de celle-ci). Après tout, ce sont quasiment les mêmes questions et les mêmes doutes qui surgissent dans les deux cas.

Prima facie

Si, malgré ces nombreuses objections devant une interprétation trop simpliste des indicateurs d’output, l’on désire tirer de leur valeur et de leur évolution une appréciation pour la recherche en France, que peut-on dire ?
Nous reproduisons ici deux tableaux fournis par l’OST, l’un donne, sur plusieurs années (1990 à 2000), la part mondiale des publications de différents pays dont la France. Le second tableau donne pour les mêmes périodes l’indice d’impact relatif dans la zone EU-15 élargie au Japon et au Etats-Unis.

Tableau 1 : Part mondiale de la production scientifique 1990-2000 (Part mondiale (%) en publications scientifiques)

Pays19901991199219931994199519961997199819992000Union européenne30,230,430,831,432,032,533,133,533,833,933,8France4,74,74,84,95,05,15,15,25,25,25,2Allemagne6,36,36,26,26,26,36,56,66,86,96,9Royaume-Uni8,38,28,38,48,58,58,58,38,28,18,0Etats-Unis35,435,435,235,034,333,833,132,231,230,329,9

Tableau 2 : Indices d’impact à deux ans (1990-2000)
Pays19901991199219931994199519961997199819992000Union européenne0,960,960,960,960,960,960,960,970,970,980,98France0,950,960,960,950,950,930,940,950,950,940,94Allemagne1,021,021,021,031,041,051,071,081,071,081,08Royaume-Uni1,021,041,041,041,031,021,021,031,041,051,05Etats-Unis1,421,411,401,391,401,391,401,401,421,421,43

[Pour les tableaux, voir doc joint, note de la rédaction SLU]

On peut facilement constater sur ces deux tableaux que les variations annuelles de ces quantités, depuis 10 ans, entraînent deux observations : d’une part (Tableau 1 : Part mondiale de la production scientifique 1990-2000 (Part mondiale (%) en publications scientifiques)), il y a une faible augmentation de la part mondiale de publications pour la France et l’Allemagne pendant cette période, alors que les Etats-Unis et le Royaume-Uni voient leur part diminuer (modérément pour ce dernier, plus clairement pour l’autre). D’autre part (Tableau 2 : Indices d’impact à deux ans (1990-2000), les indices d’impact sont, pour tous les pays examinés, d’une remarquable stabilité tout au long de la période.

Il n’y a guère là de quoi conclure au déclin, comme le confirme Laurence Esterle, ex-directrice de l’OST : « Si on regarde en terme de production, nous, ce qui nous frappe, contrairement à ce qui a été dit par certains, c’est d’abord une très très grande stabilité de la production scientifique de la France : elle a augmenté de 2 % entre 1995 et 2000, autrement dit elle n’a pas bougé. Aussi bien en ce qui concerne la part mondiale de publications scientifiques, telle qu’on peut la voir au niveau de notre base de données, et qui exclut d’ailleurs les sciences humaines et sociales, il faut le rappeler, et aussi en ce qui concerne l’indice d’impact, qui a été tout à fait mis au devant de la scène. »

Laurence Esterle précise ensuite que cette stabilité cache des évolutions qui se font au niveau des disciplines. En effet, l’indice d’impact calculé en le restreignant aux sciences de la vie a augmenté jusqu’à atteindre des valeurs élevées, alors que cet indice a légèrement diminué pour la physique et les sciences de l’univers, et diminué plus clairement pour les sciences de l’ingénieur (mais en restant à des valeurs assez hautes). Ces conclusions restent valables au moins jusqu’en 2004, dernière année où les séries statistiques de l’OST et du WoS ont été analysées.

Pourquoi la France, et les pays analogues, ne sont-ils pas mieux placés en termes de part de publications scientifiques mondiale ? Une partie de la réponse, selon les experts de la commission européenne, semble tenir à la spécialisation disciplinaire de certains pays ; en effet, les indices de « productivité » (nombre de publications par chercheur) indiquent que les 9 pays les plus performants en terme de nombre de publications par chercheur sont aussi plutôt spécialisés en science de la vie et recherche médicale, avec une propension à publier dans des revues anglo-saxonnes (soit parce que ce sont des pays anglo-saxons, soit parce qu’ils publient traditionnellement dans ces revues), ce qui les avantage dans ce genre de comptage étant donné les biais disciplinaires et linguistiques de la base WoS (voir plus haut).
De leur côté, l’OCDE et la NSF préfèrent utiliser un autre indicateur de la « productivité » : le nombre de publications par million d’habitants. On retrouve six des neuf pays précédents (les pays manquants restant bien classés), le classement est dominé par des pays modestes, si l’on considère leur part de publications mondiale, mais productifs. Les experts de l’OCDE défendent l’idée d’une forte corrélation entre le niveau de classement selon cette dernière échelle et le niveau de dépense R&D rapporté au PIB, qui apparaît effectivement manifeste sur les graphiques.
On voit que les deux explications avancées n’ont que peu de rapport avec un manque d’efficacité de la recherche en France, et que dans cette optique son placement moyen dans les classements ci-dessus est lié soit aux artefacts dans la base WoS, la France étant encore peu spécialisée dans le domaine des sciences de la vie par rapport aux pays arrivant en tête (elle se spécialise plutôt dans les sciences dures et l’ingénierie, notamment la branche aérospatiale qui publie peu), soit (comme certains le soupçonnent) à un investissement relativement plus faible en R&D que les pays « leaders » de la productivité.

Au passage, il faut noter certains éléments surprenants : le classement lié au nombre de publications par chercheur (chercheurs équivalent temps plein, ETP) donne les Etats-Unis (0.86 publications/chercheur ETP) et le Japon (0.46, ce pays est le premier en nombre de chercheurs ETP rapporté à la population active) assez loin derrière la France (1.14), qui devance également l’Allemagne (0.99). Il n’y a pas de quoi pavoiser : la notion de « chercheur ETP » est très délicate à définir pour ces comparaisons internationales et les quantités qui en dépendent peuvent être trompeuses ; une partie de ces inversions de classement peut éventuellement avoir son origine dans la puissante recherche industrielle privée outre Atlantique et au Japon, avec une importante composante d’ingénierie, domaines où l’on publie traditionnellement peu (de plus le secteur privé publie moins que le public). Ce phénomène a en tout cas le mérite de montrer la difficulté d’interprétation des différents indicateurs, même les plus simples, qui peuvent facilement produire des résultats contradictoires et devrait donc inciter les différents commentateurs à la prudence… Ainsi, l’argument régulièrement répété du nombre trop important de chercheurs travaillant dans le secteur public en France (permettant de conclure à leur inefficacité et à celle du système public de recherche, ou au moins à un trop grand « saupoudrage » des crédits) est fragile : seulement 55% des chercheurs (ETP) à l’université sont des enseignants-chercheurs titulaires, le reste étant un ensemble très complexe d’agents aux statuts variés pour lesquels il est difficile de définir objectivement une pondération ETP. Or, le poids de la recherche universitaire en terme de chercheurs ETP est déterminant (ils comptent pour 75%) : il suffirait d’un changement de pondération ETP limité (pour les enseignants-chercheurs ou pour leurs collègues aux différents statuts) pour faire significativement baisser ou augmenter le nombre de chercheurs ETP en France. D’autre part, en ce qui concerne le nombre de chercheurs ETP hors enseignement supérieur, la situation est plus contrastée : il y en a proportionnellement moins en Allemagne par exemple (par rapport à la population active) qu’en France.

Le déclin, une valeur montante et internationale

La France ne semble pas être la seule à décliner sur le plan scientifique. Depuis quelques années les experts américains qui rédigent le rapport de la National Science Foundation (« Science and Engineering indicators ») sont inquiets. D’une part, la recherche de leur pays est trop spécialisée dans le secteur de la santé, de la défense, au détriment des secteurs plus traditionnels (recherche fondamentale en sciences « dures », ingénierie). D’autre part, malgré l’investissement massif réalisé en R&D, son augmentation importante depuis plusieurs années et l’augmentation concomitante du nombre de chercheurs, le nombre de brevets déposés a tendance à peu augmenter. Plus grave : la part des Etats-Unis en terme de publications scientifiques a tendance à baisser depuis le milieu des années 90, et l’Europe est depuis cette époque le leader mondial de la production scientifique. Leur conclusion : « Les raisons de ces tendances divergentes demeurent obscures. », une commission d’enquête spéciale travaille sur la question.

De son coté, l’Europe est aussi sur la mauvaise pente. La commission européenne, tout en indiquant triomphalement à la presse en mars 2003 que l’Union européenne est devenue la « plus grande fabrique de ‘cerveaux’ au monde, qui produit chaque année plus de capital humain en science et en technologie que les Etats-Unis et le Japon », et en intitulant « Europe’s leading role in world science » la section consacrée aux « résultats scientifiques » de son 3ème rapport sur la R&D, considère que le « gap » scientifique avec les Etats-Unis est devenu intolérable (moins de crédits, moins de chercheurs), jusqu’à déclarer l’ « alerte rouge pour la recherche européenne ».

Tous va bien donc, mais l’avenir est sombre, un peu partout.

Les brevets et la performance technologique

Les indicateurs basés sur les dépôts de brevets sont utilisés depuis plus longtemps que les indicateurs bibliographiques, et sont considérés comme susceptibles de fournir des informations fiables sur la capacité d’innovation technologique d’un pays. Ils présentent cependant des défauts proches de ceux rencontrés chez leurs analogues bibliographiques, car les deux systèmes ne sont pas si différents, même si la situation en termes de bases de données, un peu moins « monopolistique » que pour les publications, et la possibilité de déposer des brevets en Europe, aux Etats-Unis, ou au Japon, rend les choses plus compliquées. D’un autre coté, ces bases de données sont parfaitement standardisées et presque exemptes d’erreurs, ce qui n’est pas le cas de la base de l’ISI, et de plus elles sont exhaustives.

Il y a de grandes différences dans les tendances à breveter, suivant les législations et administrations, les domaines technologiques, les entreprises. Par exemple, les brevets dans le domaine aérospatial sont plus rares et, en général, plus difficiles à déposer que dans l’ingénierie. Il y aussi le cas des activités liées à la défense, au nucléaire, et aux services, qui utilisent peu la protection du brevet, pour des raisons différentes. La « propension » à breveter (c’est-à-dire le pourcentage d’innovations créées qui donnent effectivement lieu à une demande de brevet) varie de 8% dans l’industrie textile à 80% dans l’industrie pharmaceutique, avec une moyenne globale d’environ 35%. Les industriels invoquent le plus souvent comme raison de ne pas breveter la facilité à « contourner » la protection offerte par le brevet, et pour la concurrence à « imiter » l’invention une fois que les détails techniques sont divulgués dans le brevet.

Toutes ces disparités sont peut-être encore plus fortes que dans le cas des publications scientifiques, et de plus un certain nombre de complications se mêlent aux phénomènes passés en revue plus haut : le secret industriel, la concurrence et les tactiques qui permettent de s’en protéger, les coûts élevés et différenciés du dépôt puis de l’entretien des brevets, les délais parfois longs (et variables) pour arriver à l’obtention du brevet ou à sa publication, les différentes variétés de brevets, et encore l’internationalisation croissante des firmes (le pays de l’inventeur du brevet et celui de son propriétaire pouvant alors être distincts, le choix du pays pouvant dépendre de son attractivité, de sa fiscalité, etc.). Tout ceci complique considérablement l’interprétation des indicateurs basés sur les dépôts de brevets, et si leur utilisation pour comparer les pays entre eux est difficile, elle est généralement considérée comme fallacieuse quand l’échelle de l’entité étudiée est petite.

L’évolution récente du nombre de brevets déposés dans le monde montre une forte croissance (environ 10% par an depuis 1995). En dehors de la montée en puissance des pays émergents et des « petits » pays sur la scène technoscientifique, les entreprises à forte dominante technologique multiplient les brevets (biotechnologie, logiciel, etc.), d’une part pour s’assurer les droits d’exclusivité sur leurs découvertes et inventions, mais aussi pour bloquer ou ralentir le dépôt de brevets des firmes concurrentes. Dans ce dernier cas, assez banal mais difficile à distinguer du premier, les dépôts ne peuvent guère prétendre à indiquer le degré de performance en innovation (à moins de considérer l’innovation juridique, peut-être). Il y a aussi une augmentation des dépôts opérés par la recherche publique (surtout dans les pays anglo-saxons, mais pas seulement), certainement pour partie liée aux changements qui se produisent dans ce secteur depuis une dizaine d’années, et à une politique accrue de protection de la propriété intellectuelle des organismes de recherche publics. Cette tendance est renforcée par l’explosion récente de la taille des marchés ouverts aux nouveaux produits, le prix du dépôt de brevet s’en trouvant relativisé et ne représentant plus qu’un élément comme un autre à prendre en compte dans le retour sur investissement. Il faut noter ici un phénomène existant en France (et même en Europe), quantifié par différentes études : le nombre de brevets effectivement co-développés par les universités françaises semble largement sous-estimé. En effet, très souvent le dépositaire final du brevet n’est pas l’université elle-même mais un partenaire privé, ou encore un organisme de recherche (dans le cas de l’université Louis Pasteur, une étude a dénombré 62 brevets détenus par cette université, alors que 463 en seraient issus directement). Précisons tout de même que les revenus générés par les brevets sont de faible ampleur : même dans les grandes universités nord-américaines, championnes dans ce domaine, cette source de financement ne représente au mieux que quelques pourcents du total (souvent moins), et est souvent dépendante d’un tout petit nombre de brevets particulièrement marquants…et rares. De fait, dans les institutions universitaires américaines, les revenus des brevets sont presque négligeables face aux autres « ressources propres » que sont respectivement les dons privés, les frais payés par les étudiants et les revenus liés aux placements sur les marchés financiers spéculatifs réalisés par leurs services spécialisés.
Un autre indicateur souvent cité en France : la participation aux Programmes Cadres de Recherche et Développement technologiques européens (PCRD)

Pour encourager la recherche et l’innovation, les projets technologiques, et plus récemment accélérer l’avènement en Europe de la « société de la connaissance », l’Europe a institué depuis 1984 une série de programmes cadres successifs (actuellement, c’est le 7ème programme cadre qui est exécuté) dotés d’enveloppes budgétaires communautaires qui ont grossi régulièrement depuis la création des PCRD, pour atteindre aujourd’hui 50 Milliards d’euros pour la période 2007-2013 (avec notamment 7 Milliards pour la mise en place de l’ERC : le conseil européen de la recherche). Les équipes et laboratoires de recherche européens peuvent concourir pour obtenir des financements pour leurs activités de R&D. Or, les sommes obtenues par les laboratoires français semblent systématiquement inférieures à celles de leurs homologues allemands ou britanniques (même si l’écart semble se resserrer). Ce phénomène a été rapporté dans différents documents gouvernementaux (rapports du Sénat, rapport Guillaume 2007, etc.), pour argumenter sur la faible « compétitivité » de la recherche en France et donc la nécessité de réformes structurelles profondes.
Ce critère quantitatif de la « participation » aux PCRD a été retenu comme un critère du programme 150 de la LOLF (objectif 11, indicateur 1) appliqué aux formations supérieures et à la recherche universitaire. L’OST a par ailleurs été chargé de produire certains des différents (et nombreux) indicateurs de performance du plan 150. Or les chercheurs de cet observatoire ont mis en évidence la difficulté suivante : un laboratoire peut très bien participer à un contrat PCRD sans en être signataire (dans le cas des UMR, par exemple, une seule tutelle peut signer le contrat, à cause de limitations légales)…et dans la base de données européenne CORDIS qui répertorie (entre autres) ce type d’informations, seuls les signataires sont pris en compte. D’où une sous-estimation probable (et difficile à quantifier) de la position de la France dans le PCRD.

La France

En 2001, pour la part de dépôts de brevets mondiale, la France était placée en quatrième position (à l’Office Européen des Brevets, OEB) et en cinquième position (à l’office équivalent américain, USPTO) ; elle était devancée par les Etats-Unis, le Japon, l’Allemagne (et le Royaume-Uni dans le second cas). L’évolution de cette part de 1992 à 2001 montre une nette tendance à la baisse : -2.9% (OEB) et -2.3% (USPTO) par an en moyenne sur cette période. Ce changement est important, mais il faut le relativiser, car la presque totalité des pays du G7 ont vu leur part baisser dans des proportions comparables pendant la période (notamment le Japon, le Royaume-Uni, et l’Allemagne, surtout pour les brevets américains dans ce dernier cas), cela n’empêche pas la France de se retrouver mal classée dans le tableau de la croissance des parts de dépôts de brevets. Pendant la décennie étudiée, des pays comme le Portugal (+12% par an en Europe), la Finlande, l’Espagne, la Grèce, le Danemark (+5% par an aux Etats-Unis), la Suède, la Belgique voient leurs parts de dépôts de brevets croître vigoureusement. Mais c’est en dehors de l’Europe, dans les pays développés d’Asie, que l’on trouve les croissances records : environ +20% par an pour la Corée du Sud, Singapour et la Chine (qui partait cependant de très bas en 1992). La Corée du Sud et Taïwan ont d’ailleurs depuis longtemps (1997) remplacé la France et le Canada dans le classement des cinq premiers pays déposant des brevets aux Etats-Unis.

Pour l’Europe des 15 considérée dans son ensemble (EU-15), la décroissance de la part de dépôts de brevets européens par les pays membres est constante pendant presque toute la période (la part américaine croît fortement), alors qu’il y a eu une inversion positive de cette tendance vers le milieu de la décennie pour les dépôts de brevets américains par l’EU-15 (la part américaine se stabilisant ou diminuant). Dans le cas des brevets européens, pour l’EU-15 les variations les plus marquées de la décennie se produisent dans les domaines des télécommunications, de la biotechnologie, de la pharmacie et de l’application médicale.

On retrouve donc ici le schéma déjà observé pour les publications scientifiques : les pays en tête de la croissance de parts de brevets sont, dans une certaine mesure, spécialisés dans les secteurs de l’industrie technologique les plus avancés et dynamiques (croissance exponentielle des investissements et des marchés), qui sont par nature, et plus que d’autres domaines, générateurs de brevets. Ainsi la Belgique, le Danemark (et le Royaume-Uni) sont plutôt spécialisés en biotechnologie et pharmacie ; la Finlande, les Pays-Bas, la Suède ont une forte implantation en télécommunications (société Nokia pour la Finlande notamment). Bien sûr, il faut rappeler que tous ces pays ont, à l’heure actuelle (en dehors du Royaume-Uni), des parts de dépôts de brevets européens et américains bien plus petites que celles de pays comme la France ou l’Allemagne, et que globalement la part mondiale de dépôts est fortement corrélée à l’investissement privé du pays en R&D rapporté au PIB.
Ces pays sont aussi ceux dans lesquels la présence de firmes multinationales est affirmée (dans le cas du Royaume-Uni et de la Suède ces sociétés sont américaines en majorité, et européennes pour les autres « petits » pays), ce qui compromet un peu l’interprétation des parts de brevets comme indicateur du dynamisme local de l’innovation. En effet, les filiales de ces firmes déposent localement des brevets inventés ailleurs (la proportion de brevets reposant sur des innovations d’origine étrangère déposés au Royaume-Uni, et alors considérés comme d’origine britannique parce que la firme propriétaire est britannique, est estimée en 1999 à 38.3% des principaux dépôts de brevets européens dans ce pays, pour la France l’estimation est de 21.8%).

Le profil de spécialisation de la France est plus équilibré (sa population est plus importante), et fait plus de place aux activités moins centrées sur les hautes technologies (ingénierie entre autres), avec tout même une part importante des dépôts de brevets européens en pharmacie. Cependant, dans la plupart des secteurs dits « de pointe » (télécommunications, technologies de l’information, instrumentation, pharmacie, biotechnologies, etc.), la part de dépôts de brevets de la France a diminué sensiblement de 1992 à 1999. Dans le secteur de la biotechnologie, où elle était pourtant clairement en dessous de ses concurrents dès le début de la décennie, la France n’a pas progressé (4% de parts de brevets européens en 1999, comparé à 7% environ pour l’Allemagne et le Royaume-Uni), ce que ne manque pas de relever le rapport de la Direction Générale de la Recherche de la Commission Européenne.
Pour résumer, on ne peut guère nier, sur la base de ces informations, la chute de la part mondiale française du nombre de dépôts de brevets, mais beaucoup d’autres pays considérés comme des puissances moyennes sont dans ce cas. Ce qui est en général regardé comme plus inquiétant est l’absence de rattrapage du retard de la France en terme de dépôts de brevets dans le secteur des technologies avancées (l’informatique, les services, et surtout les biotechnologies, qu’il ne pas confondre avec la biologie fondamentale où la France est très active).
Ici, il faut noter que ce serait faire porter à la recherche publique française en sciences de la vie (et aux chercheurs qui travaillent dans ce domaine) une lourde responsabilité que de la voir à l’origine de cette situation. Le « coupable » auquel on pense au premier chef est bien plutôt l’absence d’ambition dans ce domaine des industriels opérant en France, ou leur facilité à investir aux Etats-Unis, par exemple. Quand au « déclin technologique » de la France, il est relativisé (au moins dans le court terme) par la bonne tenue d’un autre indicateur, dont on parle moins : la part du marché mondial de la haute technologie. En 2001, la France était en quatrième position (7.4%), proche de l’Allemagne (8.1%) et du Japon (8.94%) ; les Etats-Unis étaient les lointains premiers avec 37.5%. La part française est l’une des rares à avoir augmenté durant la période 1996-2001 parmi les pays européens « moyens ».
En tout cas, quelle que soit l’issue du débat sur le financement (public et privé) et l’orientation de la recherche, sur sa « sous-utilisation » par l’industrie, on voit que la problématique se détourne insensiblement du questionnement sur l’efficacité et la productivité du système de recherche français, questionnement qui semble plutôt hors sujet finalement.

Il faut donc insister sur la fragilité des indicateurs basés sur les brevets pour jauger la performance et le « retour sur investissement R&D » pour la société en général. Les indicateurs de citations et de brevets sont séduisants, en partie parce qu’ils offrent le confort trompeur d’une objectivité qui découlerait d’une séparation entre observateur (le scientomètre, ou le gestionnaire, ou l’évaluateur) et observé (le reste de la communauté scientifique). Cette séparation est évidemment illusoire comme en témoignent les difficultés à comprendre les résultats des analyses bibliométriques sans une connaissance approfondie du milieu de la recherche. Nous avons vu ces difficultés dans le cas où l’on veut comparer des pays entre eux : elles deviennent encore plus gênantes quand on diminue la taille de l’échantillon d’étude (instituts, laboratoires, individus), Garfield a toujours dit lui-même que les indicateurs de publications ne devaient pas être utilisés pour évaluer de petits groupes ou des personnes. Pour l’instant, il est donc raisonnable d’affirmer que l’interprétation de ces indices doit être réservée à un petit nombre de spécialistes (experts en scientométrie, sociologues des sciences, économistes de l’innovation…), et cela à des fins d’études scientifiques, et non pas d’évaluation directe.

Conclusion

Les conclusions précédentes décrédibilisent les interprétations actuelles, souvent idéologiques, tirées d’une prise en compte superficielle des indicateurs d’extrants bibliométriques et technométriques. Mais, au fond, elles ne remettent pas fondamentalement en question la validité scientifique de l’approche scientométrique : rien ne dit que dans un futur hypothétique, les progrès de la science et de la technique aidant, les moyens consacrés à la scientométrie augmentant, les bases de données s’améliorant, on ne parviendra pas à construire un ensemble d’indicateurs (peut-être bien différents de ceux existant aujourd’hui) qui sera vraiment défendable sur le plan scientifique, et donnera des informations non biaisées, facilement interprétables, et acceptées par un grand nombre de personnes. Cela paraît aujourd’hui difficile à imaginer, mais ce n’est pas impossible. Dans ce cas de figure, beaucoup de problèmes seraient résolus : les embauches, les carrières, les nominations de professeurs, les attributions de prix Nobel pourraient être décidées sur la base de ces indicateurs, peut-être même automatiquement… Une critique plus profonde et plus générale de ce type d’approche est possible, mais nous ne pouvons la développer ici.

Pour terminer, nous signalerons un point de vue un peu plus large sur cette question des indicateurs, reformulée dans un contexte sociologique et historique : il s’agit des travaux de Benoît Godin, et de son projet de « Sociologie de la Statistique », qui tout en défendant la réelle possibilité d’arriver à progresser sur la voie de l’évaluation objective en sciences, y compris par l’utilisation d’indicateurs bibliométriques, montre par son étude (fort documentée) de l’histoire des indicateurs actuels, de la manière dont ils se sont imposés er de leurs conditions de production qu’il y a encore beaucoup de chemin à parcourir pour arriver à l’Objectivité.