Yves Gingras : "On ne peut pas considérer que les universités européennes sont à la traîne" - Toute l’Europe, 3 novembre 2009

Tous les ans depuis 2003, le classement de Shangai propose un classement des principales universités mondiales. Disponible en ligne, l’édition 2009 de "l’ARWU" (Academic Ranking of World Universities) place à nouveau les universités américaines largement en tête. La Grande-Bretagne s’en tire bien, mais le reste de l’Europe est reléguée au-delà de la 20e place pour les "meilleures" d’entre-elles. Alors que parallèlement se profile un projet européen de classement des universités, le chercheur Yves Gingras met en garde contre l’effet "marketing" de l’AWRU. [Yves Gingras est Professeur dans le Département d’histoire du Centre interuniversitaire de recherche sur la science et la technologie (CIRST). Il détient la chaire de recherche du Canada en histoire et sociologie des sciences à l’UQAM [note de SLU].

Touteleurope.fr : Dans le classement 2009 de Shangai, les universités américaines (et anglaises) sont à nouveau en tête. Peut-on considérer que les universités européennes sont à la traîne ?

Yves Gingras : On ne peut pas, de façon générale et sans plus de précision, considérer que les universités européennes sont « à la traîne », car pour affirmer cela il faudrait d’abord préciser les objectifs visés par les universités et ensuite s’assurer que les indicateurs choisis en soient le reflet. Or, leurs missions sont multiples et répondent à des demandes et besoins locaux qui varient selon les régions et pays.

Donc il faut demander « à la traîne » de quoi au juste ? On oublie toujours qu’un indicateur doit être construit en fonction de ce qu’il doit mesurer. Pour la recherche scientifique par exemple il est certain que le nombre d’articles est un bon indicateur. Mais ce nombre varie selon les disciplines et le nombre de professeurs au sein de l’université. Il faut donc le diviser par le nombre de professeurs pour pouvoir vraiment comparer deux institutions. On devrait aussi tenir compte du budget dévolu à la recherche dans l’université tant il est évident que l’on ne peut faire la même chose et de la même qualité avec un million et cent millions d’euro. Pour l’enseignement il s’agit de former des diplômés avec une bonne culture et une capacité de se trouver un emploi. Cela demande évidemment d’autres mesures que les publications et les citations ! Bref, on ne peut répondre à cette question dans sa formulation générale, sans en fait accepter sans se poser de question les critères implicites au classement.

Touteleurope.fr : Quels sont les disciplines universitaires dans lesquels l’Europe s’en tire le mieux, et pourquoi ?

Y.G. : Les médias ont déjà commencé à commenter les résultats en disant par exemple qu’il y a une « légère progression des universités françaises ». Cette phrase anodine prend pour acquis que le classement permet vraiment de faire ces distinctions entre quelques rangs. Or cela n’est absolument pas le cas !

Les auteurs de telles affirmations prennent en fait une fluctuation statistique annuelle pour un changement causal significatif. Or, selon les données utilisées, des changements de 2 ou même 4 rangs résultent du bruit statistique lié à la variance naturelle des mesures et n’ont strictement aucune signification. Il faut en effet être naïf ou cynique pour affirmer que le passage de 42 à 40, ou de 73 à 70, est la « preuve d’une amélioration réelle ». Aucune université ne peut vraiment changer en une seule année et seules des tendances, croissantes ou décroissantes, régulières sur plusieurs années consécutives indiqueraient des modifications réelles.

À cet égard, les observateurs ne semblent pas avoir observé un détail crucial : après les 100 premières places, le classement de Shanghai regroupe les universités par grappes de 50 entre 200 et 300 et par groupe de 100 par la suite. C’est que les concepteurs du classement ont bien sûr réalisé que plus l’on descend l’échelle plus les fluctuations sont importantes et donc sans aucune signification. De plus, il est significatif que le nombre d’institutions ex æquo augmente après 50, d’où leur regroupement en grappes de 50 et ensuite de 100.

Pour interpréter correctement la position des universités européennes selon les disciplines, il faudrait d’abord refaire les indicateurs. Accepter d’interpréter ce classement 2009 présuppose qu’il est valide, ce que je conteste.

Touteleurope.fr : Comment est réalisé ce classement ? Quels sont ses avantages et ses défauts ?

Y.G. : Comme je l’ai montré en détail ailleurs (La Recherche, no 430, mai 2009, pp. 46-50), autant le choix des indicateurs que leur pondération sont mal fondés [1]. Si le choix du nombre d’articles et de citations est parfaitement acceptable comme indices de la recherche, encore faudrait-il les normaliser pour tenir compte de la différence entre les disciplines et entre une université avec faculté de médecine et une autre sans faculté de médecine car il est évident que les premières publient davantage que les secondes sans être pour autant « meilleures ». Elles appartiennent à des classes différentes et ne devraient pas être amalgamées. Aussi, il faudrait non seulement tenir compte du nombre de professeurs (ce qui est fait) mais aussi du nombre de chercheurs postdoctoraux qui sont très importants en sciences biomédicales aux Etats-Unis et dont l’absence biaise les résultats.

Mais le critère le plus bizarre est bien sûr le fait d’attribuer des points à une université ou un prix Nobel a fait son baccalauréat ou sa maîtrise il y plus de 20 ans comme si cela était une mesure de la qualité de l’université en 2009 ! Ces prix reflètent en effet des travaux qui datent souvent de plusieurs décennies et ne reflètent pas la qualité actuelle des universités.

Enfin, il faut noter que le choix des poids attribués aux variables est arbitraire. Affirmer, comme le font les auteurs, que leur classement est fondé sur des critères « objectifs et facilement vérifiables » (Le Monde, 31 octobre 2009) est un sophisme. En effet, il ne s’agit pas de savoir si le nombre de prix Nobel et le fait qu’ils aient fait leur maîtrise ou leur doctorat à l’université X est objectif » ou non, mais de savoir si cet « indicateur » est bel et bien un indice de la « qualité » de l’université X en 2009. La réponse est oui si la recherche menant au Nobel a été faite dans l’institution X et qu’il s’y trouve toujours, mais plutôt non si l’université a simplement eu le lauréat comme étudiant ou qu’il a quitté et emporté avec lui son expertise unique. On ne peut en effet imputer à l’université la qualité du futur lauréat parce qu’il a fait une partie de ses études à l’université X… Enfin, certains indicateurs sont redondants : le nombre d’articles dans Nature et Science (20%) et le nombre de chercheurs hautement cités (20%) est en effet relié car les publications dans Nature et Science sont parmi les plus citées. De plus, ce nombre est déjà inclus dans le nombre total de publications qui compte aussi pour 20%. En somme, les indicateurs choisis et leur poids ne sont pas vraiment analysés et ils ne sont pas toujours adéquats à ce qui est vraiment mesuré.

La distribution des universités présentes dans le « top 100 » pour les sciences sociales montre de façon évidente que les indicateurs choisis (publications et citations tirées du Social science citation Index) sont totalement inadaptés à la réalité des sciences sociales et humaines. En effet, qui peut sérieusement croire que 8 universités canadiennes sont dans ce « top 100 » en sciences sociales et aucune université française ! Ici, le biais est flagrant et s’explique par la sous-représentation des revues francophones dans la base de données utilisée, biais qui n’est pas important en sciences de la nature et en médecine car les scientifiques publient essentiellement en anglais dans ces domaines. Le biais énorme est aussi relié au fait qu’en sciences sociales et humaines c’est encore le volume qui est important et non les articles.

Enfin, il s’explique par le fait que les citations dans ces domaines restent très nationales, les Américains par exemple ne citant à peu près jamais de travaux en langue française. Or, ce sont les publications américaines qui sont les plus représentées dans la base de données utilisée. La forte présence du Canada parmi le « top 100 » s’explique par contre par le fait que la majorité de leurs articles sont en anglais et que plusieurs sont écrits en collaboration avec des chercheurs américains. Il serait donc très mal venu et même dangereux de tirer des conclusions sur la « qualité » des universités dans le secteur des sciences sociales en utilisant le classement de Shanghai.

Pour lire la suite