Enseignants-chercheurs : pourquoi il ne faut pas (nécessairement) recruter les candidats des meilleurs labos…

Article passionnant de John P. Conley and Ali Sina Onder trouvé via Freakonometrics.

Je vous explique la problématique : supposons qu’une faculté d’économie de province, au hasard Poitiers, doive recruter un maître de conférences. Des candidats issus de différentes facultés françaises vont postuler, certains issus des sites considérés comme les plus performants (disons Toulouse School of Economics (TSE) et Paris School of Economics (PSE) en France), d’autres de sites considérés comme moins performants. Vaut-il mieux recruter un candidat de « milieu de tableau » de PSE ou TSE, ou bien un candidat de « haut de tableau » d’un site moins performant? On pourrait supposer qu’un candidat de « milieu de tableau » de TSE ou PSE est préférable : ces sites sont très attractifs, ils attirent les meilleurs candidats en thèse, même les moyens doivent être très bons, meilleurs que les bons des universités moyennes, en tout cas. De plus, les formations qu’ils dispensent et l’encadrement doctoral assuré par les directeurs de thèse, eux-mêmes considérés comme étant les plus performants, doivent permettre de « produire » les meilleurs docteurs et les futurs meilleurs chercheurs.

C’est précisément ce type de problématique qui est traité dans l’article cité, qui s’appuie sur des données américaines. Les auteurs ont collecté des informations sur la productivité des docteurs, six ans après leur recrutement comme Assistant Professor et ont regardé si ce qui comptait le plus, dans leur performance, était le site d’origine (departmental rank) ou leur rang dans leur département d’origine (class rank).

Résultats :

  • c’est le class rank qui est déterminant, il vaut donc mieux recruter un très bon d’un site moyen qu’un moyen d’un site très bon,
  • la performance des docteurs décroît très vite dans tous les sites, le docteur médian issu d’Harvard obtenant un score loin de lui permettre d’obtenir une tenure (d’être titularisé en quelque sorte) dans quelque département que ce soit,
  • tout ceci semble indiquer que les meilleurs sites ne font pas un très bon travail en terme de formation puisque seuls leurs meilleurs étudiants vont réussir à devenir de très bons chercheurs.

Bien sûr, il s’agit d’un travail sur données américaines, la transposition au cas français est sujette à caution. Mais pour avoir participé à pas mal de jury de recrutement en économie, je le trouve instructif. Il est arrivé assez souvent que des candidats issus de sites très réputés ne comprennent pas, mais alors absolument pas, comment il était possible qu’ils se soient fait « doubler » par des candidats issus de petites universités de province. J’ai eu écho, également, de normaliens ou de polytechniciens devenus docteurs ne comprenant pas plus comment il était possible qu’ils ne soient pas recrutés, au profit de candidats issus de simples facs.  Dans tous les cas, leur tendance naturelle les conduit à dénoncer des systèmes de recrutement nécessairement mauvais, qui ne le sont pas toujours…

Le qualifié, l’évaporé, le faux évaporé et le quasi-évaporé…

Rappel des épisodes précédents et élargisemment de la problématique : Pour être recruté dans l’enseignement supérieur en France, il faut passer par une phase nationale de qualification, puis candidater sur les postes ouverts au concours dans les différentes Universités.

Baptiste Coulmont a montré dans cet article que dans l’ensemble des personnes qualifiées,  certaines ne candidataient pas. Sur la campagne 2012, le taux d’évaporés est de 43,5%. Taux qui monte avec le temps, puisqu’il n’était que de 34% en 2007. J’avais un peu complété dans mon billet précédent pour montrer que ce taux d’évaporation était lié positivement au taux de qualification (plus une section qualifie de personnes, plus la proportion d’évaporés augmente) et du taux de pression (plus le rapport candidats/postes est élevé, plus il y a d’évaporés). On observe également des effets disciplinaires (plus d’évaporés en Sciences et Pharmacie).

Ce matin, Gaia Universitas reprend ce chiffre pour alimenter un autre débat : faut-il supprimer la qualification, comme le suggère le rapport Berger? Les phases de qualification mobilisent en effet de nombreux collègues qui pourraient sans doute être plus utiles à faire de la recherche, à préparer des cours, à expertiser des projets de recherche, etc. Quand on constate que 43,5% des qualifiés ne candidatent même pas, on se dit que franchement…

Hier soir, enfin, Baptiste Coulmont a posté un message twitter en exploitant un autre chiffre du même document du Ministère :

Ce à quoi Mixlamalice répond :

Si on garde en tête la question de la suppression de la qualification, ça en rajoute une couche : non seulement une bonne part des qualifiés ne candidatent jamais, mais une bonne part de ceux qui candidatent ne sont jamais recrutés… Ça commence à faire cher pour pas grand chose…

Cependant, je pense qu’il faut être prudent avec ces chiffres. D’où ce petit billet, qui exploite un autre tableau du Ministère, celui sur la cohorte des qualifiés de 2008, suivis jusqu’en 2012 (tableau utilisé par Baptiste Coulmont pour son message twitter).

43,5% d’évaporés?

Les chiffres que Baptiste Coulmont et moi-même avons utilisé dans nos premiers billets concernent la cohorte des qualifiés de 2013. On obtient effectivement un taux d’évaporation de 43,5% pour l’ensemble des sections CNU. Petit complément en passant, ce taux varie fortement selon les sections :

Section taux d’évaporation
Lettres 28,3%
Droit 22,8%
Pharmacie 50,8%
Sciences 50,7%

Comme on le voit, il est fort en Sciences et Pharmacie, bien plus faible en Lettres et Droit. Dans tous les cas, il y a une limite à ces chiffres : si certains qualifiés n’ont pas candidaté cette année, rien ne nous dit qu’ils ne vont pas candidater l’an prochain… Les données sur la cohorte 2008 nous aident à aller plus loin.

Si on regarde les chiffres de cette cohorte, on peut d’abord refaire le même calcul que pour la génération 2013 : combien de qualifiés 2008 n’ont pas candidaté en 2008? On obtient un chiffre de 35%.

Mais les chiffres sur la cohorte nous permettent de dénombrer les personnes qui certes n’ont pas candidaté en 2008, mais qui ont candidaté en 2009, 2010, 2011 ou 2012 (une qualification est en effet valable quatre ans). Les vrais évaporés sont ceux qui, qualifiés en 2008, n’ont jamais candidaté sur toute la période de validité de leur qualification. Les autres sont des faux évaporés. Le taux d’évaporés n’est alors plus de 35%, mais de 21%, ce qui est nettement plus faible…

Comment expliquer que des qualifiés en 2008 ne candidatent pas en 2008, mais en 2009 ou après? Je pense que certains docteurs, au moment où ils tentent la qualification, sont déjà engagés dans des contrats de type post-doctorat. Même s’ils obtiennent la qualification, ils terminent d’abord leur post-doc d’un à deux ans et candidatent au retour. Dans certaines disciplines, le passage par la case post-doc est d’ailleurs obligatoire. Peut-être y-a-t-il d’autres explications, je suis preneur.

L’Université ne recrute pas ses docteurs?

On peut regarder les mêmes chiffres autrement, pour se concentrer sur les recrutés. Dans l’ensemble des qualifiés 2008, seuls 34,2% sont recrutés avant 2013. Est-ce à dire, comme le suggère @mixlamalice, que l’Université n’aime pas ses docteurs? Là encore, les choses me semblent plus compliquées…

D’abord, ce chiffre concerne les qualifiés Professeurs et Maîtres de Conférences. Il est en fait un peu plus faible si on se concentre sur la catégorie des Maîtres de Conférences : il est de 31%. Mais attention, les vrais évaporés sont comptabilisés! Si on exclut (logiquement) les personnes qui ne candidatent jamais, le ratio n’est pas de 31%, mais de 39%, ce qui est un peu mieux…

On peut même sans doute aller un cran plus loin : en plus de la distinction entre vrais évaporés et faux évaporés, je propose d’introduire la catégorie des quasi-évaporés : des personnes qualifiées, qui candidatent une fois en 2008, ne sont pas retenus et ne candidatent jamais ensuite. On peut considérer que ces personnes ont trouvé un emploi hors Université qui leur convient plutôt, puisqu’ils ne retentent pas leur chance. Je sais, ça peut être plus compliqué, mais cette hypothèse n’est pas aberrante. Difficile en tout cas de considérer que l’Université ne veut pas d’eux… Si l’on rapporte le nombre de recrutés non plus à l’ensemble des qualifiés mais à cet ensemble moins les vrais évaporés et les quasi-évaporés, le chiffre monte alors à 49%. En procédant de même pour les personnes candidatant deux fois de suite et ne candidatant plus ensuite, il monte à 55%.

Bref, des conclusions à nuancer parfois et une incitation forte à poursuivre l’analyse (les comportements de la cohorte 2008 sont sans doute très différents selon les disciplines). Dans cette perspective, Baptiste Coulmont a demandé au Ministère s’il pouvait mettre à notre disposition des données individuelles anonymisées, pour mieux cerner cette question de l’évaporation. J’espère sincèrement qu’ils vont accepter. Ce serait ballot que le Ministère de l’Enseignement Supérieur et de la Recherche nous empêche de développer de nouvelles connaissances, surtout lorsqu’il s’agit de mieux comprendre le comportement d’acteurs dont ils financent en grande partie le doctorat…

L’évaporation académique : les qualifiés non postulants

Billet intéressant de Baptiste Coulmont sur l’évaporation académique. Petite explication : pour décrocher un poste à l’Université, il faut, avant de postuler, passer par une phase de qualification en déposant un dossier auprès du CNU. Si on est qualifié, on peut candidater là où des postes sont ouverts.

Baptiste Coulmont a collecté des statistiques sur le site du Ministère sur le nombre de candidats à la qualification, le nombre de personnes qualifiées, le nombre de personnes qui candidatent une fois qualifiées et le nombre de poste, le tout par section disciplinaire. A partir de ces chiffres, il est possible de calculer différents ratio :

  • le taux de qualification, rapport entre le nombre de personnes qualifiées et le nombre de candidats à la qualification,
  • le taux d’évaporation, rapport entre le nombre de candidats qualifiés qui ne postulent pas ensuite et le nombre total de candidats qualifiés,
  • le taux de pression, rapport entre le nombre de candidats qualifiés postulant et le nombre de postes ouverts.

En quelques graphiques, Baptiste Coulmont montre que le taux d’évaporation est corrélé postivement au taux de qualification : les sections les plus « laxistes » sont celles pour lesquelles l’évaporation est la plus forte. Il est également corrélé positivement au taux de pression : plus le ratio candidats/postes est fort, plus l’évaporation est forte, des personnes qualifiées ne prennent sans doute pas la peine de postuler lorsqu’ils savent que les chances de décrocher un poste sont particulièrement faibles. Il semble cependant que le lien soit plus fort entre taux d’évaporation et taux de qualification qu’entre taux d’évaporation et taux de pression, ce que je me suis empressé de vérifier en construisant une petite matrice des corrélations :

tx_evap tx_qua~f tx_pre~n
tx_evap 1.0000
tx_qualif 0.7156 1.0000
tx_pression 0.4604 0.4759 1.0000

Intuition vérifié, le coefficient est sensiblement plus fort. Cependant, à bien y regarder, il y a une section atypique dans l’ensemble des sections disciplinaires : la section 72 (Epistémologie, histoire des sciences et des techniques). Elle prend des valeurs « aberrantes », aussi vaut-il mieux l’exclure des calculs (Baptiste Coulmont l’a d’ailleurs enlevée pour construire ses graphiques). On obtient cette nouvelle matrice :

tx_evap tx_qua~f tx_pre~n
tx_evap 1.0000
tx_qualif 0.7357 1.0000
tx_pression 0.6439 0.4850 1.0000

L’écart se réduit sensiblement. On note également que la corrélation entre taux de qualification et taux de pression reste assez faible.

Dans son graphique le plus abouti, Baptiste Coulmont représente les trois indicateurs :

En abscisse ce que j’appelle le taux de pression, en ordonnée le taux d’évaporation, les codes couleurs permettent de différencier les taux de qualification.

Pour aller un cran plus loin, j’ai testé une petite régression avec comme variable expliquée le taux d’évaporation et en variables explicatives le taux de qualification et le taux de pression. J’ai également introduit une variable par grande discipline (Droit, Lettres, Sciences, Pharmacie), pour savoir s’il existait, au-delà de ces taux, des spécificités disciplinaires. La section 72 est toujours exclue des calculs. On obtient ceci :

Coefficient Ecart-type
tx_qualif 0,383 0,123 ***
tx_pression 0,012 0,003 ***
Lettres référence
Droit -0,063 0,055
Pharmacie 0,121 0,067 *
Sciences 0,084 0,039 **
Constante 0,011 0,076

Le modèle est plutôt bon, il explique près de 70% de la variance des taux d’évaporation. Les deux taux (taux de qualification et taux de pression) influent positivement sur le taux d’évaporation. On remarque également que par rapport aux sections « Droit », les sections « Sciences » et « Pharmacie » influent positivement sur le taux d’évaporation. Pas de différence entre Droit et Lettres, en revanche.

J’ai testé le même modèle en introduisant une nouvelle variable pour intégrer la taille des sections. J’ai simplement ajouté le nombre de personnes qualifiées pour intégrer cet élément. Les résultats sur les autres variables sont peu modifiés, la variable introduite est elle-même significative et joue négativement : plus une section est grande, moins le taux d’évaporation est élevé.

Coefficient Ecart-type
tx_qualif 0,381 0,119 ***
tx_pression 0,011 0,003 ***
qualif -0,0003 0,000 **
Lettres référence
Droit -0,068 0,053
Pharmacie 0,122 0,065 *
Sciences 0,133 0,045 ***
Constante 0,056 0,077

Je ne pense pas qu’on puisse aller plus loin dans l’analyse avec les statistiques disponibles, mais comme suggéré dans le document du Ministère, une analyse plus poussée de ce phénomène d’évaporation ne serait pas inintéressant, une enquête auprès d’une cohorte de personnes concernées serait sans doute la meilleure stratégie dans ce sens.