Les taux de réussite en licence : classement des Universités

Le Ministère de l’enseignement supérieur vient de sortir les derniers chiffres sur les taux de réussite en licence : taux de réussite L1/L2, d’une part, taux de réussite de la licence en 3 ans, d’autre part. L’intérêt est cependant ailleurs selon moi : le Ministère calcule en effet le taux de valeur ajoutée des établissements, en calculant la différence entre le taux de réussite observé et le taux de réussite attendu, compte-tenu des caractéristiques des entrants. Par exemple, Paris 4 et Paris 6 ont plutôt des bons taux de réussite à la licence en 3 ans, mais leur valeur ajoutée est plutôt faible (0,9 points pour Paris 4, -0,1 pour Paris 6), leurs bons scores semblent donc s’expliquer principalement par les caractéristiques des entrants.

Le Monde a rendu compte de ces chiffres dans cet article, et a fait un focus sur l’Université d’Angers, qui est sur la première marche du podium (Poitiers s’en sort également très bien, avec le 7ème taux pour le passage en L2, le troisième pour la réussite de la licence en 3 ans et le 6ème pour la valeur ajoutée sur ce dernier critère).

L’article sur Angers laisse entendre au début qu’il y aurait un effet taille, avec avantage aux « petites universités ». Je me suis donc empressé de calculer le lien entre la valeur ajoutée des universités et le nombre d’inscrits :

  • pour le passage L2, pas de lien statistiquement significatif,
  • pour la réussite en 3 ans à la licence, lien négatif mais faiblement significatif (significatif au seuil de 10%), 1000 étudiants en plus en licence réduirait de 1 point de pourcentage la valeur ajoutée,
  • pour la réussite en 3 ou 4 ans (cohorte 2010), pas de lien statistiquement significatif.

Bref, être une petite ou une grande Université, ça ne joue pas vraiment sur la valeur ajoutée des établissements…

En complément, je vous signale que j’avais analysé ce type d’exercice il y a quelques mois, après la parution des chiffres de l’année précédente, en alertant sur l’intérêt et les limites de l’exercice. Je vous renvoie à ce billet et vous rappelle rapidement quelques points importants :

  • la réussite est moins lié à l’Université qu’à la filière de bac, bons taux pour les bacs généraux, beaucoup moins pour les bacs technologiques, encore moins pour les bacs pro,
  • la problématique de l’échec est massivement une problématique L1, ensuite les taux sont élevés voire très élevés, et sur l’échec en L1, voir le point précédent,
  • problème important dans les données : le Ministère ne peut pas suivre les L1 qui se réorientent hors Université (en BTS, prépa, écoles notamment), les étudiants concernés sont donc considérés comme ayant échoué, ce n’est bien sûr pas toujours le cas, loin de là,
  • sur la valeur ajoutée des Universités, précision méthodologique importante, elle est calculée sur la base des caractéristiques observables des lycéens, des caractéristiques non observables peuvent jouer fortement, auquel cas on attribuera à tort à l’Université une valeur ajoutée à laquelle elle ne contribue pas.

Les taux de réussite à l’Université

Le ministère a publié en juillet dernier différentes statistiques sur la réussite dans les Universités françaises.  Avec des chiffres qui font peur : 27% des étudiants obtiennent leur licence en 3 ans, proportion qui monte à 39% pour les licences obtenues en 3 ou 4 ans. Le Monde vient de relayer l’information. L’objectif de ce billet est d’y voir un peu plus clair en évoquant différents points décisifs.

Premier point essentiel, ce taux de réussite varie très fortement selon la filière de bac des étudiants : plus du tiers des bacs généraux obtiennent leur licence en 3 ans et ils sont près de 50% à obtenir leur licence en 3 ou 4 ans, contre 15% pour les bacs technologiques et 5% pour les bacs professionnels. Raisonner sur un taux global n’a donc pas de sens, autant désagréger et s’interroger sur les moyens d’améliorer les choses pour chacun de ces sous-ensembles.

Deuxième point, il faut toujours faire attention quand on manipule ce genre de données, on a souvent du mal à appréhender les effets multiplicatifs. Je m’explique : supposons que le taux de réussite d’une licence soit de 70% en L1, 70% en L2 et 70% en L3, scores assez élevés. Devinette : quelle est la proportion d’étudiants qui obtiendront leur licence en 3 ans précisément ? Réponse : un tout petit plus d’un tiers… (0,7*0,7*0,7 = 34,3% très précisément). C’est ce que l’on observe pour les bacs généraux. Dans les faits, le taux n’est pas le même pour les trois années : pour Sciences Eco Poitiers, l’an dernier, ils sont respectivement de 50% en L1, 80% en L2 et 95% en L3, soit une probabilité d’obtenir sa licence en 3 ans de 38% et en 3 ou 4 ans de 66,5%. La problématique de l’échec à l’Université est massivement une problématique L1, qui concerne prioritairement les bacheliers technologiques et professionnels.

Troisième point, il faut également toujours s’interroger sur les données de base : en l’occurrence, le Ministère peut suivre la trajectoire des étudiants inscrits dans les Universités, mais ils perdent leur trace s’ils vont, après une L1, en BTS, en classe préparatoire ou en école. Ces étudiants qu’on ne peut plus suivre seront comptés comme ayant échoué dans leurs études, alors qu’en fait ils se sont réorientés et ont peut-être très bien réussi. Quelle est l’ampleur de ce phénomène ? Toutes universités, la proportion d’étudiants inscrits en L1 une année et non inscrits dans un établissement supérieur public l’année suivante est de 30,6%. On pourrait donc calculer un autre taux de réussite en retranchant ces étudiants du dénominateur, le taux d’obtention de la licence en 3 ans passerait en gros de 27% à 38% et le taux d’obtention en 3 ou 4 ans de 39% à 56%.

Une question importante reste cependant celui du devenir de ces non réinscrits. Le service statistique de l’Université de Poitiers (le SEEP) a enquêté les étudiants inscrits en 2012-2013, qui ne se sont pas réinscrits l’année suivante. Les résultats sont visibles ici. On y apprend que 27% des L1 ne se sont pas réinscrits l’année suivante, mais que ceci n’est pas synonyme d’arrêt des études. 71% sont en formation, massivement hors université : 34% en BTS, 23% en école, 6% en classe prépa, 10% en « autres formations », soit un total de 73%. Autre chiffre intéressant : 61% des non réinscrits se disent satisfaits de leur année de formation, certains se sont inscrits dans une stratégie d’attente d’être pris dans la formation de leurs choix, d’autres avaient fait le voeu prioritaire d’aller à l’Université et se sont rendus compte que ce système ne leur convenait pas (je vous laisse découvrir les nombreux verbatims, très instructifs).

Dernier point, on observe des différences fortes de taux de réussite : une réussite en 3 ou 4 ans, en moyenne de 39%, varie en France métropolitaine entre 13% à Paris 8 et 53% à Angers. Une partie de l’explication tient aux caractéristiques différentes des entrants : imaginons qu’une Université accueille plus de bacheliers technologiques que la moyenne, son taux de réussite attendu (« taux simulé » dans le document du Ministère) sera logiquement plus faible. A Paris 8, ce taux attendu est de 29,8 et à Angers, il est de 42,5. La différence entre taux observé et taux simulé permet de calculer ensuite la valeur ajoutée de chaque établissement : elle est de 10,5 à Angers et de -8,6 à Paris 8. L’écart sur les taux de réussite entre ces deux Universités est donc pour partie lié à la différence de caractéristiques des entrants, mais pour partie seulement, Angers « performe » plus qu’attendu, Paris 8 moins qu’attendu. Poitiers est plutôt bien placé également, avec un taux de réussite de 46,9 et une valeur ajoutée de 6 (7ème université selon ce critère).

Attention cependant à ne pas aller trop vite en besogne : le Ministère ne dispose pas de toutes les informations sur les étudiants, le taux attendu est donc calculé sur la base des caractéristiques observables. A titre d’illustration, on n’a pas l’information sur la part des mentions au bac, si une Université en accueille plus que la moyenne, le calcul du taux simulé ne prendra pas en compte cela, on l’attribuera avec erreur à la « valeur ajoutée » de l’établissement.

Il n’en reste pas moins que la production de ces statistiques est particulièrement intéressante, à condition de ne pas se contenter de regarder le classement des Universités, mais de les analyser en détail, plus pour mieux se connaître que pour se mesurer aux autres. Les services statistiques des Universités produisent également tout un ensemble d’études particulièrement utiles, celui de Poitiers en tout cas (voir ici), mais j’imagine que ce n’est pas le seul. Mon sentiment : elles sont sous-utilisées dans les Universités, leur mobilisation permettrait d’améliorer le diagnostic sur ce qui va, sur ce qui ne va pas, et donc de prendre ensuite de meilleures décisions en termes d’évolution des formations et d’accompagnement des étudiants.

Comment améliorer de 8% la réussite des étudiants sans effort?

Réponse : en espaçant les examens.

C’est ce qui ressort de cette étude sur données américaines de Ian Fillmore et Devin G. Pope, qui s’intéresse au lien entre fatigue cognitive et performance : les étudiants qui passent deux examens à 10 jours d’intervalle ont 8% de chance en plus de les valider que ceux qui les passent à une journée d’intervalle. Je garde cette idée en tête pour l’organisation des examens de fin d’année.

Résumé : In many education and work environments, economic agents must perform several mental tasks in a short period of time. As with physical fatigue, it is likely that cognitive fatigue can occur and affect performance if a series of mental tasks are scheduled close together. In this paper, we identify the impact of time between cognitive tasks on performance in a particular context: the taking of Advanced Placement (AP) exams by high-school students. We exploit the fact that AP exam dates change from year to year, so that students who take two subject exams in one year may have a different number of days between the exams than students who take the same two exams in a different year. We find strong evidence that a shorter amount of time between exams is associated with lower scores, particularly on the second exam. Our estimates suggest that students who take exams with 10 days of separation are 8% more likely to pass both exams than students who take the same two exams with only 1 day of separation.