Saupoudrage

S’il y a un terme que j’aimerais voir supprimer du vocabulaire politique, c’est sans conteste celui-là : « saupoudrage ».

Je l’ai entendu mille fois, notamment quand il s’agit d’innovation et de recherche : il ne faut pas « saupoudrer », il faut concentrer l’effort sur les meilleurs. « Saupoudrer », c’est gaspiller.

Eviter le saupoudrage semble frappé du coin du bon sens. Imaginez que vous ayez 1000€. Vous avez le choix entre investir dans un projet A qui rapporte 0% par an et un projet B qui rapporte 10% par an. Saupoudrer, c’est répartir l’investissement entre A et B. Stupide. Concentrer, c’est mettre tous vos sous sur B. Intelligent.

Sauf que.

En matière de recherche et d’innovation, activités qui se caractérisent fondamentalement par une incertitude radicale sur les bénéfices attendus, anticiper la rentabilité d’un investissement sur le projet A ou sur le projet B, comment dire… ce n’est pas facile… Supposons que le projet A rapportera quelque chose entre 0% et 10% et que je projet B rapportera quelque chose comme entre 0% et 10%… Vous faites quoi ?

Pour ce que je peux en voir, la solution des politiques en France oscille entre deux options.

Première option : le politique décide des domaines dans lesquels il faut investir. Si le projet A relève du domaine X et le projet B du domaine Y, que le politique pense que le domaine X est le domaine d’avenir, il soutiendra le projet A. S’il pense que l’avenir est le domaine Y, il soutiendra B.

Le problème est que les chercheurs ne sont pas fous. Prenons l’exemple fictif d’une région que nous nommerons Patagonie Chérie, dont la présidente pense que l’avenir est au domaine de la Décroissance Bleue. Tout projet de recherche, de colloque, de chercheur invité, …, relevant de ce domaine est un bon projet. Tout projet qui s’en écarte est un mauvais projet. Le chercheur un peu malin (et le chercheur est malin) habillera systématiquement son projet pour qu’il rentre dans les cases de la Décroissance Bleue.

Deuxième option, quand par exemple les projets A et B appartiennent au même domaine (ou que les porteurs des projets A et B, pas fous, ont ciblé les domaines soutenus par les politiques, que tous relèvent de la Décroissance Bleue, donc) : les politiques regardent la performance passée des porteurs de projet. Si le porteur du projet A a été plus « performant » dans le passé, autant le financer ; si le porteur du projet B a été plus performant, on le soutient. L’investissement public ne correspond alors plus à un pari sur le futur, mais à une récompense du passé (je passe les cas où le politique se moque des projets A et B, qu’il connait bien le porteur de A, pas trop le porteur de B, que donc il finance le projet A, ce genre de trucs. Effets relations sociales, quoi, mais dans la vraie vie, ça n’existe pas).

Est-ce une bonne solution ? Pas sûr : c’est une bonne solution si l’on pense que les rendements de l’investissement sont constants ou croissants (que les meilleurs d’hier seront les meilleurs de demain, donc), mais s’ils sont décroissants, c’est une très mauvaise solution. Or, il semble qu’en matière de recherche, les rendements sont plutôt décroissants. Qu’au-delà de ce point, quand on ne sait pas de quoi demain sera fait, autant laisser ouvertes les options, miser sur la diversité, quoi.

D’où ma détestation du terme de « saupoudrage », que chacun fait rimer avec celui de « gaspillage ». « Arrosage » serait mieux : quand on ne sait pas où pousseront les « pépites » de demain, comme on dit, autant « arroser » à différents endroits, voir ce qu’il adviendra. Stratégie plus futée, je me dis. Quitte à évaluer un peu plus, à demander aux porteurs de projets de définir eux-mêmes des objectifs intermédiaires, d’évaluer s’ils sont atteints ou pas, de continuer à soutenir ou pas, en fonction.

Pas très français comme démarche. Le politique ne veut que financer ce qui marchera. Dès lors, soit il se construit sa propre théorie, pour discriminer en amont (devenant par exemple le chantre de la « Décroissance Bleue », ou des choses approchantes), soit il concentre sur le passé (ou bien sur son réseau social).

L’alternative ? Un jeu essai/erreur, laisser leur chance à plus de gens, « arroser », donc. Analyser ce que les porteurs de projets s’assignent, comme objectifs. Les évaluer chemin faisant, ensuite. Rediriger les financements, en fonction.

Préserver la diversité, toujours. Demain serait bien triste si on savait déjà ce qu’il sera.

Concentrer le financement de la recherche sur une « élite » est contreproductif

evangile_StMatthieu_Arras_1230En termes de financement de la recherche, la mode est à la concentration de l’effort au profit de quelques-uns : il faut subventionner les chercheurs excellents qui produiront donc plus de recherche et de la recherche de meilleure qualité. Cette stratégie est vue par la plupart des politiques comme une évidence, à l’échelle européenne, nationale, ou régionale. Dans le monde de la recherche lui-même, elle est considérée par beaucoup comme la bonne solution, même si certains se plaignent de passer trop de temps à rédiger des réponses à appels à projets. « Soutenir l’excellence » et « éviter le saupoudrage » sont devenus les mots d’ordre.

Le problème, c’est que cette évidence n’en est pas une. Repérer les projets excellents n’est pas si simple, si bien que ceux qui bénéficient des fonds, ce ne sont pas nécessairement ceux qui ont déposés les projets les meilleurs, mais ceux qui ont produit dans le passé plus de recherche ou de la recherche considérée comme de meilleure qualité, éléments plus facilement observables. Les financements seraient donc moins une incitation à produire de la bonne recherche dans le futur qu’une récompense pour la recherche passée. Si la performance des chercheurs était constante dans le temps, ce ne serait pas grave, mais si, à l’inverse, elle décroît, c’est une erreur.

Un deuxième problème potentiel est que si l’on donne des sommes très importantes à certaines équipes, ces équipes peuvent être confrontées à des coûts de coordination croissants, que de toute façon leur temps disponible a une limite (surtout s’ils doivent consacrer de plus en plus de temps à répondre à des appels à projets), si bien qu’on ne peut pas raisonnablement imaginer qu’en augmentant à chaque fois les subventions qu’on leur accorde, on va augmenter sans cesse et dans le même rapport leur production scientifique.

Pour savoir quelle stratégie adopter, la bonne démarche consiste donc à regarder les résultats des études empiriques sur le sujet. Ça tombe bien,  un article (découvert sur twitter via @bbernela et @gcabanac) de Philippe Mongeon, Christine Brodeur, Catherine Beaudry et Vincent Larivière vient d’être publié dans la revue Research Evaluation. Il s’intitule « Concentration of research funding leads to decreasing marginal returns », ce que je traduirais par « Concentrer le financement de la recherche conduit à des rendements marginaux décroissants ». L’article est en accès payant, mais une version préliminaire est visible ici.

L’étude est particulièrement intéressante, car elle s’appuie sur des données de qualité qui lui permettent de mesurer la relation entre le montant des fonds alloués à 12 720 chercheurs québécois sur une période de 15 ans (1998-2012) et leur production scientifique (et l’impact de cette production) entre 2000 et 2013. Le résultat est clair : concentrer le financement sur quelques uns n’est pas efficace. Quelle implication en termes de politique publique ? Si l’objectif est que les chercheurs produisent plus de recherche, et de la recherche de meilleure qualité, il vaudrait mieux, en raisonnant à budget constant, accorder des subventions moins importantes à plus d’équipes, plutôt que de concentrer les financements sur quelques-uns.

Vivement le temps où les politiques et plus généralement les responsables en charge du financement de la recherche, qui, je n’en doute pas, sont convaincus de l’importance de la recherche, regardent un peu les résultats des études en sciences sociales qui portent précisément sur leurs actions…

Sinon, la recherche en sciences sociales, ça peut servir, vous savez ?

Jeudi dernier, j’ai participé au jury de thèse de Marion Maisonobe, à Toulouse, qui a travaillé, en gros, sur la géographie de la recherche à l’échelle mondiale. Travail remarquable, de l’avis unanime du jury (l’occasion pour moi de rencontrer enfin Yves Gingras, ce que je souhaite à tout le monde…).

Sur le trajet aller, j’ai vu que le Japon ne faisait pas dans la dentelle : fermeture de 26 universités de sciences humaines et sociales, qui ne servent à rien, c’est bien connu.

Ce que montre la thèse de Marion Maisonobe ?

S’appuyant sur les publications scientifiques recensées par le Web of Science, géolocalisées pour la première fois à l’échelle des agglomérations partout dans le monde (je ne vous dis pas le travail de fourmi réalisé sur Toulouse pour arriver à cela…), elle montre que si les co-publications sont de plus en plus nombreuses, elles ne signent pas la fin de la géographie : on assiste plutôt à un processus massif de déconcentration géographique de la recherche, les régions « centre » voyant leur part baisser dans la quasi totalité des pays (voir cet article auquel elle a contribué par exemple), au profit des espaces intermédiaires (en France, Paris recule au profit de la « province »).

La mondialisation de la recherche n’est donc pas synonyme de « mort de la géographie », elle ne conduit pas à l’émergence d’une « communauté scientifique sans frontière », elle est plutôt synonyme de renforcement des logiques nationales (croissance forte des co-publications au sein des pays) et continentales (bloc européen, bloc asiatique, bloc américain, …). Les pays dits « en développement » voient leur part augmenter, les relations entre eux augmentent très fortement, également.

Bref, plein de résultats riches d’enseignement, à l’heure où le discours dominant, en France (mais pas que), consiste à dire qu’il faut tout concentrer, et puis que quand même, il faut collaborer avec le pays leader (les Etats-Unis), le reste ne sert à rien.

En plus de traitements massifs de données à l’échelle mondiale, Marion Maisonobe a travaillé sur un sujet très pointu (la réparation de l’ADN) et interrogé des chercheurs spécialistes du domaine. On trouve dans sa thèse une anecdote croustillante, que tous les chercheurs et les politiques devraient garder en tête.

En 2009, une chercheuse a produit dans le domaine un travail considéré comme précurseur. Il a été demandé par les deux revues de référence, celles qui font rêver les chercheurs (plutôt « science dur ») du monde entier : Nature et Science. Ces deux revues n’ont pas publié l’article, finalement. Pourquoi ? La recherche s’appuyant sur un outil que personne n’avait dans le monde, il était clair que personne ne pourrait le citer dans les années suivantes, trop précurseur. Impossible de le publier, donc, parce que l’objectif des revues n’est pas de publier les meilleures recherches, mais les recherches qui seront les plus citées (il faut booster « l’impact factor », c’est-à-dire le nombre moyen de citations par article)…

Conclusion ? Les recherches en sciences humaines et sociales ne servent à rien.

 

Les chercheurs s’exposent…

Dans le cadre de la fête de la science, l’Université de Poitiers a mis en place une exposition dans le centre-ville, présentant des portraits de chercheurs de différentes disciplines, complétée par une présentation sur le site internet de l’université.

Donc, si vous rêvez de me voir voir l’un de ces dix chercheurs placardés sur un abribus et autre sucette publicitaire, baladez vous dans Poitiers. Si vous rêvez de lire un petit topo sur moi sur l’un de ces dix chercheurs, cliquez ici. En cliquant sur son prénom (olivier est un joli prénom), vous pourrez non seulement lire le petit topo sur moi sur ledit chercheur, mais aussi découvrir une petite vidéo de 3 minutes où je me il se présente.

Bon, plus sérieusement, je trouve l’initiative très sympa (même si l’idée d’être en grand sur une sucette juste à côté de chez moi risque de me faire passer auprès de mes voisins pour un grand narcissique, ce qui n’est pas faux mais ils ne sont pas obligés de le savoir, et ça fait un peu chier quand même!).

J’ai regardé les différentes vidéos : franchement, chercheur est un très beau métier…

L’avenir des Sciences Economiques à l’Université en France

Pierre-Cyrille Hautcoueur vient de remettre son rapport sur « l’avenir des sciences économiques à l’Université en France » à Geneviève Fioraso. Le rapport complet est téléchargeable ici. J’avais été auditionné par la commission, pour évoquer les innovations introduites à la Faculté de Sciences Economiques de Poitiers (voir ici pour quelques éléments), certaines ayant pas mal diffusé (notamment lors des JECO).

Je viens de parcourir le résumé et les vingt propositions, elles me vont très bien. Je les reprends ici sans plus de commentaire, n’hésitez pas à réagir pour alimenter le débat.

Résumé

Le rapport dresse une analyse critique de la recherche et de l’enseignement supérieur en économie en France et un portrait statistique des étudiants et des enseignants-chercheurs. Il établit un grand nombre de propositions de réforme groupées en quatre parties distinctes.

1) Pour une formation centrée sur les étudiants et adaptée aux enjeux du monde contemporain

L’ambition est de proposer aux étudiants de premier cycle une formation pluri-disciplinaire, avec spécialisation progressive, et plus tournée vers la compréhension des faits et des institutions économiques. La pédagogie doit être revalorisée et plus innovante. Les étudiants doivent apprendre à maîtriser la construction et l’analyse critique des bases de données et indicateurs statistiques, être en mesure de comprendre et utiliser les différentes approches au sein de la discipline, et se confronter aux autres disciplines pour prendre conscience des limites des approches économiques.

2) Pour une recherche ouverte, internationale et innovante

Il est nécessaire de remédier aux dérives d’une évaluation unimodale de la recherche qui peut décourager les prises de risques scientifiques, les projets et publications interdisciplinaires et les études en prise directe avec les questions sociales et politiques. La communauté des économistes doit mieux préciser les critères de déontologie et de réplication des études aux conclusions politiques. Les commandes publiques d’évaluation doivent inclure des critères de transparence et de publicité.

3) Pour une gestion des carrières des enseignants-chercheurs

Il est souhaitable que les sciences économiques s’alignent sur la majorité des disciplines et que les universités puissent ainsi recruter des professeurs sans passer par le concours d’agrégation, qui ne deviendrait qu’une option possible parmi d’autres. Les critères de promotion au grade de professeur doivent être plus larges que ceux qui prévalent actuellement pour le concours d’agrégation, notamment en valorisant pleinement l’enseignement. Une modulation de service, pluri-annuelle et variable au cours de la carrière, et des décharges de services pour le développement de nouveaux cours et contenus permettraient une meilleure implication dans l’enseignement. Les universités doivent mettre en place une véritable politique de ressources humaines et de suivi des carrières. Le financement de la recherche par projet doit être réformé pour mettre fin aux contrats précaires.

4) Pour une réflexion critique informée sur la discipline

Les étudiants, les employeurs et les enseignants-chercheurs souffrent d’un manque d’information statistique sur la filière sciences économiques, ses débouchés, ses carrières. Il appartient au Ministère et aux universités d’effectuer un travail régulier et important pour que les débats sur les carrières universitaires et extra universitaires soient mieux informés et que les parcours et l’insertion des étudiants soient mieux connus afin de faciliter les orientations. Une réflexion sur l’enseignement et la circulation des contenus pédagogiques est nécessaire et peut être menée par l’Association française de science
économique en lien avec les multiples associations représentant les différents champs ou différentes approches de la discipline. La connaissance de l’histoire et de l’épistémologie de la discipline doit également être acquise au sein de la formation.

Propositions

1. Renforcer le caractère pluridisciplinaire du premier cycle et organiser une spécialisation progressive en économie.

2. Favoriser la construction et la critique des données et des faits stylisés par les étudiants dès le premier cycle, au sein des cours d’une part, et en les associant, en tant qu’assistants, à des projets de recherche d’autre part.

3. Donner une plus grande place à l’histoire, aux faits et au fonctionnement des institutions dans l’enseignement en économie.

4. Faciliter l’intégration des docteurs dans les corps de l’État et leur recrutement par les administrations publiques.

5. Élargir les critères d’évaluation de la recherche et prendre en compte différents supports et formats.

6. Renforcer les infrastructures de recherche sur les données et inciter les administrations et les établissements publics à mettre, via ces infrastructures, leurs données à la disposition des chercheurs, selon des modalités compatibles avec le respect de la vie privée.

7. Imposer aux organisations publiques de publier les évaluations des politiques publiques effectuées sur appel d’offre et de favoriser la réplication de ces évaluations.

8. Préciser les potentiels conflits d’intérêt des enseignants-chercheurs dans les publications, enseignements et rapports d’évaluation.

9. Faciliter les doctorats et projets interdisciplinaires en leur réservant un financement particulier et un mode de qualification adapté.

10. Éviter que les restrictions sur l’accréditation des masters défavorisent l’interdisciplinarité et l’innovation pédagogique.

11. Revaloriser les salaires des enseignants-chercheurs, notamment des maîtres de conférences, en particulier pour faciliter la circulation entre les classes préparatoires des lycées et l’Université et pour éviter la dispersion des activités des enseignants-chercheurs.

12. Permettre aux universités d’ouvrir librement des postes de professeur (supprimer l’agrégation du supérieur comme mode prioritaire de recrutement).

13. Permettre la modulation de services, modifiable au cours de la carrière, entre enseignement et recherche, dans le cadre d’une véritable gestion des carrières.

14. Valoriser l’enseignement et la recherche conjointement et au même niveau dans les recrutements et traitements.

15. Inciter à l’innovation pédagogique, notamment à travers les supports de cours, en dotant les enseignants de décharges temporaires de service.

16. Faire du CNRS une institution finançant principalement, en sciences économiques, des infrastructures de recherche, des contrats post-doctoraux et des délégations temporaires d’enseignants-chercheurs titulaires.

17. Simplifier et harmoniser les dossiers de candidature entre l’ANR et les agences européennes de financement et permettre à ces subventions de financer des contrats doctoraux ou des CDI.

18. Imposer aux universités et au Ministère de publier les statistiques sur les parcours et les débouchés des étudiants et sur les carrières des enseignants-chercheurs pour la discipline sciences économiques.

19. Aider les différentes associations professionnelles à coopérer, notamment par le rapprochement entre l’Association française de science économique et l’Association française d’économie politique.

20. Constituer un lieu de réflexion et de diffusion (revue et congrès annuel) sur la pédagogie en économie, et plus largement sur les transformations de la discipline.

Recherche : la France est-elle victime d’une fuite des cerveaux?

C’est le titre d’un article du Monde, pour lequel j’ai été contacté par David Larousserie et Hervé Morin. J’ai brassé avec Bastien Bernela les données issues des enquêtes générations du Cereq (2001, 2004, 2007). Conclusion : la réponse est non. Conclusion conforme aux études mobilisant d’autres sources de données et d’autres indicateurs, par exemple celles menées par Frédéric Docquier.

Je vous laisse lire l’article, vous pouvez commenter ici ou là-bas.

Dis, papa, il est où, papa?

C’est de saison : parler de l’homoparentalité. Juste pour vous inciter, quand un sujet de société comme celui-ci émerge, à regarder ce qu’en disent les chercheurs. Un moyen simple est d’aller sur Google Scholar, de taper des mots-clés, de regarder ce qui ressort (je sais, ce n’est pas si simple, il faut trier, savoir décrypter, etc. Se former à la recherche, quoi).

Personnellement, j’ai dégoté cet article en français, qui analyse 311 publications dont 35 à orientation empirique ou expérimentale (qui essaient de quantifier d’éventuels problèmes, donc). Pas de vulnérabilité plus forte des enfants. Cet article a le mérite de prendre du recul, en s’intéressant aussi à l’évolution des sujets traités ou non-traités.

Via @SH_lelabo, j’ai aussi trouvé cet article en anglais, qui conclut que les mères lesbiennes seraient de meilleurs parents. Résultat surprenant, selon les auteurs, qui citent en passant 9 articles ayant conclu à l’absence d’impact psychologique sur les enfants de l’orientation homosexuelle ou hétérosexuelle de leurs parents (références 7 à 15 de la bibliographie de l’article).

Plus de 40 études qui concluent qu’il n’y a pas de différence significative. Perso, chercheur que je suis, je conclus pareil.

Que valent les revues scientifiques? ou « Dis-moi la taille de ton sexe, je te dirai qui tu es ».

L’étude largement médiatisée sur l’expérience de Gilles-Eric Séralini, professeur de biologie moléculaire à l’université de Caen, avait commencé à m’interpeller. Pas mal de buzz dans le milieu de la recherche. Avec, au final, des doutes plus que sérieux sur la méthodologie employée et les conclusions tirées par le chercheur. Une des meilleures analyses sur le sujet, trouvée via @freakonometrics, est sans doute celle-là. Pour le dire vite, les résultats de l’expérience ne sont pas statistiquement significatifs. En gros, on ne peut rien conclure de cette étude sur la dangerosité de l’alimentation OGM. Ça ne veut pas dire que ce n’est pas dangereux, ça ne veut pas dire que c’est dangereux, ça veut dire qu’on n’en sait rien. Question ouverte par certains chercheurs, sur twitter : certes, mais si l’on passait au crible de l’analyse statistique l’ensemble des articles de biologie publiés dans des revues à comité de lecture, la moitié passerait à la trappe. Argument non suffisant pour accepter l’étude, mais qui jette un froid un peu plus large, je dirais.

Et là, ce soir, je découvre l’étude de Richard Lynn, publiée dans la revue Personality and Individual Differencies editée par Elsevier, revue référencée, au moins dans la rubrique psychologie, par la très sérieuse Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES). L’article est ici (accès payant). Avec une comparaison, à l’échelle mondiale, de la taille des pénis en érection et des stats par pays (pour une synthèse en français, voir ici. J’ai des stats sur le nombre de clics des liens que j’insère, je suis sûr que le lien précédent va battre des records). Sauf que les données sont pourries, la méthodologie douteuse, les résultats bidons.

Forcément, le chercheur que je suis, ça l’interpelle (j’euphémise). Deux articles publiés dans des revues à comité de lecture, autrement dit des articles évalués par 2, 3, 4, 5 chercheurs réputés compétents (le nombre dépend des revues), articles qui s’avèrent après coup plus que douteux, ça fait mal.

Que faut-il en déduire? Que le processus d’évaluation par les pairs (les chercheurs évaluent d’autres chercheurs) n’est pas infaillible. Il y a de mauvais articles dans des « bonnes » revues (tout comme il y a de bons articles dans des revues « mal classées », car certains chercheurs s’auto-censurent, pensant ne pas pouvoir accéder aux meilleurs supports). Que ceci ne signifie pas que le processus est à rejeter totalement : aucun système n’est infaillible, l’évaluation par les pairs est sans doute le moins mauvais système. Il ne faut pas l’idéaliser, c’est tout.

Je prolonge un peu la réflexion, car j’ai pu participer ces dernières années à plusieurs concours de recrutement de Maître de Conférences, de Professeurs des Universités, de Chargé de Recherche ou Directeurs de Recherche de différentes institutions. Principalement en économie, mon expérience ne valant donc que pour cette discipline. L’économie, la science des choix, je rappelle.

J’ai été à plusieurs fois surpris (j’euphémise encore) par l’attitude de certains collègues, qui se contentaient, pour évaluer les candidats, de regarder le classement des revues dans lesquelles ils avaient publiés. Pas le temps de lire les articles ou autres productions, de toute façon. Avec une tendance à internaliser les normes les plus récentes assez sidérante. Capacité de réflexivité tendant asympotiquement vers zéro.

Sans doute certains auraient-ils pu plaider pour le recrutement d’un Gilles-Eric Séralini ou d’un Richard Lynn à l’aune du rang de leurs publications : après tout, ils ont publié dans de bonnes revues, et ils devraient avoir un nombre de citations phénoménal, l’un comme l’autre…

Cahiers Français : L’excellence des Universités

Juste pour vous signaler que les Cahiers Français viennent de publier dans leur numéro 138, mai-juin 2012, pages 38-39, le billet co-écrit avec Michel Grossetti, visible ici. Billet intitulé : « L’excellence des Universités : oui, mais quelle excellence?! »

Billet insuffisamment diffusé, je trouve. Moins diffusé que d’autres billets, moins importants, que j’ai pu écrire ou co-écrire. La parution dans les Cahiers Français est donc une bonne chose, assimilable pour certains à un signal qu’il faut le lire et le prendre un petit peu au sérieux. Bonne lecture, donc.

Attractivité et rayonnement des villes universitaires

Je vous rappelle que Grand Poitiers et l’AVUF (Association des Villes Universitaires de France) organisent au Théâtre Auditorium de Poitiers (TAP), le vendredi 23 mars 2012, un colloque national sur l’attractivité et le rayonnement des villes universitaires. Toutes les informations sont ici. Propos politiquement incorrects garantis.