Que valent les revues scientifiques? ou “Dis-moi la taille de ton sexe, je te dirai qui tu es”.

L’étude largement médiatisée sur l’expérience de Gilles-Eric Séralini, professeur de biologie moléculaire à l’université de Caen, avait commencé à m’interpeller. Pas mal de buzz dans le milieu de la recherche. Avec, au final, des doutes plus que sérieux sur la méthodologie employée et les conclusions tirées par le chercheur. Une des meilleures analyses sur le sujet, trouvée via @freakonometrics, est sans doute celle-là. Pour le dire vite, les résultats de l’expérience ne sont pas statistiquement significatifs. En gros, on ne peut rien conclure de cette étude sur la dangerosité de l’alimentation OGM. Ça ne veut pas dire que ce n’est pas dangereux, ça ne veut pas dire que c’est dangereux, ça veut dire qu’on n’en sait rien. Question ouverte par certains chercheurs, sur twitter : certes, mais si l’on passait au crible de l’analyse statistique l’ensemble des articles de biologie publiés dans des revues à comité de lecture, la moitié passerait à la trappe. Argument non suffisant pour accepter l’étude, mais qui jette un froid un peu plus large, je dirais.

Et là, ce soir, je découvre l’étude de Richard Lynn, publiée dans la revue Personality and Individual Differencies editée par Elsevier, revue référencée, au moins dans la rubrique psychologie, par la très sérieuse Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES). L’article est ici (accès payant). Avec une comparaison, à l’échelle mondiale, de la taille des pénis en érection et des stats par pays (pour une synthèse en français, voir ici. J’ai des stats sur le nombre de clics des liens que j’insère, je suis sûr que le lien précédent va battre des records). Sauf que les données sont pourries, la méthodologie douteuse, les résultats bidons.

Forcément, le chercheur que je suis, ça l’interpelle (j’euphémise). Deux articles publiés dans des revues à comité de lecture, autrement dit des articles évalués par 2, 3, 4, 5 chercheurs réputés compétents (le nombre dépend des revues), articles qui s’avèrent après coup plus que douteux, ça fait mal.

Que faut-il en déduire? Que le processus d’évaluation par les pairs (les chercheurs évaluent d’autres chercheurs) n’est pas infaillible. Il y a de mauvais articles dans des “bonnes” revues (tout comme il y a de bons articles dans des revues “mal classées”, car certains chercheurs s’auto-censurent, pensant ne pas pouvoir accéder aux meilleurs supports). Que ceci ne signifie pas que le processus est à rejeter totalement : aucun système n’est infaillible, l’évaluation par les pairs est sans doute le moins mauvais système. Il ne faut pas l’idéaliser, c’est tout.

Je prolonge un peu la réflexion, car j’ai pu participer ces dernières années à plusieurs concours de recrutement de Maître de Conférences, de Professeurs des Universités, de Chargé de Recherche ou Directeurs de Recherche de différentes institutions. Principalement en économie, mon expérience ne valant donc que pour cette discipline. L’économie, la science des choix, je rappelle.

J’ai été à plusieurs fois surpris (j’euphémise encore) par l’attitude de certains collègues, qui se contentaient, pour évaluer les candidats, de regarder le classement des revues dans lesquelles ils avaient publiés. Pas le temps de lire les articles ou autres productions, de toute façon. Avec une tendance à internaliser les normes les plus récentes assez sidérante. Capacité de réflexivité tendant asympotiquement vers zéro.

Sans doute certains auraient-ils pu plaider pour le recrutement d’un Gilles-Eric Séralini ou d’un Richard Lynn à l’aune du rang de leurs publications : après tout, ils ont publié dans de bonnes revues, et ils devraient avoir un nombre de citations phénoménal, l’un comme l’autre…