Que valent les revues scientifiques? ou « Dis-moi la taille de ton sexe, je te dirai qui tu es ».

L’étude largement médiatisée sur l’expérience de Gilles-Eric Séralini, professeur de biologie moléculaire à l’université de Caen, avait commencé à m’interpeller. Pas mal de buzz dans le milieu de la recherche. Avec, au final, des doutes plus que sérieux sur la méthodologie employée et les conclusions tirées par le chercheur. Une des meilleures analyses sur le sujet, trouvée via @freakonometrics, est sans doute celle-là. Pour le dire vite, les résultats de l’expérience ne sont pas statistiquement significatifs. En gros, on ne peut rien conclure de cette étude sur la dangerosité de l’alimentation OGM. Ça ne veut pas dire que ce n’est pas dangereux, ça ne veut pas dire que c’est dangereux, ça veut dire qu’on n’en sait rien. Question ouverte par certains chercheurs, sur twitter : certes, mais si l’on passait au crible de l’analyse statistique l’ensemble des articles de biologie publiés dans des revues à comité de lecture, la moitié passerait à la trappe. Argument non suffisant pour accepter l’étude, mais qui jette un froid un peu plus large, je dirais.

Et là, ce soir, je découvre l’étude de Richard Lynn, publiée dans la revue Personality and Individual Differencies editée par Elsevier, revue référencée, au moins dans la rubrique psychologie, par la très sérieuse Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES). L’article est ici (accès payant). Avec une comparaison, à l’échelle mondiale, de la taille des pénis en érection et des stats par pays (pour une synthèse en français, voir ici. J’ai des stats sur le nombre de clics des liens que j’insère, je suis sûr que le lien précédent va battre des records). Sauf que les données sont pourries, la méthodologie douteuse, les résultats bidons.

Forcément, le chercheur que je suis, ça l’interpelle (j’euphémise). Deux articles publiés dans des revues à comité de lecture, autrement dit des articles évalués par 2, 3, 4, 5 chercheurs réputés compétents (le nombre dépend des revues), articles qui s’avèrent après coup plus que douteux, ça fait mal.

Que faut-il en déduire? Que le processus d’évaluation par les pairs (les chercheurs évaluent d’autres chercheurs) n’est pas infaillible. Il y a de mauvais articles dans des « bonnes » revues (tout comme il y a de bons articles dans des revues « mal classées », car certains chercheurs s’auto-censurent, pensant ne pas pouvoir accéder aux meilleurs supports). Que ceci ne signifie pas que le processus est à rejeter totalement : aucun système n’est infaillible, l’évaluation par les pairs est sans doute le moins mauvais système. Il ne faut pas l’idéaliser, c’est tout.

Je prolonge un peu la réflexion, car j’ai pu participer ces dernières années à plusieurs concours de recrutement de Maître de Conférences, de Professeurs des Universités, de Chargé de Recherche ou Directeurs de Recherche de différentes institutions. Principalement en économie, mon expérience ne valant donc que pour cette discipline. L’économie, la science des choix, je rappelle.

J’ai été à plusieurs fois surpris (j’euphémise encore) par l’attitude de certains collègues, qui se contentaient, pour évaluer les candidats, de regarder le classement des revues dans lesquelles ils avaient publiés. Pas le temps de lire les articles ou autres productions, de toute façon. Avec une tendance à internaliser les normes les plus récentes assez sidérante. Capacité de réflexivité tendant asympotiquement vers zéro.

Sans doute certains auraient-ils pu plaider pour le recrutement d’un Gilles-Eric Séralini ou d’un Richard Lynn à l’aune du rang de leurs publications : après tout, ils ont publié dans de bonnes revues, et ils devraient avoir un nombre de citations phénoménal, l’un comme l’autre…

7 commentaires sur “Que valent les revues scientifiques? ou « Dis-moi la taille de ton sexe, je te dirai qui tu es ».

  1. S’il ne fallait publier que des articles excellents, remarquables ou originaux, la plupart des chercheurs ne produiraient que 2 articles dans leurs vies au mieux. La publication perdrait son importance. Il s’agit donc de trouver un moyen de distinguer les uns des autres les moyens médiocres qui constituent le gros des troupes de la recherche. Le tirage au sort me parait être une solution à envisager, plus économique et probablement plus juste.

  2. A distribuer aux collègues et journalistes:
    le Reviewer’s quick guide to common statistical errors in scientific papers http://www.elsevier.com/framework_reviewers/PDFs/Statistics.pdf

    Cela dit la tendance « commerciale » des revues a considérablement impacté la qualité des publications, de ce coté deux anecdotes symptomatiques sont :

    – Les comportements « douteux » des revues, dans les cas de fraudes et autres, bien peu de suivi et de clarté dans le domaine. ( à suivre ici, http://retractionwatch.wordpress.com/ (il faudrait un retraction watch par domaine scientifique…))

    – Et la marchandisation à outrance (revue à statut d’entreprise commerciale et non associations). Une illustration récente particulièrement anecdotique est un papier sur l’épilepsie et les problèmes d’accès au soin dans ce domaine dans le « tiers-monde » avec un accès payant à 150$, ce qui correspond à 1 an de traitement de l’épilepsie… http://mindhacks.com/2012/09/29/the-lancet-seized-by-irony/

    C’est pourquoi l' »Open Access » est la seule porte de sortie qui a du sens d’un point de vue scientifique. En publiant plus vite et au plus tôt les protocoles envisagés, les données, le code source, les ratés, voire un suivi des progrès (blog), on assisterait sans aucun doute à un bond effectif pour la science et un grand nettoyage. (Malheureusement pas d’un point de vue de la carrière scientifique… qui dépends entièrement de l’ancien modèles des revues à comité de lecture)

  3. Bonjour; je suppose (?) que c’est la lecture de l’article de Libération qui a suscité votre réflexion sur la valeur des publications scientifiques, les comités de lecture et les références croisées entre scientifiques du même domaine. Cela me suggère l’idée que le partage des idées en « réseau » est bénéfique à tous car c’est ainsi que l’on ne reste pas auto-centré sur son for intérieur. Les connaissances sont distribuées de manière diverse et inégale dans tous les cerveaux. Votre billet suscite donc chez moi deux réflexions sur « à quoi servent les connaissances? »:
    1: Jeune ingénieur au centre d’études et recherches des charbonnages de France (Cerchar) de 1962 à 1965, j’ai conduit une étude sur le bris du charbon. C’était un sujet qui intéressait toute la profession en rapport avec l’utilisation et la valorisation du charbon. Celui-ci se dégradait en se fracturant lors des manipulations et des transports, en produisant des grains de plus en plus fins plus difficiles à utiliser; donc moins ou pas valorisés, d’où pertes pour l’exploitant. Cette étude a été publiée sous les noms de Roger Loison directeur de recherches, Pierre Bélugou mon directeur, et moi-même. Elle est toujours disponible dans les archives de la CECA. Vu l’intérêt dans les pays de la CECA, elle a été abondamment citée par d’autres chercheurs en Europe. A quoi a servi cette étude? À comprendre que la dégradation était inévitable, un peu comme l’entropie, et qu’il fallait minimiser les manipulations et les transports.
    2: À quoi peut servir une étude sur la taille des pénis en érection? Après tout si elle est conduite de manière scientifique cad. avec une méthode statistique et selon un protocole spécifié… ce n’est peut-être pas si idiot. Mais c’est sans doute impossible à réaliser; imaginez les modalités de l’enquête! Je pense à Charles Darwin, la sélection naturelle et la sélection sexuelle. Et aux pools génétiques; car sans évoquer l’eugénisme – mot tabou depuis Hitler et les nazis – les pools génétiques existent bien… Avoir un long pénis – comme les ânes, confère-t-il un avantage reproductif? Si oui, les femmes devraient rechercher cela – mais c’est caché jusqu’au dernier moment donc elles ont peu de choix… et si elles avaient le choix, les pénis longs devraient devenir plus fréquents. Clairement sans pénis en érection, pas de reproduction possible; alors long ou pas long quelle différence? cela relève des fantasmes masculins et de la banalisation de la pornographie.
    Cordialement

  4. Le BfR allemand vient de rendre son avis sur l’étude de GE Séralini, en attendant l’ANSES le 20 octobre. Bien sûr, ils concluent que c’est du vent. Pas de surprise.
    Mais les auteurs, militants du CRIIGEN n’en on rien à faire, leur but est atteint avec un plan media sans précédent. Les deux livres et le film sortis en même temps devraient bien marcher vu le tapage fait.
    L’étude n’était qu’un prétexte à une agitation médiatique, ils ont même laissé les tumeurs se développer jusqu’au bout au lieu d’euthanasier les rats à 10% de la masse corporelle comme c’est l’usage. Cela permet de plus belles photos!
    Il est très inquiétant qu’un revue scientifique se soit laissée instrumentaliser comme cela.

  5. Il n’est pas jugé utile de lire les publications : c’est aussi le constat, que je ne fais pas mien, que je tire des évaluations AERES dont j’ai été témoin, comme évalué et comme évaluateur. Il en résulte des critères plutôt fantaisistes – et je me suis senti fort mal d’être membre d’un comité de visite qui opérait ainsi ; j’ai donné mon avis principalement pour les 20% du labo sur lesquels j’étais thématiquement à l’aise. J’avais téléchargé une dizaine de publis, lues un peu en diagonale, mais à peu près compris et le sentiment (peut-être à tort ou à raison) d’avoir pu trier la matière des trucs un peu creux. Je n’évoquerai pas l’évaluation d’équipes fort éloignées de touts les membres du comité de sélection, ça nous éloignerait du sujet.

  6. Ping : Somewhere else, part 15 | Freakonometrics

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *