Les biais à éviter pour évaluer l’efficacité d’un traitement

HomeopathyA ma question sur l’homéopathie adressée au Pr. Séralini, une personne du public a répondu avec enthousiasme “ça marche!”. J’aimerais revenir dans ce billet sur les biais de raisonnements qui peuvent nous pousser à croire en l’efficacité d’un traitement.

L’histoire de la médecine[ref]L’illustration proposée se moque gentiment d’un des postulat non scientifique de l’homéopathie qui consiste à croire que plus la dilution est grande, plus le remède sera efficace. Diluer le sperme n’augmentera pas vos chances de procréer… [/ref] est là pour nous rappeler que mettre en évidence un effet thérapeutique est loin d’être simple. Rappelons-nous qu’il a fallu des siècles avant que la saignée ne soit définitivement abandonnée. Une belle leçon nous est aussi donnée par Tchekhov dans la nouvelle Simulateurs[ref]Un médecin homéopathe confond effet placebo et effet thérapeutique et se fait duper par ses patients.[/ref] et avec une certaine dose d’ironie qui n’est pas pour me déplaire. Pourquoi donc est-ce si difficile d’évaluer un traitement? Le problème fondamental repose sur la relation de cause à effet: quand on appuie par exemple sur l’interrupteur, la lampe s’allume. Facile. Mais que se passe-t-il quand on prend un traitement? Si un effet bénéfique est observé, provient-il de l’administration du traitement? Comment peut-on en être sûr? Connaître les biais cognitifs qui peuvent tromper notre bon sens est un bon point de départ.

Corrélation et causalité

S’il existe une corrélation très forte entre le nombre de parapluies vendus et les précipitations dans une région donnée, il ne viendrait à l’idée de personne de prétendre que les parapluies influencent les conditions climatiques. Corrélation (parapluie/pluie) n’implique pas causalité (parapluie amène la pluie). C’est une erreur extrêmement courante et qui revient systématiquement dans les discussions de comptoirs. “J’ai fait tous les traitements possibles et ça ne m’a rien fait. J’ai testé x et je n’ai plus rien; guéri, d’un coup!” Par x, vous pouvez entendre à peu près ce que vous voulez: du médecin au rebouteux, en passant par un séjour à Lourdes. correlation does not imply causation

La blague dans l’image ci-dessus vient du fait que la fille suppose à nouveau que corrélation implique causalité. Ceci est bien sûr un problème important quand on veut tester l’efficacité d’un médicament. Il est facile de mettre en évidence une corrélation avec des outils statistiques, conclure quant à la causalité est une autre paire de manches.

Certains débats dans les années 50 sur les effets du tabac tournaient autour de ce problème. Si la corrélation entre cancer du poumon et tabac était largement observée, certains scientifiques émettaient des réserves – à juste titre à l’époque – sur la causalité des deux phénomènes. Des indices laissaient penser que des prédispositions génétiques étaient à l’origine des deux phénomènes[ref]Généralement, pour montrer des prédispositions génétiques, il est intéressant de suivre une population de vrais jumeaux.[/ref], ce qui pouvait expliquer la corrélation observée. Un autre argument consistait à dire: fumer permet de vivre plus longtemps, le cancer est une maladie de la vieillesse, il est donc normal de trouver un lien de corrélation entre tabac et cancer. Il est facile aujourd’hui de considérer ces scientifiques comme des irresponsables vendus aux marchands de tabacs. Vendus ou non, leurs objections étaient scientifiquement correctes. Des preuves suffisantes furent avancées à la fin des années 50 et mirent fin au débat tout du moins dans la communauté médicale[ref]On pourra consulter à ce propos l’excellent ouvrage The lady tasting tea dont l’un des chapitres est consacré à ce problème[/ref]… Je me dois aussi de signaler, pour finir sur ce point, qu’il ne faut pas tomber dans l’excès inverse et brandir l’argument “corrélation ne signifie pas causalité” à tout bout de champ[ref]On pourra par exemple consulter cet article.[/ref].

Cours naturel d’un traitement

La plupart des maladies auxquelles on est confronté ont un développement naturel donné. Généralement, leurs effets suivent une courbe en cloche et, sans surprise, c’est quand ils sont au plus haut que l’envie de consulter devient la plus pressante. Une vieille blague de médecins se résume à: un rhume soigné dure 7 jours, non soigné, vous en avez bien pour une semaine. La situation est plus cocasse quand il s’agit d’un problème de verrues qui pour un grand nombre disparaissent spontanément. Une personne, qui a essayé de multiples traitements pendant plusieurs mois sans succès et qui voit sa verrue disparaître après un passage désespéré à Lourdes, aura beaucoup de mal à être convaincue que le Saint-Père n’y est pour rien.

Régression vers la moyenne

Vous êtes-vous déjà demandé pourquoi les écarts entre personnes de grande taille et de petite taille n’augmentent pas plus au fil du temps? C’est ce qu’on appelle le phénomène de régression vers la moyenne. En général, des personnes de grande taille auront tendance à avoir des enfants plus petits et des personnes de petite taille des enfants plus grands[ref]Voilà de quoi réconforter un de mes chers amis![/ref]. Pas convaincus? Si les enfants de personnes de grande taille devenaient en moyenne plus grand que leurs parents, on aurait de plus en plus de personnes de très grande taille, très très grande taille. Ce n’est pas ce qu’on observe. La taille de la population augmente bien au cours du temps mais pas forcément les écarts entre petits et grands. Le même phénomène peut s’observer en classe. Si des élèves obtiennent de très bonnes notes à un devoir, la probabilité est grande pour qu’ils ne fassent pas tout à fait aussi bien au prochain devoir. Peut-être qu’au lieu d’avoir 19, ils auront 17. Idem pour les plus mauvais. Pour les maladies, c’est à peu près la même chose. Quand vous atteignez un pic dans vos souffrances, en moyenne, vous avez des chances d’aller mieux dans les jours qui viennent sans aucune intervention.

Influences sociales et culturelles

Do you like Meat?

Par “influences sociales et culturelles”, j’entends l’ensemble des valeurs acquises dans l’environnement dans lequel on a évolué. C’est à travers ces valeurs que l’on juge et analyse de nouvelles données ou que l’on adhère ou non à certaines idées. Un exemple simple suffira à illustrer mon propos. Si des données scientifiques vous sont proposées soutenant l’idée que la légalisation des armes permet de diminuer la criminalité[ref]Voir par exemple ce livre, discuté dans cet article.[/ref], la plupart d’entre vous auront une réaction initiale de rejet puisque cela va à l’encontre de leur patrimoine idéologique. Votre réaction sera différente si on vous apporte des données montrant le réchauffement climatique. Un chrétien intégriste aux États-Unis aura vraisemblablement une réaction similaire à la vue de preuves soutenant l’évolution.

Le problème n’est pas tant d’adhérer ou non à une idée mais la manière dont on aborde des preuves suivant qu’elles confortent ou s’opposent à nos convictions. Si les conclusions d’une étude donnée contredisent nos valeurs, la première réaction sera de chercher à les réfuter avec des arguments plus ou moins pertinents. Or, on ne fera pas un effort similaire quand ces preuves scientifiques renforcent nos idées. De nombreuses expériences mettent en évidence ce phénomène et c’est aussi la principale raison pour laquelle il est difficile d’avoir un débat raisonné et calme quand on aborde certains sujets sensibles. Tenter de convaincre un homéopathe que cette thérapie est inefficace, ce n’est pas seulement attaquer l’homéopathie mais c’est remettre en cause fondamentalement les valeurs de sa personne, ces valeurs qui font ce qu’elle est. Les chances sont donc grandes pour que les preuves scientifiques et les arguments sans failles la laissent de marbre. Elle lui faudra faire un effort cognitif bien plus important pour admettre un point de vue opposé[ref]C’est précisément pour cette raison que Bourdieu et un certain nombre de sociologues ne tenaient pas à débattre à la télévision.[/ref].

Pour conclure sur cette partie, je donne la parole au physicien Lawrence Krauss qui affirme dans un récent débat sur la religion: I’ve learnt to force my believes to conform to the evidence of reality[ref]Ce qui pourrait se traduire par: “J’ai appris à forcer mes croyances à se conformer aux données naturelles”.[/ref].  Une belle leçon d’humilité.

Effet placebo

Je ne pouvais finir ce billet sans parler de l’effet placebo, qui, je pense, est maintenant assez bien connu. C’est l’effet positif d’un traitement inefficace – généralement du sucre sous forme de pilules. Tellement bien connu qu’il souffre un peu de sa popularité… Il n’est pas rare en effet de lui donner un caractère mystique ou de s’y référer comme le pouvoir de la pensée sur la matière, une autre manière de reprendre le célèbre “vouloir c’est pouvoir” mais poussé à l’extrême. Nous reviendrons certainement sur cet effet placebo sur ce blog. Pour le moment, contentons-nous de dire que l’effet placebo est un effet subjectif; le placebo ne modifie pas les caractéristiques physiques de votre corps[ref]Pour les plus impatients, voici un bon résumé avec des jolis graphes![/ref]. Cet effet mesure seulement les biais induits lors de la mise en place d’une étude:  le fait bien réel de ne pas vouloir décevoir son interlocuteur, l’impression d’aller mieux par le simple fait de se sentir accompagné, l’attention portée à son hygiène de vie parce qu’on se sait observé, ainsi que certains des biais déjà signalés plus haut.

 

Pour toutes ces raisons (et bien d’autres), le témoignage ne fait pas office de preuve scientifique pour évaluer l’efficacité d’un traitement. Des protocoles complexes sont mis en places pour mettre en évidence cet effet. Mais tout ceci fera certainement l’objet d’un futur billet!

14 réflexions sur « Les biais à éviter pour évaluer l’efficacité d’un traitement »

  1. pierre de Lasteyrie

    Bonjour Sham,
    Sympa votre article,
    par contre je ne peux être d’accord sur votre analyse de l’effet placebo. L’effet placebo peut modifier les caractéristiques physiques de votre corps.

    L’effet placebo est une réponse à une suggestion (donner une p’tite pilule, ou suggérer quelque chose). Suggérez à quelqu’un de se détendre et il se relâchera. Par l’hypnose qui est de la suggestion vous pouvez faire rougir quelqu’un que sur une joue.
    Si vous boostez un maximum l’effet placebo d’un médicament placebo (packaging, pub…) il sera plus efficace que si c’est une simple pilule blanche. Et cette efficacité à comme influence une stimulation neuronale originale qui modifie/interpelle/ou créer de nouveaux processus cérébraux.
    Imaginons un sportif dont le père était castrateur. Il n’a jamais réussi à gagner car une phrase hypnotique de son père “tu n’es pas un gagnant, tu es un loser! une loque ! rappelle toi de ça à chaque fois que tu voudras y arriver” se traduira dans le cerveau comme un mini-programme qui à chaque approche de réussite on se sent miner et incapable d’y arriver. Mais le Power Balance, ou la pilule magique qui exorcise nos démons est là. Nous exorcisons alors cette croyance, nous perturbons le processus cérébral créé par le père castrateur. (modification des caractéres physiques/chimiques/neuronaux)
    Notre sportif fait tomber ses inhibitions de victoires, il se surpasse alors.

    L’effet nocebo quant à lui peut tuer, à lire l’expérience sur la prière citée par R.Dawkins dans son livre “God delusion”.

    J’ai hâte de lire votre article sur le placebo…

    Cordialement,

    Pierre
    PS: Vous n’avez pas mis en lien mon article sur les biais cognitifs en ostéopathie ? Pas assez objectif ?

  2. sham Auteur de l’article

    Bonjour Pierre, j’ai effectivement hésité à lister votre article sur l’effet placebo que je trouve intéressant. J’en avais d’ailleurs parlé à certains amis et voici le lien pour les lecteurs curieux: http://www.osteopathie-64.fr/illusion-efficacite-osteopathiela-difference-entre-le-placebo-sain-et-le-mambo-jambo-2
    mais je pense que notre vision du placebo diffère, c’est pour ça que j’ai préféré ne pas le lister directement dans l’article. Il est important je pense de comprendre que l’effet placebo est d’abord un bruit de mesure qui peut provenir de beaucoup de phénomènes dont j’ai donné une vue partielle. Pour évaluer l’efficacité d’un traitement, il faut être sûr que nous ne sommes pas dans cette zone de bruit. Je reviendrai sur le cas placebo dans un futur post, on pourra en rediscuter!

  3. Ping : Education_scientifique | Pearltrees

  4. Homéopathie

    Bonjour,

    Merci pour cet article,
    Pour ma part, je serai en partie d’accord sur le fait que le témoignage n’est pas pas une méthode pour évaluer l’efficacité d’un traitement car si ce traitement a été efficace pour une personne, il ne l’est pas forcément pour une autre. Je dirai plutôt que le témoignage est la preuve de l’efficacité d’un traitement sur celui qui témoigne lui-même!

    Fabiola

  5. Ping : Comment savoir si un traitement est efficace? Introduction au RCT | Sham and Science

  6. Ping : Placebo ou le pouvoir de l’esprit sur…l’esprit! | Sham and Science

  7. Ping : Homéopathie, vous reprendrez bien un peu de sucre? | Sham and Science

  8. Ping : A propos de la « science citoyenne » | Sham and Science

  9. Ping : HPV: un vaccin à sortir de l’ombre | Sham and ScienceSham and Science

  10. vincent

    je cite “Je dirai plutôt que le témoignage est la preuve de l’efficacité d’un traitement sur celui qui témoigne lui-même!”. Non pas du tout, du tout 🙂

    un témoignage n’est preuve de rien du tout, il est preuve de ce que pense penser la personne qui parle et c’est deja bien suffisant.

  11. Ping : J’ai une dent contre les charlatans | Sham and ScienceSham and Science

  12. Ping : Comment se débarasser une bonne fois pour toute de l’homéopathie? | Sham and ScienceSham and Science

  13. ribou

    comment peux t’on savoir si les produits lyriange sont des produits bio comme ils le prétendent , vu qu’il n’y a aucune indication sur leurs flacon , ni origine du lieu des plantes présentes dans les remèdes , ni logo bio ?

  14. Coriolan

    Récapitulation des connaissances actuelles sur l’effet placebo induit par la grande majorité des médecines alternatives et parallèles, non-réglementées, dans le mensuel Science et Vie numéro 1168 de janvier 2015, qui y consacrait son dossier. Plus de la moitié des médicaments ayant une ou plusieurs plantes comme base thérapeutique, seule la phytothérapie semble fiable. C’est pourquoi il existe une Association pour le Renouveau de l’Herboristerie (ARH).
    Ce qui n’a pas empêché le Conseil National de l’Ordre des Médecins de reconnaître quatre pratiques complémentaires, que les médecins peuvent afficher, et souvent remboursées par les provisions de complémentaire-santé: l’homéopathie depuis 1974, l’acupuncture, la mésothérapie, l’ostéopathie depuis 2002. La France étant le premier producteur mondial de “médicaments” homéopathiques, utilisés par près de deux tiers des Français.
    – Science…et pseudo-sciences numéro 305, juillet 2013: Homéopathie, acupuncture, ostéopathie, quel statut scientifique et médical?
    – Thierry THEVENIN. Plaidoyer pour l’herboristerie. Comprendre et défendre les plantes médicinales. ACTES SUD, 2013.
    – Jean-Michel MOREL. Je me soigne avec les plantes. Cinquante de A à Z. FIRST.
    – Franck GIGON. La vérité sur ces plantes qui soignent. L’EXPRESS.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *