Le Polimètre : les biais d’un sondage

Via Versac et Débat 2007, je découvre le Polimètre. Ce sondage, qui doit permettre à chacun de définir de quel(le) candidat(e) à l’élection présidentielle il se sent le plus proche, utilise ce qui ressemble à une échelle de Likert : on nous propose un ensemble d’affirmations, l’ensemble des réponses possibles est exprimé sur une échelle graduée entre « tout à fait d’accord » et « pas d’accord du tout ». Petite capture d’écran :



Ce type de sondage présente plusieurs biais :

1. Le biais de tendance centrale : les répondants hésitent à donner les réponses extrèmes (tout à fait d’accord, fortement opposé)

2. Le biais d’acquiescement : Les personnes répondent en général positivement aux propositions faites, autrement dit, la formulation des propositions n’est pas neutre. Petit exemple, juste ci-dessus avec la proposition "Moins d’immigration permettrait de réduire le chômage en France". Il y en a d’autres : "globalement, la France est en déclin" ou encore "Le niveau scolaire baisse". Pour éviter ce biais, on peut formuler positivement/négativement les questions.

3. Le biais spatial, le plus surprenant : la plupart des personnes ont un biais d’attention à gauche, ce qui peut biaiser les résultats des études. Un groupe de chercheurs a présenté à deux groupes d’étudiants le même questionnaire, mais pour la moitié de l’échantillon, l’échelle était construite de gauche (tout à fait d’accord)  à droite (pas du tout d’accord), alors que pour l’autre moitié, l’échelle allait de droite (tout à fait d’accord) à gauche (pas du tout d’accord). Résultat de l’étude : le groupe utilisant l’échelle où "tout à fait d’accord" est à gauche ont 27% de réponses "tout à fait d’accord" en plus que dans l’autre groupe… Une solution existerait, non mise en oeuvre dans le polimètre je pense : proposer 50% de questionnaire avec les items classés de gauche à droite, et 50% de droite à gauche.

Sachant cela, donc, j’ai testé le questionnaire en répondant "tout à fait d’accord" à toutes les questions, sans réfléchir une seconde. Histoire de voir si le questionnaire permettait d’éviter un tant soit peu le biais spatial et le biais d’acquiescement : s’il est bien fait, on doit avoir des scores équilibrés des candidats, s’il est mal fait, les scores seront déséquilibrés. Résultat :

 

"Légèrement" biaisé, le sondage, semble-t-il…

 

Related posts:

9 commentaires sur “Le Polimètre : les biais d’un sondage

  1. 1°) voici la présentation du site:
    Le polimètre a été conçu par deux chercheurs, l’équipe de RTL et avec la collaboration de Débat 2007.fr.
    Quand on voit le degré de rigueur de ce type de sites (vous l’avez montré), on se demande qui sont les 2 chercheurs (?)
    Il est souvent difficile de savoir quel candidat représente le mieux vos opinions et vos idées. Pour vous aider dans votre recherche d’information à l’occasion des prochaines élections présidentielles, nous avons conçu un test vous permettant de vous faire une idée synthétique de la proximité ou, au contraire, de la distance entre votre opinion et celle des différents candidats à l’élection présidentielle.
    L’objectif affiché est donc tout ce qu’il y a de plus sérieux. Aider les citoyens qui ne savent de qui ils sont proches ou éloignés.
    Il me semble que chacun sait pour qui il ne votera pas, la difficulté est donc bien de savoir pour qui voter. Le moyen ? Répondre à une batterie de questions sur des thèmes d’actualité.
    Mais c’est laisser croire que chacun se décide en fonction des différentes prises de position des candidats sur tous les sujets. Je ne suis pas certain que les électeurs de Le Pen (surtout les couches populaires qui objectivement auraient eu beaucoup à perdre si le programme avait été appliqué) aient bien lu les propositions du candidat (cas du vote protestataire)
     
    2°) la façon dont la question posée exerce une très grande influence (surtout quand on sait que ce sont des gens plutôt indécis qui peuvent se prêter à ce genre d’exercices).
    La première question sur les militants OGM est révélatrice. Elle incite à répondre plutôt opposé (en tant que citoyen exemplaire, je souhaite que tout le monde respecte la loi).
    Avec une autre formulation, la réponse est toute autre: Est-il légitime dans certains cas (la culture d’ogm en champs ouvert, la réquisition de logement) de ne pas respecter le droit de propriété ? C’est tout aussi caricatural que la question posée dans le sondage…

    3°) cela suppose que vous ayez déjà des informations sur les différents sujets abordés (ex: la question sur les expériences sur le génome humain telles quelles sont pratiquées aujourd’hui ????).
    Or, l’outil s’adresse plutôt à ceux et celles qui n’ont pas eu le temps de faire des recherches… sinon, ils auraient forcément un avis, une position donc un positionnement politique !
    4°)Ceci dit, beaucoup de personnes utilisent ce type de moyen comme un jeu soit pour vérifier ce qu’ils savent déjà, soit pour tordre le cou à ce type d’instrument !
    Encore une fois, si quelqu’un connait les chercheurs en question, il serait intéressant d’échanger avec eux…

  2. Je suis l’un des createur du polimetre. Je suis assez etonne de la tonalite critique de ce commentaire et de la rapidite avec laquelle vous jugez cet outil. Enfin, bon c’est usuel dans le debat public.
     

    Quelques reponses, en esperant que vous amendiez votre article.
     

    1) Nous avons pris en compte ce biais de tendance centrale. l’indice n’est donc pas calcule comme une somme de distances simples. L’internaute recoit des points de proximite 1) s’il est du meme "cote" que le candidat sur la question (d’accord vs pas d’accord) 2) plus un bonus s’il est exactement sur la meme reponse. Ce systeme evite tout biais pour les candidats qui repondraient de maniere moderee. Ensuite la tendance des individus a donner des reponses "centrales" ne pose probleme que si il y a une difference systematique entre le biais des electeurs et celui des candidats. Cela est possible mais pas evident.
     

    2) Pour le biais d’acquiscement/biais spatial, nous sommes partis d’un pool initial de questions equilibrees droite/gauche. Ce pool de questions a ete pose aux candidatas et les questions maximisant la distance minimale entre deux candidats ont ete gardees. Ce critere ne garanti pas l’equilibrage final. Au final il y a un peu plus de questions qu’un classement subjectif placerait a droite posee positivement. Remarquons ici que cela ne pose probleme que dans la mesure ou le biais biais d’acquiscement/biais spatial est different entre les candidats et les electeurs puisque nous avons pose les memes questions aux candidats.
     

    Pour finir, tout projet est criticable. Nous avons tente de faire un travail honnete fournissant un outil d’aide a la decision pour les internautes et nous permettant d’obtenir in fine des donnees interessantes a analyser quant aux choix electoraux des electeurs.
     

    Nous avons pris en compte les biais psychologiques possibles, et etant donne les contraintes de ce genre d’exercice. Notre resultat ne me semble pas parfait, mais largement satisfaisant. En particulier si l’on compare notre site aux autres exemples du meme type.
     

    Je vous invite a regarder sur le blog de Paul Antoine Chevalier pour trouver plus d’explications concernant notre demarche.http://libertesreelles.free.fr/spip.php?article45
     

    Cordialement
     

    Lionel Page
     

  3. Eh bien, puisque le créateur du test est là, j’en profite. J’ai fait, ainsi que deux autres doctorants en économie de mon bureau, votre test. Dans les trois cas, les résultats sont manifestement aberrants. Nous nous sommes demandés si les questions finales (gamme de revenu en particulier) jouaient un rôle dans le redressement des résultats, et n’étaient pas gravement sur-pondérées.

  4. Au sujet de Débat 2007… Il semblerait que débat 2007 soit financé par l’Institut de l’entreprise…L’institut de l’entreprise est piloté par les entreprises suivantes :ACCENTURE  
    ACCOR  
    ADP-GSI  
    ADVANCIA  
    AFM  
    AGENCE FRANCAISE DE DEVELOPPEMENT (AFD)  
    AGF  
    AIR FRANCE  
    AIR LIQUIDE  
    ALSTOM  
    ALTADIS  
    AON France  
    ARCELOR  
    AREVA  
    ASSEMBLEE DES CHAMBRES FRANCAISES DE COMMERCE ET D’INDUSTRIE (ACFCI)  
    AUDENCIA  
    AXA  
    BIOMERIEUX  
    BNP PARIBAS  
    BP FRANCE  
    BRED  
      CAISSE DES DEPOTS ET CONSIGNATIONS  
    CAISSE NATIONALE DES CAISSES D’EPARGNE  
    CALYON  
    CAP GEMINI  
    CARREFOUR  
    CEGOS  
    CHAMBRE DE COMMERCE ET D’INDUSTRIE DE PARIS (CCIP)  
    CHARBONNAGES DE FRANCE  
    CIC Finance  
    CIMENTS FRANCAIS  
    CMS BUREAU FRANCIS LEFEBVRE  
    CNP ASSURANCES  
    COMMUNICATION & SYSTEMES (CS)  
    COMPAGNIE FINANCIERE EDMOND DE ROTHSCHILD  
    CONSTRUCTIONS INDUSTRIELLES DE MEDITERRANEE (CNIM)  
    COVEA (MAAF Assurances et MMA)  
    CREDIT AGRICOLE  
    CREDIT MUTUEL  
    DELOITTE  
    DEXIA   
    E.M. LYON  
    EADS France  
    ECOLE CENTRALE PARIS  
    EDF  
    EIFFAGE DEVELOPPEMENT  
    ELIOR  
    ERNST & YOUNG  
    ESCP-EAP  
    ESSILOR INTERNATIONAL  
    EURONEXT Paris  
     FAURECIA  
    FEDERATION DES INDUSTRIES ELECTRIQUES, ELECTRONIQUES et de COMMUNICATION (FIEEC)   
    FEDERATION FRANCAISE DE LA PARFUMERIE (FIP)  
    FEDERATION NATIONALE DES TRAVAUX PUBLICS (FNTP)  
    FIMALAC  
    FINANCIERE FRANKLIN  
    FRANCE TELECOM  
      GAIPARE  
    GALERIES LAFAYETTE  
    GAZ DE FRANCE  
    GROUPE CASINO-EURIS-RALLYE  
    GROUPE DANONE  
    GROUPE DES BANQUES POPULAIRES  
    GROUPE DES INDUSTRIES METALLURGIQUES DE LA REGION PARISIENNE (GIM)  
    GROUPE ESSEC  
    GROUPE HEC  
    GROUPE HENNER   
    GROUPE INSEEC  
    GSE 
    HACHETTE FILIPACCHI ASSOCIES  
    HAMEUR et Cie  
    HSBC France  
      IBM France  
    IDRH  
    INSTITUT FRANCAIS DE GESTION  
    INVESTORS IN INDUSTRY SA (3i SA)  
      JP MORGAN 
    KEA & PARTNERS  
    KPMG  
      L’OREAL  
    LA FRANCAISE DES JEUX  
    LAFARGE  
    LVMH  
    MEDEF  
    MEDERIC  
    MERCER Management Consulting  
    MERCK France  
    MICROSOFT France  
    MTB 

    NESTLE France  
    NOVARTIS France  

    PERNOD RICARD  
    PLASTIC OMNIUM  
    POCLAIN HYDRAULICS  
    POMONA  
    PRICEWATERHOUSECOOPERS France  
    PSA PEUGEOT CITROËN  
    PUBLICIS CONSULTANTS  

    RATP  
    RHODIA  
    ROTHSCHILD & Cie BANQUE  
    RSM SALUSTRO REYDEL 
    SAFRAN  
    SANOFI AVENTIS  
    SCHNEIDER ELECTRIC   
    SFR – CEGETEL  
    SHELL France   
    SIA CONSEIL  
    SIEMENS France  
    SNCF  
    SOCIETE GENERALE  
    SODEXHO ALLIANCE  
    SOMDIAA  
    SUEZ  

    THALES  
    TOTAL  
    TROY et Associés 

    UNIBAIL  
    UNIGRAINS  
    UNILEVER France  
    UNION DES INDUSTRIES ET METIERS DE LA METALLURGIE (UIMM)  
    UNION DES INDUSTRIES TEXTILES (UIT)  
      VALLOUREC  
    VEOLIA ENVIRONNEMENT  
    VINCI  

    WENDEL INVESTISSEMENT 

    Au regard de tous ces noms,  les analyses de Débat 2007 sont orientées…

  5. Je ne vois pas bien en quoi le fait que l’Institut de l’Entreprise ai des financements d’entreprises ferait que ses études soient forcément orientées. C’est encore l’esprit de "complot" à la française. Personne ne songe à affirmer que les études des grandes universités américaines sont biaisées, pourtant une bonne partie de leur financement vient du privé…

  6. leconomiste: Il faut lire les explications au début du test. Les questions ‘personnelles" posées en fin de test n’ont rien à voir avec les calculs de score. C’est juste pour faire une post-analyse.pasperdus: so what? Il y a une méthode de test. Il y a un résultat. Il n’y a aucune analyse. Si vous contestez la méthode, expliquez.M BoubaOlga: Pour que le biais final sur les résultats soit aussi fort que ce que vous observez en frappant tout le temps à gauche ou à droite, il faudrait que les joueurs soient systématiquement influencés par la position gauche/droite de la réponse. C’est quand même une hypothèse extrême.

  7. L’objectif du questionnaire n’est pas d’être un sondage mais de mesurer la distance entre l’internaute et les candidats : Apparemment de nombreux critiques ne l’ont pas compris. Par exemple Christophe« La première question sur les militants OGM est révélatrice. Elle incite à répondre plutôt opposé (en tant que citoyen exemplaire, je souhaite que tout le monde respecte la loi). »Admettons que la question soit mal posée (je ne la trouve pas si mal posée que ça), nous n’avons pas pour intention d’interpréter les réponses brutes des internautes à chaque question comme le font les instituts de sondage. Les questions sont posées de manière à créer de la distance entre les candidats. « L’objectif affiché est donc tout ce qu’il y a de plus sérieux. Aider les citoyens qui ne savent de qui ils sont proches ou éloignés.Il me semble que chacun sait pour qui il ne votera pas, la difficulté est donc bien de savoir pour qui voter. Le moyen ? Répondre à une batterie de questions sur des thèmes d’actualité.Mais c’est laisser croire que chacun se décide en fonction des différentes prises de position des candidats sur tous les sujets. Je ne suis pas certain que les électeurs de Le Pen (surtout les couches populaires qui objectivement auraient eu beaucoup à perdre si le programme avait été appliqué) aient bien lu les propositions du candidat (cas du vote protestataire) »Je crois qu’il y a un profond malentendu. Le seul moyen de pouvoir tester l’hypothèse évoquée ici selon laquelle certains électeurs ne sont pas d’accord avec le programme de leur candidat mais votent pour lui pour protester, c’est justement de mettre en place notre dispositif et de mesurer l’importance de la proximité politique dans le processus de décision.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *