Via Versac et Débat 2007, je découvre le Polimètre. Ce sondage, qui doit permettre à chacun de définir de quel(le) candidat(e) à l’élection présidentielle il se sent le plus proche, utilise ce qui ressemble à une échelle de Likert : on nous propose un ensemble d’affirmations, l’ensemble des réponses possibles est exprimé sur une échelle graduée entre « tout à fait d’accord » et « pas d’accord du tout ». Petite capture d’écran :
Ce type de sondage présente plusieurs biais :
1. Le biais de tendance centrale : les répondants hésitent à donner les réponses extrèmes (tout à fait d’accord, fortement opposé)
2. Le biais d’acquiescement : Les personnes répondent en général positivement aux propositions faites, autrement dit, la formulation des propositions n’est pas neutre. Petit exemple, juste ci-dessus avec la proposition "Moins d’immigration permettrait de réduire le chômage en France". Il y en a d’autres : "globalement, la France est en déclin" ou encore "Le niveau scolaire baisse". Pour éviter ce biais, on peut formuler positivement/négativement les questions.
3. Le biais spatial, le plus surprenant : la plupart des personnes ont un biais d’attention à gauche, ce qui peut biaiser les résultats des études. Un groupe de chercheurs a présenté à deux groupes d’étudiants le même questionnaire, mais pour la moitié de l’échantillon, l’échelle était construite de gauche (tout à fait d’accord) à droite (pas du tout d’accord), alors que pour l’autre moitié, l’échelle allait de droite (tout à fait d’accord) à gauche (pas du tout d’accord). Résultat de l’étude : le groupe utilisant l’échelle où "tout à fait d’accord" est à gauche ont 27% de réponses "tout à fait d’accord" en plus que dans l’autre groupe… Une solution existerait, non mise en oeuvre dans le polimètre je pense : proposer 50% de questionnaire avec les items classés de gauche à droite, et 50% de droite à gauche.
Sachant cela, donc, j’ai testé le questionnaire en répondant "tout à fait d’accord" à toutes les questions, sans réfléchir une seconde. Histoire de voir si le questionnaire permettait d’éviter un tant soit peu le biais spatial et le biais d’acquiescement : s’il est bien fait, on doit avoir des scores équilibrés des candidats, s’il est mal fait, les scores seront déséquilibrés. Résultat :
"Légèrement" biaisé, le sondage, semble-t-il…
Moi aussi, j’ai eu une réponse qui ne me correspond pas. Il existe un autre test qui donne des résultats beaucoup plus probants, mais il n’a pas été conçu pour la présidentielle de 2007 : http://www.politest.fr/
ADD : J’ai refait le test avec quelques modifications et j’ai un résultat très différent…
1°) voici la présentation du site:
Le polimètre a été conçu par deux chercheurs, l’équipe de RTL et avec la collaboration de Débat 2007.fr.
Quand on voit le degré de rigueur de ce type de sites (vous l’avez montré), on se demande qui sont les 2 chercheurs (?)
Il est souvent difficile de savoir quel candidat représente le mieux vos opinions et vos idées. Pour vous aider dans votre recherche d’information à l’occasion des prochaines élections présidentielles, nous avons conçu un test vous permettant de vous faire une idée synthétique de la proximité ou, au contraire, de la distance entre votre opinion et celle des différents candidats à l’élection présidentielle.
L’objectif affiché est donc tout ce qu’il y a de plus sérieux. Aider les citoyens qui ne savent de qui ils sont proches ou éloignés.
Il me semble que chacun sait pour qui il ne votera pas, la difficulté est donc bien de savoir pour qui voter. Le moyen ? Répondre à une batterie de questions sur des thèmes d’actualité.
Mais c’est laisser croire que chacun se décide en fonction des différentes prises de position des candidats sur tous les sujets. Je ne suis pas certain que les électeurs de Le Pen (surtout les couches populaires qui objectivement auraient eu beaucoup à perdre si le programme avait été appliqué) aient bien lu les propositions du candidat (cas du vote protestataire)
2°) la façon dont la question posée exerce une très grande influence (surtout quand on sait que ce sont des gens plutôt indécis qui peuvent se prêter à ce genre d’exercices).
La première question sur les militants OGM est révélatrice. Elle incite à répondre plutôt opposé (en tant que citoyen exemplaire, je souhaite que tout le monde respecte la loi).
Avec une autre formulation, la réponse est toute autre: Est-il légitime dans certains cas (la culture d’ogm en champs ouvert, la réquisition de logement) de ne pas respecter le droit de propriété ? C’est tout aussi caricatural que la question posée dans le sondage…
3°) cela suppose que vous ayez déjà des informations sur les différents sujets abordés (ex: la question sur les expériences sur le génome humain telles quelles sont pratiquées aujourd’hui ????).
Or, l’outil s’adresse plutôt à ceux et celles qui n’ont pas eu le temps de faire des recherches… sinon, ils auraient forcément un avis, une position donc un positionnement politique !
4°)Ceci dit, beaucoup de personnes utilisent ce type de moyen comme un jeu soit pour vérifier ce qu’ils savent déjà, soit pour tordre le cou à ce type d’instrument !
Encore une fois, si quelqu’un connait les chercheurs en question, il serait intéressant d’échanger avec eux…
Je suis l’un des createur du polimetre. Je suis assez etonne de la tonalite critique de ce commentaire et de la rapidite avec laquelle vous jugez cet outil. Enfin, bon c’est usuel dans le debat public.
Quelques reponses, en esperant que vous amendiez votre article.
1) Nous avons pris en compte ce biais de tendance centrale. l’indice n’est donc pas calcule comme une somme de distances simples. L’internaute recoit des points de proximite 1) s’il est du meme "cote" que le candidat sur la question (d’accord vs pas d’accord) 2) plus un bonus s’il est exactement sur la meme reponse. Ce systeme evite tout biais pour les candidats qui repondraient de maniere moderee. Ensuite la tendance des individus a donner des reponses "centrales" ne pose probleme que si il y a une difference systematique entre le biais des electeurs et celui des candidats. Cela est possible mais pas evident.
2) Pour le biais d’acquiscement/biais spatial, nous sommes partis d’un pool initial de questions equilibrees droite/gauche. Ce pool de questions a ete pose aux candidatas et les questions maximisant la distance minimale entre deux candidats ont ete gardees. Ce critere ne garanti pas l’equilibrage final. Au final il y a un peu plus de questions qu’un classement subjectif placerait a droite posee positivement. Remarquons ici que cela ne pose probleme que dans la mesure ou le biais biais d’acquiscement/biais spatial est different entre les candidats et les electeurs puisque nous avons pose les memes questions aux candidats.
Pour finir, tout projet est criticable. Nous avons tente de faire un travail honnete fournissant un outil d’aide a la decision pour les internautes et nous permettant d’obtenir in fine des donnees interessantes a analyser quant aux choix electoraux des electeurs.
Nous avons pris en compte les biais psychologiques possibles, et etant donne les contraintes de ce genre d’exercice. Notre resultat ne me semble pas parfait, mais largement satisfaisant. En particulier si l’on compare notre site aux autres exemples du meme type.
Je vous invite a regarder sur le blog de Paul Antoine Chevalier pour trouver plus d’explications concernant notre demarche.http://libertesreelles.free.fr/spip.php?article45
Cordialement
Lionel Page
Eh bien, puisque le créateur du test est là, j’en profite. J’ai fait, ainsi que deux autres doctorants en économie de mon bureau, votre test. Dans les trois cas, les résultats sont manifestement aberrants. Nous nous sommes demandés si les questions finales (gamme de revenu en particulier) jouaient un rôle dans le redressement des résultats, et n’étaient pas gravement sur-pondérées.
Au sujet de Débat 2007… Il semblerait que débat 2007 soit financé par l’Institut de l’entreprise…L’institut de l’entreprise est piloté par les entreprises suivantes :ACCENTURE
ACCOR
ADP-GSI
ADVANCIA
AFM
AGENCE FRANCAISE DE DEVELOPPEMENT (AFD)
AGF
AIR FRANCE
AIR LIQUIDE
ALSTOM
ALTADIS
AON France
ARCELOR
AREVA
ASSEMBLEE DES CHAMBRES FRANCAISES DE COMMERCE ET D’INDUSTRIE (ACFCI)
AUDENCIA
AXA
BIOMERIEUX
BNP PARIBAS
BP FRANCE
BRED
CAISSE DES DEPOTS ET CONSIGNATIONS
CAISSE NATIONALE DES CAISSES D’EPARGNE
CALYON
CAP GEMINI
CARREFOUR
CEGOS
CHAMBRE DE COMMERCE ET D’INDUSTRIE DE PARIS (CCIP)
CHARBONNAGES DE FRANCE
CIC Finance
CIMENTS FRANCAIS
CMS BUREAU FRANCIS LEFEBVRE
CNP ASSURANCES
COMMUNICATION & SYSTEMES (CS)
COMPAGNIE FINANCIERE EDMOND DE ROTHSCHILD
CONSTRUCTIONS INDUSTRIELLES DE MEDITERRANEE (CNIM)
COVEA (MAAF Assurances et MMA)
CREDIT AGRICOLE
CREDIT MUTUEL
DELOITTE
DEXIA
E.M. LYON
EADS France
ECOLE CENTRALE PARIS
EDF
EIFFAGE DEVELOPPEMENT
ELIOR
ERNST & YOUNG
ESCP-EAP
ESSILOR INTERNATIONAL
EURONEXT Paris
FAURECIA
FEDERATION DES INDUSTRIES ELECTRIQUES, ELECTRONIQUES et de COMMUNICATION (FIEEC)
FEDERATION FRANCAISE DE LA PARFUMERIE (FIP)
FEDERATION NATIONALE DES TRAVAUX PUBLICS (FNTP)
FIMALAC
FINANCIERE FRANKLIN
FRANCE TELECOM
GAIPARE
GALERIES LAFAYETTE
GAZ DE FRANCE
GROUPE CASINO-EURIS-RALLYE
GROUPE DANONE
GROUPE DES BANQUES POPULAIRES
GROUPE DES INDUSTRIES METALLURGIQUES DE LA REGION PARISIENNE (GIM)
GROUPE ESSEC
GROUPE HEC
GROUPE HENNER
GROUPE INSEEC
GSE
HACHETTE FILIPACCHI ASSOCIES
HAMEUR et Cie
HSBC France
IBM France
IDRH
INSTITUT FRANCAIS DE GESTION
INVESTORS IN INDUSTRY SA (3i SA)
JP MORGAN
KEA & PARTNERS
KPMG
L’OREAL
LA FRANCAISE DES JEUX
LAFARGE
LVMH
MEDEF
MEDERIC
MERCER Management Consulting
MERCK France
MICROSOFT France
MTB
NESTLE France
NOVARTIS France
PERNOD RICARD
PLASTIC OMNIUM
POCLAIN HYDRAULICS
POMONA
PRICEWATERHOUSECOOPERS France
PSA PEUGEOT CITROËN
PUBLICIS CONSULTANTS
RATP
RHODIA
ROTHSCHILD & Cie BANQUE
RSM SALUSTRO REYDEL
SAFRAN
SANOFI AVENTIS
SCHNEIDER ELECTRIC
SFR – CEGETEL
SHELL France
SIA CONSEIL
SIEMENS France
SNCF
SOCIETE GENERALE
SODEXHO ALLIANCE
SOMDIAA
SUEZ
THALES
TOTAL
TROY et Associés
UNIBAIL
UNIGRAINS
UNILEVER France
UNION DES INDUSTRIES ET METIERS DE LA METALLURGIE (UIMM)
UNION DES INDUSTRIES TEXTILES (UIT)
VALLOUREC
VEOLIA ENVIRONNEMENT
VINCI
WENDEL INVESTISSEMENT
Au regard de tous ces noms, les analyses de Débat 2007 sont orientées…
Je ne vois pas bien en quoi le fait que l’Institut de l’Entreprise ai des financements d’entreprises ferait que ses études soient forcément orientées. C’est encore l’esprit de "complot" à la française. Personne ne songe à affirmer que les études des grandes universités américaines sont biaisées, pourtant une bonne partie de leur financement vient du privé…
leconomiste: Il faut lire les explications au début du test. Les questions ‘personnelles" posées en fin de test n’ont rien à voir avec les calculs de score. C’est juste pour faire une post-analyse.pasperdus: so what? Il y a une méthode de test. Il y a un résultat. Il n’y a aucune analyse. Si vous contestez la méthode, expliquez.M BoubaOlga: Pour que le biais final sur les résultats soit aussi fort que ce que vous observez en frappant tout le temps à gauche ou à droite, il faudrait que les joueurs soient systématiquement influencés par la position gauche/droite de la réponse. C’est quand même une hypothèse extrême.
L’objectif du questionnaire n’est pas d’être un sondage mais de mesurer la distance entre l’internaute et les candidats : Apparemment de nombreux critiques ne l’ont pas compris. Par exemple Christophe« La première question sur les militants OGM est révélatrice. Elle incite à répondre plutôt opposé (en tant que citoyen exemplaire, je souhaite que tout le monde respecte la loi). »Admettons que la question soit mal posée (je ne la trouve pas si mal posée que ça), nous n’avons pas pour intention d’interpréter les réponses brutes des internautes à chaque question comme le font les instituts de sondage. Les questions sont posées de manière à créer de la distance entre les candidats. « L’objectif affiché est donc tout ce qu’il y a de plus sérieux. Aider les citoyens qui ne savent de qui ils sont proches ou éloignés.Il me semble que chacun sait pour qui il ne votera pas, la difficulté est donc bien de savoir pour qui voter. Le moyen ? Répondre à une batterie de questions sur des thèmes d’actualité.Mais c’est laisser croire que chacun se décide en fonction des différentes prises de position des candidats sur tous les sujets. Je ne suis pas certain que les électeurs de Le Pen (surtout les couches populaires qui objectivement auraient eu beaucoup à perdre si le programme avait été appliqué) aient bien lu les propositions du candidat (cas du vote protestataire) »Je crois qu’il y a un profond malentendu. Le seul moyen de pouvoir tester l’hypothèse évoquée ici selon laquelle certains électeurs ne sont pas d’accord avec le programme de leur candidat mais votent pour lui pour protester, c’est justement de mettre en place notre dispositif et de mesurer l’importance de la proximité politique dans le processus de décision.