Le Polimètre a été mis en ligne lundi dernier sur Débat 2007.fr et sur le site de RTL, accompagné quelques jours plus tard d'une note méthodologique. Le module a suscité plusieurs réactions, parfois vigoureuses, sur ce site comme sur celui de Versac ; aussi l'un de ses deux concepteurs, Paul-Antoine Chevalier, a-t-il souhaité livrer de nouveaux éléments de réponse, qu'on trouvera ci-dessous.

Personnellement, je suis vraiment intéressé par les débats qui ont lieu autour du polimètre et je suis tout-à-fait ouvert aux critiques. Néanmoins, je dois dire que le ton péremptoire de certains commentaires ne me fait pas particulièrement plaisir et me semble peu constructif. Je voudrais rappeler aux critiques sévères qu'il est souvent facile de critiquer, mais qu'il est souvent plus difficile de construire quelque chose. Je ne prétends pas que notre test est parfait, mais je pense que pour un certain nombre de raisons que j'ai évoquées dans la note méthodologique, notre test est plutôt mieux fait que les autres tests existants en France.

Ce texte comprend trois parties distinctes. La première partie précise la manière dont il faut lire les résultats et répond à un certain nombre d'interrogations que j'ai pu rencontrer sur différents blogs. Une deuxième partie porte sur l'interprétation du test. Enfin la troisième partie est une réponse à l'article d'Olivier Bouba-Olga.

Lire les résultats

Certaines réactions montrent que la présentation des résultats n'est pas évidente. Je tiens donc à préciser les quelques points suivants.

Nous calculons à partir des questions d'opinion une distance comprise entre 0 et 1 entre l'internaute et chacun des candidats (la note méthodologique retrace les détails du calcul). Pour présenter les résultats de manière claire et intuitive, nous transformons cette distance entre 0 et 1 en un indice de proximité compris entre – 100 et +100 à l'aide duquel nous construisons le diagramme des résultats. Sur ce diagramme :

  • les candidats placés à gauche de l'écran sont les candidats les plus proches de l'internaute et les candidats placés à droite sont ceux qui sont le plus loin de l'internaute. La barre apparaît en rouge lorsque le score est positif et en gris lorsque le score est négatif. Elle est de taille proportionnelle au score. Le détail du calcul du score est également précisé dans ma note méthodologique ;
  • le fait que certains scores apparaissent positifs et que d'autres scores apparaissent négatifs n'a aucune signification en soi. Cela constitue simplement un moyen de mieux visualiser les résultats. Au final, seul le classement des candidats est important. Notons d'ailleurs que par construction notre indice de proximité a plus de chances d'être négatif que positif. En effet, le score vaut 0 lorsque la distance vaut ½, or étant donné le calcul de la distance, l'espérance de la distance pour quelqu'un qui répond aléatoirement entre les quatre modalités de réponse (à l'exception des "sans opinion") vaut 5/8 et non ½ ;
  • enfin, il est important de rappeler que, contrairement à ce qu'affirment certains (voir Palpatine et aussi le commentaire de leconomiste sur le blog d'Olivier Bouba-Olga), les questions complémentaires n'entrent pas en compte dans le calcul de la proximité.

Se prêter au jeu

Un certain nombre de réactions sévères proviennent de personnes qui semblent refuser de se prêter au jeu. Par exemple, Palpatine s'énerve contre le test en expliquant qu'il n'a pas envie de voter Buffet ou Voynet. Personne ne lui a jamais dit que les résultats du polimètre devaient être interprétés comme un diktat.

Le polimètre n'est qu'un indicateur imparfait de la distance politique entre un internaute et les différents candidats. Il y a de nombreuses raisons pour lesquelles on peut être proche d'un candidat d'après le Polimètre et préférer voter pour un autre. Par exemple, Palpatine explique lui-même qu'il ne vote pas pour Buffet ou Voynet parce que c'est perdu d'avance : typiquement ce genre de considérations d'ordre stratégique ne sont pas mesurées par le polimètre (voir aussi sur Padawan, Laurent sur le site de Versac ou encore Schucky qui s'énerve en expliquant qu'il ne votera pas pour le candidat dont il est le plus proche). Ce n'est pas parce que le résultat ne correspond pas exactement aux préférences de l'internaute que le test est mauvais. Il est tout à fait normal et intéressant qu'il y ait certaines surprises. Comme le souligne très bien WS sur le site de Versac, si le test ne nous indiquait que ce que nous savons déjà sur nos préférences, il ne serait pas intéressant. L'intérêt de ce type de test consiste, à mon avis, à objectiver à l'aide de ce questionnaire la pure proximité politique entre l'internaute et les différents candidats.

Bien entendu, on peut avoir des résultats très proches d'un candidat et ne pas vouloir voter pour lui pour de très nombreuses et de très bonnes raisons. On peut accorder de l'importance à certains propos du candidat auquel on refuse d'adhérer, on peut ne pas aimer la personnalité du candidat, son entourage, son histoire. On peut aussi penser qu'étant donné l'état de l'opinion, il est préférable de voter pour un autre candidat.

Le problème du framing

Olivier Bouba Olga a présenté sur son blog puis sur Débat 2007.fr une critique constructive de notre questionnaire. Il présente trois biais susceptibles de fausser les résultats de notre questionnaire, le biais de tendance centrale, le biais d'acquiescement et le biais spatial. Ces problèmes sont bien connus dans la littérature scientifique sous le nom de "framing effect" : selon que l'on présente un même problème d'une manière ou d'une autre, le comportement de l'agent est différent. Je suis tout à fait d'accord avec cette critique simplement, il faut souligner qu'elle ne concerne pas simplement notre test mais la plupart des questionnaires reposant sur des questions subjectives.

Par ailleurs, il est important de souligner que ce qui compte ici, ce ne sont pas tant les réponses des internautes en tant que telles que la comparaison de ces réponses aux réponses des candidats. Il me semble qu'il n'y a pas de raison de supposer que le biais de tendance centrale et le biais d'acquiescement soient différents pour les candidats et pour les internautes. Cela minimise à mon sens la portée de la critique d'Olivier Bouba-Olga.

Nous avons fait en sorte que parmi les questions proposées aux candidats, il y ait autant de questions dites de droite que de questions dites de gauche. Nous avons ensuite opéré une sélection des questions de manière à garantir qu'il existe une distance minimale entre tous les candidats. Il est tout à fait possible qu'il y ait au final un déséquilibre droite-gauche, mais il est difficile de sélectionner les questions en prenant en compte plusieurs critères à la fois. Nous espérons donc que le biais d'acquiescement ne sera pas trop fort.

Olivier Bouba-Olga met en avant un graphique troublant indiquant les résultats d'un individu ayant toujours répondu "tout-à-fait d'accord". Cet individu se trouve proche de Corinne Lepage. Très concrètement, je ne vois pas comment nous aurions pu faire pour être sûr que le résultat de cet individu donne tous les candidats à égalité. En effet, il n'était pas possible de s'en rendre compte avant d'avoir interrogé les candidats et il n'était pas possible de modifier les questions après avoir interrogé les candidats.

Nous aurions effectivement pu minimiser le biais spatial en proposant 50 % des items classés de gauche à droite et 50 % des items classés de droite à gauche. Cela dit, il me semble que ce serait relativement compliqué de l'expliquer aux internautes et que cela pourrait induire les internautes en erreur. Nous avons jugé qu'il était préférable de conserver une mise en page simple pour l'internaute.

Au final, la critique d'Olivier Bouba-Olga soulève des problèmes épineux qui dépassent largement le contexte de ce test précis. Nous avons essayé de prendre en compte ces problèmes tout en prenant en compte d'autres exigences également importantes (assurer une distance minimale entre les candidats et conserver une mise en page simple). Nous ne pouvons qu'espérer avoir trouvé le bon compromis. Il n'existe pas à mon sens de solution pleinement satisfaisante à ces problèmes.

Paul-Antoine Chevalier