Présidentielle 2017 - Les sondeurs semblent tous d'accord, et c'est problématique - PollsPosition

Les sondeurs semblent tous d'accord

Et c'est problématique

Par Alexandre Andorra

Le 20/04/2017

L'élection se resserre. A peu près tout le monde a intérêt à vous répéter ce refrain à quelques jours du premier tour. Les médias pour que vous continuiez à regarder en boucle le dernier sondage. Les favoris - Macron et Le Pen - pour que vous ne perdiez pas votre motivation à aller voter - élément éminemment important pour Macron, dont la base est beaucoup moins idéologique (n'est-ce pas la définition du centre?) et donc plus propice à l'indécision. Les outsiders - Fillon et Mélenchon - pour enclencher une prophétie auto-réalisatrice selon laquelle ils seront au deuxième tour.

Mais que disent réellement les sondages?

L'élection s'est probablement resserrée, mais peut-être pas autant que l'affirme le bruit médiatique. Dans notre agrégateur, Macron, et même Le Pen (pourtant très stable pendant toute la campagne,) ont chacun perdu environ 1 point ces 15 derniers jours. Mélenchon connaît lui la plus forte hausse (+4 points en 15 jours), tandis que François Fillon est assez stable. Le haut niveau d'incertitude dans cette élection est indéniable et on ne peut pas exclure la qualification de justesse de Fillon et/ou Mélenchon. D'autant que nous avons passé la période où chaque sondage témoignait de la hausse de Macron et de la stabilité de Le Pen.

Mais les positions n'ont pas tant changé que ça : Macron et Le Pen sont toujours en tête, avec environ 23% chacun; Fillon et Mélenchon restent respectivement à 4 et 5 points en-dessous. D'ailleurs, après une baisse substantielle, les probabilités des favoris se stabilisent autour des 80%. Mélenchon baisse légèrement à 14%, tandis que Fillon, avec 25%, est au plus haut depuis près de deux mois.

Les candidats peuvent toutefois difficilement faire leur shopping dans les sondages pour sélectionner celui qui les avantage le plus. Les études les plus récentes vont de 22 à 24 pour Le Pen, et 17 à 20 pour Fillon par exemple. La situation est similaire pour Macron et Mélenchon. En moyenne, cela donne des chiffres proches de notre agrégateur, mais le manque de variation est frappant.

Les sondages varient peu en cette fin de campagne

A quel point est-ce inhabituel? Le graphe ci-dessous illustre l'écart-type des sondages publiés dans les deux dernières semaines avant le premier tour depuis 2002. Cela correspond à 2 ou 3 sondages par institut pour chaque élection.

En 2002, la variabilité, indiquée par l'écart-type, est dans la fourchette basse mais reste raisonnable. Mis à part le centre - où l'écart-type est particulièrement bas avec 0,72 - tous les candidats sont au-dessus de 1. Remarquons que les deux extrêmes ont les variabilités les plus élevées mais que leurs résultats ont été très mal anticipés par les sondages. Ceci semble souligner la difficulté intrinsèque de sonder les électorats extrêmes en 2002. De manière similaire, Jospin et, dans une moindre mesure, Bayrou ont été mal évalués. Mais, dans ce cas, les sondeurs étaient plutôt d'accord entre eux, ce qui fait penser à du herding - on en reparle plus bas.

En 2007 en revanche, la variabilité est plus élevée, s'établissant aux alentours de 1,5 pour tous les candidats sauf Besancenot. Reste que la performance des sondeurs est mitigée. Mais ces deux éléments ne sont pas si difficiles à réconcilier : l'élection de 2007 était difficile à prédire; il n'y avait pas de candidat sortant, les candidats des deux grands partis étaient relativement nouveaux, le Front National avait probablement créé un traumatisme à l'élection précédente (mais il a considérablement sous-performé en 2007). Dans un contexte incertain, il n'est donc pas étonnant d'observer de fortes variations entre sondages.

En 2012 la variabilité diminue fortement, mais la performance des sondeurs est très satisfaisante - sauf, encore une fois, pour les extrêmes. Autrement dit, les sondeurs étaient globalement tous d'accord principalement parce que l'élection était relativement facile à pronostiquer selon les modèles de science politique : un candidat sortant impopulaire (33% de confiance dans le baromètre Kantar TNS en avril 2012 ), en plus issu d'un parti au pouvoir depuis 10 ans, deux partis traditionnels en tête, une croissance économique faible (0,4% en février) et un chômage élevé (9,1% en février). Notre agrégation aurait d'ailleurs touché en plein dans le mille :

Prévisions du modèle PollsPosition vs. Résultats au 1er tour de la présidentielle

En 2017, les écarts-types sont encore plus faibles qu'en 2012 - tous largement inférieurs à 1. Même s'il n'y avait aucune différence méthodologique entre les instituts et que donc seule l'erreur d'échantillonnage était source de variabilité - ce qui n'est pas le cas -, la variation entre les sondages devrait être environ deux fois plus élevée. Ce n'est donc pas votre imagination si vous avez l'impression que tous les sondages se ressemblent.

Et alors direz-vous? Si tout le monde est d'accord, c'est probablement que la vérité se trouve dans ce consensus. Certes, mais si tout le monde est d'accord, alors il n'y a pas tant d'incertitude que cela. Or, la doxa actuelle, y compris dans les documents des sondeurs eux-mêmes, est qu'il n'y a jamais eu autant d'incertitude au premier tour d'une présidentielle. Dans ce cas, la théorie voudrait que certains sondages soient aberrants - au sens statistique du terme -, c'est-à-dire montrant Le Pen éliminée par exemple, ou Macron beaucoup plus haut, ou Mélenchon beaucoup plus bas etc. On ne voit pas cette variation, l'écart-type le montre bien.

Variation des sondages dans les deux dernières semaines avant le 1er tour
Proximité idéologique Nbre sondages Candidat Moyenne simple Minimum Maximum Ecart-type Résultat
1974
Extrême-droite 7 JM. Le Pen 3,4 3 4 0,48 0,75
Droite 7 J. Chaban-Delmas 18 15 24 2,83 15,11
Centre 7 V. Giscard d’Estaing 30,3 28 31 1,11 32,60
Gauche 7 F. Mitterrand 43 42 45 1,15 43,25
2002
Extrême-droite 17 JM. Le Pen 12,4 9,5 14 1,39 16,86
Droite 17 J. Chirac 20,4 18,5 23 1,26 19,88
Centre 17 F. Bayrou 5,7 4,5 7 0,72 6,84
Gauche 17 L. Jospin 18,3 16,5 21 1,06 16,18
Extrême-gauche 17 A. Laguiller 8,3 6,5 11 1,34 5,72
2007
Extrême-droite 12 JM. Le Pen 14,1 12 16,5 1,46 10,44
Droite 12 N. Sarkozy 27,3 24,5 30 1,78 31,18
Centre 12 F. Bayrou 19,8 17 24 1,85 18,57
Gauche 12 S. Royal 24,3 22 27 1,44 25,87
Extrême-gauche 5 O. Besancenot 4 3,5 5 0,61 4,08
2012
Extrême-droite 29 M. Le Pen 15,8 14 17 0,83 17,90
Droite 29 N. Sarkozy 27,1 24 29 1,07 27,18
Centre 29 F. Bayrou 10,3 9 12 0,62 9,13
Gauche 29 F. Hollande 27,7 26 30 1,10 28,63
Extrême-gauche 29 JL. Mélenchon 13,8 12 17 1,06 11,10
2017
Extrême-droite 19 M. Le Pen 23,1 22 24 0,78 -
Droite 19 F. Fillon 19,1 17 21 0,90 -
Centre 19 E. Macron 23,3 22 24,5 0,71 -
Gauche 19 B. Hamon 8,3 7,5 10 0,65 -
Extrême-gauche 19 JL. Mélenchon 18,5 17 20 0,81 -

Les dangers de la pensée de groupe

Un faible écart-type entre sondages peut témoigner d'un herding - ou comportement grégaire. Cela suggère une potentielle auto-censure des sondeurs à publier des résultats qu’il perçoivent comme trop éloignés du consensus, notamment quand le scrutin approche. Ce scénario est d'autant plus envisageable que cette élection est structurellement incertaine, et donc devrait connaître beaucoup de volatilité dans les sondages : il n'y pas de candidat sortant, les deux favoris sont inédits, les deux grands partis ne sont pas favoris, etc.

Entendez-nous bien : nous n'accusons aucun sondeur de falsifier ses chiffres. Le herding apparaît quand la pression sociale vous incite à modifier vos hypothèses de manière à ce que vos résultats correspondent au consensus. Cela peut donc résulter de bonnes intentions : "Le Pen à 18%? C'est impossible, personne d'autre n'a ça", se dit-il. Alors il se replonge dans ses fichiers et repère "l'erreur". "Ah voilà pourquoi : pas assez de réponses du Nord-Est et PACA. Si on fait des redressements géographiques ça nous donne? Le Pen à 22. C'est mieux".

Aux États-Unis, ce comportement semble plus fréquent chez les sondeurs moins sourcilleux sur leurs méthodes. Le problème est que le herding peut améliorer les performances individuelles du mauvais sondeur, mais nuit à la précision des agrégations. Les mécanismes d'agrégation, comme le nôtre ou comme les marchés de prédiction, doivent leur puissance précisément à la diversité des méthodes et opinions qu'ils intègrent. Mais ils perdent en précision quand ils sont sujets à la pensée de groupe.

Prenons le cas extrême où tous les sondages varient autour de ceux d’un seul institut. Il n’y a alors qu’une seule vraie observation, le reste n’étant que du bruit statistique. L’agrégation n'apporte pas grand chose et, pire, si le seul sondage honnête se trompe, tout le monde se trompe. C'est pourquoi le herding potentiel au cours de cette élection est un gros problème. Et c'est souvent un prélude à des surprises le jour du scrutin.

Que faire contre ce phénomène ?

Déjà reconnaître que, dans le climat actuel de sondages-bashing, les incitations au herding sont compréhensibles : mieux vaut dire avec tout le monde que l'élection est très incertaine que mettre en avant un favori et prendre le risque d'être le seul à se tromper. A long terme, cet équilibre n'est pas viable : des sondages rappelant constamment que l'élection est "too close to call" ne sont pas très informatifs.

Notre humble conseil serait 1/ de répondre quand vous êtes sondé - la baisse des taux de réponse est en effet particulièrement inquiétante; 2/ d'analyser rigoureusement les sondeurs les plus précis et ayant recours aux meilleures méthodes, comme nous le faisons dans notre classement; 3/ d'être moins émotionnel quant à la précision des sondeurs. Sonder est une entreprise compliquée - de plus en plus compliquée. Les instituts doivent pouvoir innover, tester, s'éloigner du consensus et, inévitablement, se tromper, sans subir les foudres d'un public aux attentes de précision statistiquement irréalistes.

Alexandre Andorra est co-fondateur de PollsPosition.