Comment vont les instituts de sondages ? - PollsPosition

Comment vont les instituts de sondages ?

Les sondages ne sont pas aussi mauvais que ce que le post-Brexit laissait croire, mais ils ne sont pas aussi bons que ce que le 23 avril 2017 laisse penser

Par Alexandre Andorra

Le 21/08/2018

« Souvent doxa varie, bien fol est qui s’y fie » – frustré, à Château de Chambord. S’il était encore parmi nous, je pense que François Ier aurait exprimé ainsi sa frustration de voir le discours dominant sur les sondages passer aussi facilement d’un extrême à l’autre. Sauf qu’il l’aurait postée sur son mur Facebook au lieu de la graver sur celui de sa chambre.

Et comment lui donner tort ? L’incompréhension qu’exhibent une grande partie du public et de la presse français quand il s’agit d’interpréter les sondages est fascinante. A la veille des présidentielles d’avril 2017 régnait un réflexe pavlovien de relativisation des sondages. Ces derniers ne voulaient soi-disant plus rien dire après les « déconfitures » du Brexit et de la présidentielle américaine.

Rappelons que les sondages britanniques indiquaient un référendum extrêmement serré, aux alentours de 50-50, et que les instituts américains donnaient Clinton à +4 points – soit une erreur de 2 points, puisqu’elle l’a emporté de 2 points. Dans les deux cas, c’est plus notre incapacité à envisager un grand nombre de scénarios dans un univers incertain que les sondages qui sont à blâmer.

Puis est venu le 23 avril 2017, le premier tour des présidentielles françaises. Les sondeurs ont particulièrement bien performé et leur remise en cause a largement disparu. Là encore, une erreur, puisque 2 semaines plus tard ils réalisaient l’une de leurs pires performances.

Le problème est que cette sous-performance ne fut que peu soulignée, contrairement à la sur-performance du 1er tour. Conséquence, lors des européennes de mai 2019, les attentes du public et de la presse risquent d’être encore déconnectées des performances réelles des sondeurs.

Pour analyser ces performances justement, nous avons étudié près de 800 sondages de premier tour, s’étalant sur 15 élections depuis 1974. Voici un tour d’horizon de nos résultats.

Erreur absolue moyenne de l'ensemble des instituts de sondage, par type d'élection
Type d'élection Extrême-gauche Gauche Verts Centre Droite Extrême-droite Tous partis
Européennes 0.6 2.7 1.4 1.4 0.8 1.2 1.4
Législatives 1.0 0.8 0.7 1.8 1.6 2.2 1.4
Présidentielles 1.3 1.7 0.7 1.3 2.1 2.7 1.6
Régionales 1.4 2.7 1.1 0.6 2.1 1.3 1.5
Toutes élections 1.1 2.0 1.0 1.3 1.7 1.8 1.5

L'erreur absolue mesure la distance entre ce qu'indique la moyenne pondérée des sondeurs et les résultats de l'élection. Calculs PollsPosition sur près de 800 sondages au cours de 15 élections. Voir notre méthode pour plus de détails.

Il y a beaucoup d’informations dans ce tableau, mais commençons par la dernière ligne – l’erreur absolue de l’ensemble des sondeurs (ce qu’on appellera « le marché »), toutes élections confondues. L’erreur absolue mesure la distance entre ce qu’indique la moyenne des sondeurs et les résultats de l’élection : si les sondages indiquent la gauche à 25 et qu’elle atterrit à 23, l’erreur est de 2 points (pareil pour si le résultat final est 27).

Premier enseignement : les sondeurs français sont assez précis. Prendre des échantillons d’environ 1000 personnes et obtenir une erreur moyenne maximale de 2 points sur l’ensemble des élections pour une population de 48 millions d’électeurs, c’est tout de même remarquable.

Toutefois, il s’agit de la moyenne, ce qui veut dire que la marge d’erreur (le fameux intervalle de confiance à 95%) doit se trouver aux alentours de 5 points. Et si vous comparez deux candidats, il faut doubler cette marge d’erreur, soit une marge de 10 points.

Cela veut dire qu’il ne faut pas vous étonner quand un candidat qui menait de 6 points dans les sondages finit par perdre de 1, 2 ou même 4 points. C’est plus que les marges d’erreur traditionnelles indiquées par les sondeurs, qui ne concernent que l’erreur d’échantillonnage et ne se rapportent qu’à la part de chaque candidat, pas à leurs écarts.

L’erreur varie aussi selon le type d’élection, bien que faiblement. A grands traits, les sondages européens et législatifs sont plus précis que les sondages régionaux, qui eux-mêmes sont plus précis que les sondages présidentiels. Mais la situation est différente selon le parti. Les sondages sur la gauche sont plus précis lors des présidentielles et législatives que lors des européennes et des régionales ; même chose pour les Verts. Mais c’est la situation inverse pour l’extrême-droite.

Souvenez-vous en au moment des européennes : si certains sondages seront très précis, d’autres seront à 2, 3, voire 7 points. Et ça sera tout à fait normal.

Ces bonnes performances des sondeurs français ont probablement fait de nous des enfants gâtés, qui considèrent que les sondages sont inutiles à partir du moment où ils ne sont pas à moins d’un point du résultat. Dans ce cas, ce sont évidemment nos exigences qui sont irréalistes – une erreur d’un point est parfaitement normale historiquement.

Et des enfants gâtés au raisonnement binaire, puisque la presse se focalise sur le vainqueur. Alors que l’erreur était plus grande en France qu’aux Etats-Unis, la présidentielle américaine a provoqué une relativisation excessive des sondages tandis que son homologue française ne faisait de vagues. C’est que les sondeurs français avaient donné le bon vainqueur, pendant que les américains mettaient Clinton en tête.

Nous déconseillons fortement ce genre de raisonnement : ce qui compte c’est la distance entre le sondage et le résultat, pas le fait qu’il ait donné le bon vainqueur. Et sur ce critère, les sondeurs ne font pas pire qu’avant – mais ils ne font pas mieux non plus. Le graphe ci-dessous illustre bien la stabilité des erreurs depuis 1974.

Evolution de l'erreur de l'ensemble des sondeurs pour tous les partis

Précision méthodologique : il s’agit de l’erreur simple, qui permet de prendre en compte la direction de l’erreur. Une erreur positive signifie que le marché avait sur-évalué le parti étudié, tandis qu’une erreur négative indique une sous-évaluation. On voit donc que les erreurs se concentrent entre -3 et 3, avec des pointes entre -5 et 5, mais qu’il n’y a pas de tendance perceptible à la baisse ou à la hausse.

En cela, nos conclusions corroborent celles des chercheurs Will Jennings et Christopher Wlezien, qui montrent que la précision des sondages dans les démocraties européennes, américaines et asiatiques est plutôt stable depuis plusieurs décennies.

Comme je sais que vous êtes d’insatiables curieux, je vous offre ce tableau en bonus, qui détaille les chiffres du graphique que vous venez de voir :

Erreur simple de l'ensemble des instituts de sondage, par élection
Election Extrême-gauche Gauche Verts Centre Droite Extrême-droite
Législatives 2017 1.1 0.1 -1.3 -2.2 -0.9 4.7
Présidentielles 2017 -2.7 2.9 -0.4 -0.7 2.3
Régionales 2015 2.6 -4.0 -0.8 0.2 0.8
Européennes 2014 0.9 3.2 -0.1 -0.3 1.0 -1.6
Législatives 2012 1.2 -2.3 -0.5 1.3 -1.3 1.6
Présidentielles 2012 1.5 -0.7 0.3 1.6 -0.3 -1.8
Régionales 2010 0.2 -0.7 1.3 0.6 3.0 -2.4
Européennes 2009 -0.3 3.2 -3.2 2.8 -0.7 -0.5
Présidentielles 2007 -0.1 -1.7 -0.3 0.3 -3.2 3.5
Européennes 2004 -1.9 0.8 -1.1 0.7 1.5
Régionales 2004 -3.5 3.1 0.8
Présidentielles 2002 2.2 3.1 0.8 -1.6 1.4 -5.0
Législatives 1997 -0.7 -0.0 -0.3 2.7 -0.3
Présidentielles 1988 -0.2 1.4 -1.4 0.6 3.1 -2.9
Présidentielles 1974 -0.2 -3.2 3.6 0.5

L'erreur simple mesure la distance entre ce qu'indique la moyenne pondérée des sondeurs et les résultats de l'élection, mais donne aussi le sens de l'erreur. Une erreur positive signifie que les sondeurs avaient sur-évalué le parti étudié, tandis qu'une erreur négative indique une sous-évaluation. Calculs PollsPosition sur près de 800 sondages au cours de 15 élections. Voir notre méthode pour plus de détails.

Un argument qu’on entend à satiété est celui des « shy voters », surtout quand il s’agit du Front National (FN). En bref, beaucoup d’électeurs n’oseraient pas avouer leur préférence FN aux sondeurs et ne se révèleraient que le jour du scrutin. Si c’était le cas, on observerait une sous-évaluation systématique de l’extrême-droite.

Une illustration de la distribution des erreurs de tous les sondeurs, lors de toutes les élections, montre que ce n’est pas le cas. Pour l’ensemble des partis, l’erreur moyenne est aux alentours de 0, indiquant que le marché ne présente pas de biais.

C’est bon signe pour la qualité des sondages, mais cela incite à la prudence dans nos inférences : l’erreur peut aller dans les deux sens et il est quasi-impossible de prédire dans lequel.

Distribution des erreurs simples de tous les sondeurs, par parti

On voit toutefois que la gauche et l’extrême-droite se détachent : leur distribution est plus étendue que celle des autres partis, ce qui signifie que leurs erreurs sont encore plus fragmentées. Pourquoi les sondeurs ont-ils plus de mal à estimer ces deux partis ? Peut-être leur électorat est-il plus volatile ? Cela semble crédible pour la gauche, actuellement en profonde reconstruction, et sujette à des coalitions mouvantes avec les Verts, le centre ou l’’extrême-gauche selon le type d’élection.

C’est plus difficile à croire pour le FN, dont l’électorat est extrêmement fidèle. Peut-être que les ratés – réels ou supposés – des sondeurs occidentaux sur les candidats d’extrême-droite incitent les instituts français à surcompenser, créant ainsi de nouvelles erreurs mais dans la direction opposée ?

Le graphique ci-dessous montre en effet que la tendance actuelle est à la surévaluation du FN, après une période de sous-évaluation. Sur les 5 dernières élections dans notre base de données, le FN a été sur-évalué 4 fois. Et les deux plus grosses sur-évaluations ont eu lieu aux dernières présidentielles et législatives – respectivement 2,3 et 4,7 points. Une tendance à garder en tête pour les européennes, d’autant que les sondeurs sont beaucoup moins critiqués quand ils sur-évaluent l’extrême-droite. Dans tous les cas, cette sur-évaluation permet de mettre fermement de côté l’hypothèse des « shy voters »1.

Evolution de l'erreur simple de l'ensemble des sondeurs pour l'extrême-droite et ligne de best fit

En un mot, les sondages ne sont pas aussi mauvais que ce que le bashing post-Brexit laissait croire, mais ils ne sont pas aussi bons que ce que le premier tour de la présidentielle 2017 laisse penser. Le public et les médias doivent apprendre à interpréter les sondages de manière probabiliste, en gardant en tête une large palette de scénarios, pour enfin distinguer une élection très serrée d’un véritable raté des sondages.

Alexandre Andorra est co-fondateur de PollsPosition.



1 : Non seulement il n’y avait pas de shy voters pour Marine Le Pen, mais il n’y en avait pas non plus pour le FN en général – sinon l’on n’observerait une sur-évaluation que lors des présidentielles.