Interpréter les sondages (suite)

16 mai 2002

La fiche "Interpréter les sondages" m'a valu deux critiques énergiques et argumentées. Je comprends le raisonnement de leurs auteurs et leur suis reconnaissant du soin avec lequel ils l'ont mis en forme. Cependant je ne partage pas leur opinion. J'ai demandé à un ami statisticien ce qu'il en pensait. Voici les pièces du dossier :

1) Message n° 1, 6 mai 2002

J'ai lu avec intérêt votre texte sur l'interprétation des sondages. Je voudrais simplement vous faire remarquer qu'il est totalement en dehors de la plaque. La veille du premier tour, tous les instituts de sondage (quatre en fait) donnait le même résultat : Jospin 18%, Le Pen 14%. Si votre explication qui met l'accent sur l'incertitude inhérente à la méthode des sondages était correcte, les instituts de sondage auraient dû donner des résultats beaucoup plus dispersés, les uns surestimant, les autres sous-estimant le résultat. En faisant la moyenne des quatre estimations, la presse (ou le public) aurait pu réduire l'incertitude. Votre calcul fait l'hypothèse scientiste qu'un sondage permet effectivement de connaître le comportement d'un individu alors que celui-ci peut ne pas vouloir répondre, mentir ou ne pas avoir de comportement dans le domaine en question. Or l'erreur d'observation peut être beaucoup plus importante que l'erreur de sondage.

Ma réponse au message n° 1, 6 mai 2002

Je n'avais pas remarqué que les réponses aux derniers sondages étaient aussi semblables que cela. Ceci dit je ne fais pas l'hypothèse scientiste dont vous parlez. Certes les réponses aux sondages sont biaisées. Ceci introduit une incertitude spécifique, très difficile à corriger. J'ai voulu montrer que, même en supposant les réponses non biaisées, il existait une incertitude incompressible d'origine purement mathématique et que l'on peut évaluer simplement. MV

2) Message n° 2, 13 mai 2002

J'ai lu par hasard votre commentaire sur "Interpréter les sondages". Habituée des études et recherche, je suis familière avec les intervalles de confiance. Mais j'ai quelque difficulté à saisir votre attitude partisane de défense des instituts de sondages. Leur réponse maladroite concernant les répondants ne démontre que leur incapacité à différencier les attitudes des opinions (ce que tout bon PhD en psycho sait faire) et leur manque d'éthique concernant leur responsabilité sociale. Conceptuellement, votre pirouette statistique ne résout en rien ce problème d'une causalité inversée où confiants dans le génie prédictif des sondeurs nombre d'électeurs se sont abstenus avec une conséquence importante. Que vous soyez agacé par les journalistes est une chose. Répondre de manière aussi instrumentale à un réel problème de responsabilité sociale en est une autre. Et responsables d'une certaine dérive de la connaissance, nous le sommes tous. Ce qui s'est passé ne se satisfera jamais de réponse simple. Il suffit de voir une famille belge décimée et un leader néerlandais tué suite à l'exaspération provoquée par ces élections pour être très prudent avec la connaissance que nous avons pour devoir de proposer ; très modeste également.

Ma réponse au message n° 2, 13 mai 2002

Vous êtes familière avec les intervalles de confiance, peu de Français le sont. Lorsque j'ai calculé l'intervalle autour d'une estimation à 20 % sur un échantillon de 1000 personnes, j'ai moi-même été surpris de voir combien il était large - bien plus large que l'écart entre MM. Le Pen et Jospin. Aucun sondage sur 1000 personnes, même en supposant les réponses non biaisées, n'aurait pu permettre de prévoir leur classement final. J'ai donc dit : "lorsque vous lisez le résultat d'un sondage, pensez à l'"empâter" par l'intervalle de confiance. Il sera prudent de tenir compte, en outre, du biais de réponse". Je n'entends pas défendre les sondages mais au contraire montrer que leurs résultats sont entachés d'une imprécision inéluctable. Les instituts ont je crois des méthodes pour redresser les biais mais elles sont bien sûr plus imprécises que le sondage lui-même. L'analyse des récentes élections demandera beaucoup de réflexion. En faire porter la responsabilité aux seuls sondages, ce serait se dispenser d'une réflexion historique et civique qui me semble bien nécessaire. MV

3) Mon message au collègue statisticien, 14 mai 2002

J'avais mis sur mon site un petit raisonnement sur les sondages. Il a suscité des messages très critiques. Ces personnes attribuent aux sondages le résultat des élections. Elles sont furieuses contre les instituts de sondage. Qu'en penses-tu ? MV

Réponse du collègue statisticien, 15 mai 2002

J'avais fait le même calcul que toi.

1- Oui, il ne faut jamais négliger l'intervalle de confiance. Il existe en outre, en effet, une erreur de mesure due à la différence entre attitude et opinion. Donc souvent le sondage se trompe d'un peu plus que l'intervalle de confiance. De ce point de vue, et il me semble que tu ne le dis pas, jamais les sondages pour une élection présidentielle n'ont été aussi proches du résultat que cette année ! Regardons ce qui s'est passé aux autres élections, rappelons-nous les erreurs bien plus importantes (mais avec un impact moins fort bien sûr) commises par exemple en 1995. Soyons rationnels, bon sang, quand nous critiquons les sondages.

2- Il faut tenir compte de l'évolution des intentions de vote, bien examiner les tous derniers sondages et les tendances. Le vendredi dans Libération, c'était Le Pen à 14,5% (en non 14 %), Jospin à 18 %, le premier en tendance montante, le second en tendance décroissante. Là j'ai été franchement inquiet.

3- Je suis d'accord avec les remarques de tes correspondants sur la responsabilité des instituts de sondage. Pour ma part cependant je ne critique pas leurs chiffres mais leur manque d'implication dans les commentaires. C'est un problème d'éthique. Ils ont dit que les intentions de vote étaient volatiles, qu'elles ne l'avaient jamais été à ce point, mais à un moment ils auraient dû dire clairement "Il devient très plausible que J.-M. Le Pen soit au deuxième tour" (il paraît que le directeur d'un institut de sondage l'a dit l'avant-veille du premier tour à Télé-Matin). Les médias ont une responsabilité analogue, peut-être plus importante car ils n'ont pas voulu écouter le discours sur le risque lié aux intervalles de confiance : et ce ne sont pas les instituts de sondage mais les médias qui publient les résultats.

Ma réponse à cette réponse, 15 mai 2002 (et nous en resterons là ! ) :

Il me semble que ces élections traduisent une réaction profonde, naturelle et finalement plutôt saine de l'électorat envers :
- un gouvernement de gauche qui s'est transformé en gestionnaire médiatique ;
- la formule "gauche plurielle" qui s'est traduite par une recherche constante du compromis ;
- les 35 heures, mesure prétentieuse et creuse ;
- le fait que Hollande soit secrétaire général ;
- le fait que la direction du PS ait perdu le contact avec sa base, etc.

Beaucoup de gens de gauche me disent "Je voterai à droite aux législatives pour donner à Chirac la majorité dont il a besoin, mettre un terme à la cohabitation, doter la France d'un pouvoir politique qui nous sorte de l'ambiguïté et puisse faire face aux défis que rencontre le pays." Je crois que je n'arriverai pas à voter à droite (quand je l'ai fait au second tour je me suis senti tout drôle), mais je comprends le raisonnement de ces personnes car il reflète une préoccupation civique. Expliquer le résultat de ces élections par les sondages, c'est ne pas mesurer la profondeur du phénomène et s'interdire d'analyser ses causes. MV