ouvrezlesyeux

Bon je suppose que tout le monde a entendu parler de ces deux sondages, l'un IFOP pour le Figaro et l'autre CSA pour l'Humanité. En voici une présentation rapide.

Ce matin, Le Figaro a dévoilé les résultats d’un sondage IFOP (pdf) dont les résultats n’ont pas fini de surprendre et de susciter la polémique, affirmant qu’une majorité de Français soutiennent le récent virage sécuritaire entrepris par Sarkozy.

La méthodologie du sondage nous a surpris. En effet, on n’y retrouve pas les habituels ‘ne se prononce pas’ qui permettent de jauger l’intérêt que portent les sondés à une question. Vérification prise auprès de l’Ifop, il s’avère que les sondages auto-administrés de ce type, où les sondés répondent eux-mêmes aux questions, en l’occurrence devant leur ordinateur, ne comportent jamais de case ‘nspp’.

L’Ifop explique sans rire que ça permet d’éviter un trop grand taux d’abstention. Devant un sondeur, les personnes interrogées ont tendance à donner un avis, même s’ils n’en ont pas vraiment. Parce qu’on a toujours l’air tarte quand on ne sait pas répondre aux questions. Sur internet, le sondé est libéré de cette pression, si bien qu’on l’on y constate une « explosion » du nspp. « Les taux peuvent dépasser les 10, 15, 20 points » contre 3 à 8 sur les autres types d’enquête, explique l’Ifop.

Les mauvaises langues diront que les instituts de sondages forcent des gens sans opinion à en donner une, préférant ainsi fausser les résultats pour économiser les coûts que nécessiteraient un élargissement de l’échantillon. Et elles n’auront pas tort.

D’autres biais affaiblissent ce sondage

La méthode, tout d’abord. Tous les français ne sont pas connectés à internet. L’Ifop nous assure que les résultats sont redressés pour les 25% de non-internautes (31% selon l’ITU). La période, ensuite. Comment contacter les estivants ? L’Ifop assure que 60% des Français ne partent pas (30% selon le Credoc, mais passons) et que ceux qui partent restent connectés. Est-ce qu’ils possède des statistiques sur le nombre de personnes ayant répondu de leur iPhone, ou ceux dont l’adresse IP montre une localisation différente de leur ville de résidence? L’Ifop n’en voit pas l’intérêt mais assure que "des vacanciers ont participé à l’enquête".

Les vacanciers sont souvent plus riches, plus éduqués et plus sensibles aux libertés individuelles, de l’aveu même de l’Ifop. Leurs réponses auraient sans doute détonnées avec celles des autres sondés. Espérons que les 2 biais (les non-connectés d’une part, les vacanciers de l’autre) s’annulent. Mais la chance et les statistiques se marient mal ensemble.

L’Ifop assure enfin que toutes les questions posées ont été publiées. Ça ne nous empêchera pas de critiquer la manière dont elles ont été rédigées. "Êtes-vous favorables au démantèlement des camps illégaux de Roms?" revient à dire "Voulez-vous que la loi soit appliquée?". Il aurait pu être intéressant de demander aux sondés si ils étaient favorable à une sanction pour les préfets qui n’ont pas appliqué la loi du 5 juillet 2000 [PDF] qui leur permet d’obliger les maires à construire des aires d’accueil (préfets qui, soit dit en passant, dépendent directement du gouvernement).

Le questionnaire donné au sondé l’installe à chaque nouvelle question dans un climat très anxiogène. On commence dès la première question avec le terme "multirécidiviste" qui permet de faire peur. Mais de qui parle-t-on ? Le terme est très flou. On enchaîne ensuite avec les termes de "polygamie", "incitation à l’excision", "assassins de policiers", "camps illégaux", "atteinte à la vie d’un policier", "délinquants". Il faut beaucoup de volonté pour ne pas être mal à l’aise à la fin de ce questionnaire…

Ce sondage Ifop est aussi peu fidèle à la réalité que ses multiples cousins qui tentent de construire une opinion publique, le plus souvent à l’image de celle souhaitée par le gouvernement.

Petit historique des manipulations sondagières

Le Pen au second tour ? On n’avait pas prévu !

Lors de la campagne électorale des Présidentielles de 2002, aucun sondage rendu public avant le 1er tour du scrutin ne prévoyait Le Pen au deuxième tour. En effet, souvent la marge d’erreur des sondages ne permet pas d’établir de conclusion définitive. Or beaucoup d’interprétations ne prennent pas en compte cette marge. Cette erreur d’interprétation était d’autant plus à éviter en 2002 que le nombre de sondés qui se déclaraient indécis était toujours très important. C’est comme ça que tout le monde a pris le duel Chirac-Jospin comme acquis.

Un allié (in)attendu dans la bataille Hadopi

En 2008, en pleine bataille HADOPI, un sondage IPSOS proclamait qu’une très large majorité de Français étaient favorables à la riposte graduée prévue par la haute autorité. Un sondage qui avait en fait été commandé par la société civile des producteurs phonographiques (SCPP), organisme extrêmement favorable à la dite loi. Mieux, elle avait même rédigé les questions que l’institut a posé aux sondés, qui devaient peu ou prou répondre à cette question : "voulez-vous faire de la prison et/ou payer une lourde amende pour téléchargement illégal ou écoper d’un avertissement par mail éventuellement assorti d’une coupure de votre accès Internet ?".

"L’affaire Opinion Way"

En juillet dernier, un rapport de la cour des comptes sur le budget de la présidence de la République avait pointé la position ambigüe de l’Elysée vis-à-vis de l’institut de sondage Opinion Way. En effet, ce dernier avait facturé près de 1,5 millions d’euros d’études à la présidence (en passant outre le code des marchés publics). Problème : les résultats de ces sondages étaient étonnamment proches – voire identiques – à ceux publiés dans les grands médias, notamment dans Le Figaro et LCI. Outre donc l’inutilité de la dépense pour le contribuable, les résultats des dits sondages n’aident pas à lever le soupçon qui pèsent sur leur financement. Le tout posant la question de l’indépendance et de l’objectivité de telles études d’opinions vis-à-vis du pouvoir.

Les Français sont-ils vraiment prêts à travailler plus longtemps ?

Au début de cette année, le JDD publiait le résultat d’un sondage sur l’allongement de la durée de cotisation de retraite et titrait les Français prêts à travailler plus longtemps. L’hebdomadaire se basait sur les réponses à la question « Jusqu’à quel âge seriez-vous prêt à travailler pour avoir une bonne retraite ? ». On pouvait déjà mettre quelque peu en doute les résultats du sondage. En effet la fameuse question était posée logiquement aux seuls actifs du panel mais réduisant l’effectif à 522. Mais comme le démontrait le docteur Panel sur Rue89, les résultats du sondage n’était pas tout à fait ce qu’annonçait le JDD. En effet, en comparant les résultats des questions « D’après vous, à quel âge serez-vous contraint de partir à la retraite ? » (moyenne des réponses 64,7 ans) et « Jusqu’à quel âge seriez-vous prêt à travailler pour avoir une bonne retraite ? » (moyenne des réponses 62 ans), Rue89 conclue que « les français sont prêts à s’arrêter de travailler 2,7 ans avant l’âge auquel ils pensent devoir partir pour toucher « une bonne retraite » ! »

Et tant d’autres…

La liste des sondages sujets à caution est malheureusement longue. Récemment, un sondage réalisé par BVA affirmait que 6 Français sur 10 défendaient la proposition de loi du sénateur Jean-Louis Masson sur l’anonymat des blogueurs. Outre le fait que, comme le rappelle le journaliste David Abiker, les sondés n’auraient probablement pas répondu si ils n’avaient pas été anonymes, les questions étaient très biaisées et posées à un public ne maîtrisant pas forcément toutes les implications et les enjeux du domaine en question.

Il y a quelques semaines sur Rue89, le blogueur Le Yéti a judicieusement pointé du doigt le pouvoir de "faiseurs d’opinions" détenus par les instituts de sondages, et nous explique comment ils "favorisent" certaines personnalités politiques, faisant fi de l’importance réelles de certaines personnalités dans le paysage politique.

Taper sur la nouvelle politique ultra-sécuritaire du président, un loisir de gauchiste ? Pas forcément, si on en croit le dernier edito du New-York Times, qui dénonce aujourd’hui une véritable "fièvre anti-immigrés". Y faut pas déconner.

Voilà un sondage qui a dû faire plaisir au chef de l'Etat. Et qui ne manque pas de susciter les interrogations. Ce vendredi 6 août, Le Figaro publie les résultats fracassants d'une enquête Ifop concernant les diverses annonces récentes de Nicolas Sarkozy et de son gouvernement en matière de sécurité. Aussitôt, des critiques se sont élevées sur la méthodologie de ce sondage, réalisé sur internet. Parmi ces critiques, la période de vacances, l'obligation de répondre par oui ou par non, et l'absence de toute question sur les résultats concrets de la politique de sécurité.

Déchéance de la nationalité, responsabilité pénale, surveillance accrue des Roms, vidéosurveillance… Le résultat ressemble à un plébiscite pour la majorité. "Que ce soient les mesures annoncées à Grenoble par le président contre ceux qui s'en prennent aux forces de l'ordre, celles présentées par Brice Hortefeux sur les camps de Roms ou suggérées par le député UMP Éric Ciotti contre les parents de mineurs délinquants: les Français les soutiennent, et dans une proportion très large", écrit le Figaro.

Selon l'enquête Ifop, disponible en intégralité dans ce document PDF, 80% des sondés sont pour le retrait de la nationalité française aux ressortissants d'origine étrangère coupables de polygamie ou d'incitation à l'excision. Le démantèlement des camps illégaux de Roms est approuvé par 79% des personnes interrogées, qui sont aussi favorables à 70% au retrait de la nationalité pour les délinquants d'origine étrangère coupables d'atteinte à la vie d'un policier ou d'un gendarme.

Outre les réactions politiques, assez vives à gauche, comme le souligne cet article de 20minutes.fr, des critiques sont très rapidement apparues sur le sondage en lui-même. Sur le fond, et la forme.

Sur le fond des questions posées, dès vendredi matin, la revue de presse de France Inter citait Jean-Michel Helvig, l'éditorialiste de la République des Pyrénées : "Helvig s'étonne d'abord qu'un institut de sondage "déroge à un usage de la profession qui veut que l'on ne réalise pas d'enquête d'opinion pendant les vacances en raison des difficultés d'échantillonnage". Il ajoute : "Par ailleurs, une question supplémentaire aurait pu être posée (aux sondés) : dans le domaine de la sécurité, le bilan de la droite au pouvoir vous paraît-il positif ? La réponse aurait sans doute assombri le ciel du Cap Nègre"".

Et quant à la forme ? Un intéressant billet d'une internaute du Post s'arrête sur la méthodologie même des sondages par internet. L'enquête a en effet été réalisée entre les 3 et 5 août auprès d'un "échantillon de 1003 personnes, représentatif de la population française âgée de 18 ans et plus", interrogé par le biais d'un questionnaire en ligne. Internet est-il un outil fiable pour répondre à un sondage ? Eternel débat, que nous avions déjà longuement traité en décembre 2008, lorsque Ségolène Royal avait attaqué OpinionWay, et dont les enjeux sont très efficacement rappelés sur le blog du passionnant "Docteur Panel", hébergé par Rue89.

En bref, il est loin d'être certain que la population touchée par internet soit représentative de la population française, en raison de la proportion de Français disposant d'un accès à internet et des méthodes utilisées pour constituer des panels de sondés potentiels (faible rémunération, cadeaux ou points de fidélisation). Le profil des membres de ces panels est par ailleurs contestables, puisque, comme nous l'expliquions lors de notre émission sur ce sujet, ils ont tendance à devenir des "professionnels des sondages", et s'intéressent généralement plus que la moyenne aux questions politiques ou de société.

L'article du Post souligne aussi que dans ce type d'enquête online, il est presque impossible de s'assurer de l'identité de la personne qui répond. Et il pointe un problème intéressant : "Si on regarde attentivement les résultats, on s'aperçoit que jamais l'Ifop ne donne le taux de "sans opinion" aux questions posées." Ce qui signifie que, soit les sondés sont obligés de répondre à toutes les questions, soit le taux de non-réponse est escamoté.

Des biais sont inévitables

Ces critiques sont suffisamment récurrentes, et ont atteint un seuil de visibilité assez élevé, pour que l'Ifop publie sur son site, le jour même de la parution du sondage, une réponse argumentée aux critiques des enquêtes en ligne : "Les critiques entendues ne sont d’ailleurs pas sans rappeler celles réservées aux premières enquêtes réalisées par téléphone, elles aussi accusées à leurs débuts de déroute méthodologique", écrivent les sondeurs de l'Ifop, pour mieux démentir ces "craintes".

Tout comme leurs collègues d'OpinionWay en 2008, ils multiplient les chiffres pour signifier que les enquêtes via internet donnent des résultats équivalents aux questionnaires administrés par téléphone. Ils soulignent également que chaque méthode a ses biais propres. Par exemple, le téléphone fixe permet de moins en moins de joindre les Français les plus jeunes, et le face-à-face interdit de représentation les habitants des zones sensibles, évitées par les sondeurs…

Ces arguments ont été par ailleurs détaillés à @si par Frédéric Micheau, directeur adjoint à l'Ifop, qui estime que "lorsqu'on n'est pas content du message, on s'attaque au messager". Il souligne que dans un récent sondage pour France Soir, son entreprise avait conclu à la hausse du sentiment d'insécurité, "ce qui n'était pas bon pour le gouvernement, et on nous avait beaucoup moins critiqué". Certes, mais ce sondage n'avait pas été réalisé par internet.

Micheau certifie que "les méthodes utilisées pour s'assurer de l'identité des internautes sondés sont très strictes, et fiables". Et tient à préciser que les critiques habituelles sur les panels d'internautes sondés ne peuvent pas s'appliquer à son entreprise, puisqu'elle ne dispose pas d'un "panel propriétaire", limité à quelques dizaines de milliers de noms, où elle viendrait très, voire trop, régulièrement piocher. "Pour approcher les internautes, nous faisons appel au cas par cas à des partenaires qui nous fournissent des listes d'e-mails, comme des sociétés gérant des cartes de fidélité", explique-t-il. Selon lui, cela éviterait le biais de "professionnalisation" du sondé. Certes, mais le document justificatif publié par l'Ifop indique tout de même que ces "plusieurs centaines de milliers d’individus" susceptibles d'être interrogés ont "préalablement donné leur accord pour être sollicités et répondre à des enquêtes en ligne". Ce qui introduit, et de façon inévitable, des biais.

Concernant la non représentation des "sans opinion", Micheau assure que "par convention, dans le cas des questionnaires auto-administrés, sur internet ou sur papier, les instituts de sondage ne font pas apparaître de cases «Ne se prononce pas»" :"Lorsque le sondé n'a pas d'enquêteur face à lui, qui a pour consigne de le relancer deux fois, il peut trop facilement se réfugier dans la case "NSP" lorsqu'il ne veut pas dévoiler des opinions dont il a un peu honte." Le sondeur ne sait pas indiquer si, dans ce cas précis, il est possible de ne pas répondre à une question, ou si toute personne commençant le sondage doit donner son avis sur toutes les questions. Effectivement, selon nos constatations, pour ses sondages via internet, l'Ifop n'indique jamais le nombre de personnes n'ayant pas répondu. En revanche, et contrairement aux affirmations de Micheau, OpinionWay le fait bien, par exemple dans cette enquête pour le Figaro parue début juillet ou dans celle-ci (en pdf), sur le cas d'Eric Woerth, pour 20 minutes ! Mais là encore, les taux de non-réponses sont généralement très faibles, de l'ordre de quelques pourcents, et ne changeraient pas fondamentalement les résultats du Figaro. D'ailleurs, Micheau souligne que si les questions étaient biaisées, ou les résultats trafiqués, le sondage n'indiquerait pas que seulement 35% des sympathisants de gauche approuvent la condamnation pénale de parents de mineurs délinquants...

Pourquoi pas de question générale sur la politique sécuritaire de Sarkozy ?

Voilà pour la forme. Sur le fond, peut-on lancer des sondages au mois d'août ? Le sondeur reconnaît qu'"il existait un dogme sur cette question", censé l'interdire, mais il affirme que depuis plusieurs années, son entreprise passe outre :"Depuis la mise en place des 35 heures, les vacances sont plus étalées et nous savons aussi que de moins en moins de Français partent en vacances. Par ailleurs, ce début d'été a été très chargé en actualité politique, et l'outil internet permet aussi aux Français de répondre à des questions hors de leur domicile, sur un ordinateur ou un téléphone mobile." L'Ifop s'imposera néanmoins une pause de deux semaines dans les sondages, entre les 9 et 22 août, comme d'ailleurs "lors de la semaine entre Noël et Nouvel an".

Reste la question, fondamentale, du contenu des questions posées. "Le Figaro nous donne un thème, nous proposons des questions, qui sont ensuite discutées ensemble", explique Micheau. "Et nous discutons tant que nous estimons qu'il y a un biais dans les questions", assure-t-il, en oubliant peut-être une récente réalisation problématique issue de cette collaboration. Il assure aussi avoir déjà refusé des thèmes de sondages, "pour commenter des décisions de justice, ou demander l'avis des gens sur la démission d'une personne en vue".

Toujours est-il qu'encore une fois, comme en 2008, on peut s'interroger sur le choix des questions retenues par le Figaro. Rue89 signale que l'Humanité a commandé dans la meme période un sondage à CSA, où deux questions portent sur les mêmes thèmes. Et les deux fois, les mesures emportent plus d'adhésion dans le sondage du Figaro...

Pourquoi n'avoir posé que des questions sur les annonces du gouvernement, et aucune plus générale, par exemple sur le ressenti des personnes interrogées quant à l'efficacité de la politique sécuritaire de Nicolas Sarkozy, ou quant au degré de priorité des mesures annoncées ?

"Pour une fois qu'un sondage ne porte pas sur un sujet un peu flou ou trop vaste, j'en suis satisfaite", répond Judith Waintraub, qui a rédigé l'article accompagnant le sondage. Signalons-le, la journaliste a pris la peine d'inclure des citations d'un autre sondeur de l'Ifop, qui estime qu'il "y a peut-être du vrai dans la thèse du PS quand il accuse Nicolas Sarkozy de se servir de l'insécurité pour faire oublier Woerth". Pour tempérer l'impression de triomphe de la majorité, elle conclut aussi en indiquant que "le président n'a pas pour autant gagné la partie", et que "si les résultats ne suivent pas, la déception sera à la mesure de l'espoir suscité".

Dans la même veine, son supérieur Guillaume Tabard souligne avoir "titré sur les "annonces de la majorité" et non sur les "mesures du président", pour bien indiquer que nous ne savons pas encore ce qui va être mis en place". Les lecteurs du Figaro auront sûrement été sensibles à la nuance.

 C'est vraiment la honte !

La France, pays de Voltaire et d'Hugo serait elle en train de devenir le pays de Stalline et Mussolini ?

Je sais pas pour vous mais pour moi ça commence serieusement à puer le fascisme à plein nez !

Sarkozy est vraiment une ordure !