PEUT-ON VRAIMENT SE FIER AUX SONDAGES ?…ou 20 petites et grandes dérives des sondeurs et cabinets d’études qui font douter.

Nous sommes abreuvés à longueur de journées de sondages et d’enquêtes de toutes sortes. Aucun sujet n’échappe désormais au phénomène entre la politique, la consommation, la santé, les loisirs, la société, la famille, etc.

Dans le tourisme, nous sommes également gâtés. C’est Noël toute l’année ! On questionne sur les intentions de départs en vacances, sur les destinations, sur les réservations, sur les bilans de fins de saisons, sur le moral des professionnels, sur les tendances de consommation touristique, sur… et tout est interprété en disant tout jusqu’à son contraire.

Ces sondages émanent d’instituts de sondages et de cabinets d’études (dont Coach Omnium fait partie). Ces enquêtes sont la plupart du temps financées par des entreprises et des marques, sans parler des commandes sur les thèmes politiques émanant de partis, du gouvernement, de collectivités…

• Qui est interrogé ? Tout le monde ou presque ! Le grand public en premier, mais aussi des consommateurs ou des professionnels selon les thèmes traités.

• Pourquoi sonder ? Pour apprendre, comprendre, mesurer des informations en interrogeant le plus grand nombre. Mais, la grande mode est désormais de se référer à un sondage pour démontrer quelque chose et chercher à le rendre incontestable.  Parfois même, ce sondage pris comme référence… n’existe pas ! Mais ça, c’est une autre histoire.

PETITES TRICHES ENTRE AMIS

Si les sondeurs sont certainement dans leur majorité des gens honnêtes, ce n’est pas toujours le cas de leurs méthodes ! La finalité de ces indélicatesses et coups de canif dans la déontologie, le cas échéant ? Orienter des réponses pour qu’elles aillent dans un sens souhaité, produire des études de complaisance (pour faire plaisir et convenir à son commanditaire), influencer …et bien d’autres objectifs pas toujours avouables. C’est une des raisons pour lesquelles des sondages sur les mêmes sujets n’obtiennent pas forcément les mêmes résultats.

Tricher ne fait pas prendre de risque puisqu’il est rare que l’on demande des comptes à un sondeur sur sa façon de faire et ses pratiques. Les sondeurs avancent masqués. Quoi qu’il en soit, si le sondage ou l’enquête est bidonné, il est plus compliqué de le démontrer que de le produire, selon la loi de Brandolini. Bref, à qui profite le crime ?

LE VRAI DU FAUX

La règle surprenante qui permet d’extrapoler les résultats d’un sondage à partir d’un échantillon de 1.000 personnes (par exemple) à une population beaucoup plus large vient de la théorie des probabilités et de la statistique, en particulier de la loi des grands nombres et du théorème central limite (TCL). C’est la base.

Mais, des déviances existent dans les instituts de sondages et cabinets d’études dues à la négligence de ces règles, à la recherche de simplification (on ne veut pas se compliquer la vie) ou à la quête d’économies (écrire des résultats sur un coin de table est plus rentable que de faire le travail d’enquête). Voire à de l’incompétence, mais aussi à du clientélisme.

Autrement dit, on peut faire de (très) nombreux reproches récurrents aux instituts de sondage concernant leurs méthodologies et leur démarche. Certains sont d’ordre technique, d’autres relèvent plutôt de biais structurels ou de communication. Voici les principaux :

I) – ÉCHANTILLONNAGE IMPARFAIT

1 – Sous-représentation de certaines catégories : jeunes, classes populaires, ruraux, abstentionnistes… souvent moins présents dans les panels. Un échantillon doit être choisi de manière aléatoire dans un cadre représentatif de la population ou de la cible.

Exemple : dans le tourisme, on voit en permanence des enquêtes conjoncturelles qui portent sur l’hôtellerie en les faisant passer pour « l’activité touristique », alors que les séjours hôteliers ne représentent qu’une minuscule part des nuitées touristiques. L’hôtellerie n’est donc pas représentative du tourisme et l’extrapolation est abusive.

 2 – Faux échantillon : les personnes interrogées n’ont qu’un lien distant voire aucun lien avec le sujet traité. Les fichiers utilisés pour sonder ne sont pas ou sont très peu qualifiés.

Exemple : on interroge des Français de plus de 18 ans sur leurs appréciations et connaissance des chaînes hôtelières alors que moins de 15 % de la population va à l’hôtel et pas tous dans les chaînes.   

3 – Méthode contestable des quotas : très utilisée, elle ne garantit pas une parfaite représentativité (on corrige sur quelques critères mais on en néglige d’autres).

Nota : la Méthode des quotas consiste à faire en sorte que l’échantillon soit représentatif de la population étudiée en respectant certaines caractéristiques socio-démographiques (sexe, âge, profession, région, taille du ménage, etc.). Ça, c’est pour la théorie. En pratique, pour atteindre un nombre voulu de répondants, le sondeur va souvent être peu regardant sur les profils qui composent l’échantillon.

4 – Panels en ligne pas représentatifs et faussés : justement, la typologie des sondés n’est pas toujours fidèle (voire rarement) à la population générale et au ciblage souhaité. Personne n’aurait l’idée d’interroger des non voyants à propos de lunettes de vue. Pourtant…

Constituer un panel représentatif est trop long, trop coûteux et trop complexe à mettre en place. Généralement, les sondeurs ont des fichiers de volontaires polyvalents à qui ils adressent des liens vers un formulaire/questionnaire pour répondre aux sondages sur tous les sujets possibles. Ils sont généralement rémunérés ou remerciés à coups de cadeaux et de bons d’achat. Déjà, ces stimuli faussent la donne : encore une fois, les répondants ne sont souvent pas dans la cible et beaucoup vont répondre n’importe quoi, sans savoir, motivés par la récompense. Ce n’est pas grave, l’objectif est qu’un maximum de personnes réponde…

À noter que l’on ne réalise pour ainsi dire plus de sondages en face-à-face, ni par téléphone. C’est chronophage, compliqué, cher à réaliser et à traiter. Merci à Internet et aux fichiers de volontaires…

II) – BIAIS À LA FORMULATION DES QUESTIONS

5 – Effet d’orientation : des formulations trop suggestives ou trop complexes (en somme, incompréhensibles) peuvent influencer les réponses. Cela peut être le fruit d’une incompétence du sondeur ou encore d’une démarche volontaire pour orienter les résultats d’une enquête.

6 – Effet de cadrage : l’ordre dans lequel les questions sont posées peut influencer la manière dont les répondants perçoivent le sujet et formulent leurs réponses.

7 – Choix de réponses prédéfinies : limiter les options (diversité insuffisante des cases à cocher), proposer un cadre trop directif/restrictif ou/et mal formuler les alternatives peuvent biaiser l’opinion. Pour traiter un sujet, on ne pose pas toutes les questions qui permettraient de comprendre un phénomène ou des opinions.

Par exemple : dans le tourisme, il est fréquent de demander aux voyageurs s’ils sont pour ou contre le fait que les hébergements soient écologiques. Généralement, la réponse est « je suis pour », car il est moralement difficile de dire le contraire. Mais, la plupart des enquêtes s’arrêtent là et se concluent par « X % de voyageurs (beaucoup !) » sont pour l’écologie dans les hébergements touristiques. Peu d’enquêtes vont plus loin en questionnant les touristes-vacanciers sur ce qu’ils sont prêts à faire pour contribuer à rendre leurs séjours plus écologiques et à s’imposer des contraintes (tris des déchets, économies d’eau et d’énergie, etc.). Le pourcentage devient automatiquement bien plus restreint. Le décalage entre l’acte et l’opinion est alors criant, car beaucoup de clients pensent que c’est à l’hébergeur de faire ce qu’il faut sans les obliger… Lire notre analyse « L’hôtellerie et l’écologie, un mariage difficile. »

 8 – Questions ouvertes mal traitées : quand il existe des questions ouvertes (donc pas des cases à cocher) — aspect qualitatif —, le traitement se fait généralement par mots-clés. Mais cela édulcore les réponses, appauvrit l’enquête et toute la richesse d’une opinion ou perception disparaît. Il est vrai qu’il est plus facile et plus rapide de cocher des cases que de faire rédiger des réflexions.

9 – Pas d’aide aux répondants : contrairement à des enquêtes en face-à-face ou même par téléphone, le fait d’auto-remplir un questionnaire retire toute assistance spontanée aux répondants. Ces derniers peuvent mal comprendre certaines questions (et donc ne pas y répondre ou répondre à côté) ce qu’une aide peut éviter dans l’intérêt de l’enquête.

 III) – TAUX DE NON-RÉPONSES ÉLEVÉS

10 – Beaucoup de personnes refusent de répondre ou décrochent vite (quand le questionnaire est trop long ou qu’ils ne se sentent pas concernés). Les résultats reposent donc sur un sous-échantillon qui accepte de participer, ce qui introduit un biais. Les gens qui répondent ont souvent un profil particulier, plus politisé ou plus entreprenant, par exemple. Les seniors répondent plus facilement que les plus jeunes, selon les sujets.

Exemple : un syndicat hôtelier interroge ses adhérents sur leur bilan de la saison touristique. Seuls 24 % répondent, mais l’organisation professionnelle diffuse quand même des pourcentages de réponses, alors que les répondants ne sont pas représentatifs de la diversité de l’offre hôtelière concernée.

IV) – MARGE D’ERREUR MAL COMPRISE OU MINIMISÉE

11 – Les sondages sont présentés comme des « photographies exactes », alors qu’ils sont toujours assortis d’incertitudes statistiques, ne serait-ce que par rapport aux méthodologies critiquables. L’approche des responsables de sondages est de présenter leur travail comme « scientifique » pour qu’il soit inattaquable. Le jargon qu’ils utilisent pour cela contribue à ce simulacre…

 V) – POIDS DES REDRESSEMENTS

 12 – Les redressements sont des corrections statistiques appliquées aux résultats bruts de l’enquête, dans le dessein de les rendre plus représentatifs de la population réelle supposée. Les sondeurs corrigent les résultats bruts (ex. en politique, selon le “souvenir de vote” aux élections passées), ce qui est déjà en soi controversable.

Ces redressements reposent sur des hypothèses, sujets à caution ou peu transparentes, qui influencent fortement le résultat final. Autrement dit, au nom de quoi s’autorise-t-on à modifier des résultats de sondages ? Il aurait fallu qu’à la source, l’échantillon interrogé soit fidèle à la réalité et que les questions soient bien posées. Le redressement laisse la place à toutes les orientations, manipulations et interprétations possibles, y compris pour tourner une enquête dans un sens que l’on désire, le cas échéant.

VI) – TEMPORALITÉ ET VOLATILITÉ

13 – Un sondage n’est qu’une mesure instantanée, souvent influencée par l’actualité immédiate. Il ne prédit pas le futur mais est souvent interprété comme une anticipation (du vote, de l’acte d’achat) ou de l’opinion durable. Il est fréquent que les prévisions issues de ces « sondages » soient éloignées du réel le moment venu, à l’instar des intentions de votes qui ne se concrétisent pas au moment de l’élection. Mais, personne ne songera à demander des comptes aux sondeurs.

Exemple : la chute d’attractivité de la restauration est traduite — sous l’influence de l’actualité et des discours syndicaux et politiques (de l’opposition) — comme étant le résultat d’une baisse du pouvoir d’achat des Français. Pourtant, entre 2019 et 2024, leur pouvoir d’achat a progressé de 2,6 % (Insee).

VII) – MANQUE DE TRANSPARENCE

14 – Note méthodologique absente, minimaliste ou faussée : énormément de sondages ne détaillent pas ou pas assez la méthodologie (taille et typologie réelles de l’échantillon, mode d’enquête, pondérations, redressements…). Cela empêche le public (et même les experts) de juger de la fiabilité des résultats. Lorsque l’on demande des précisions, y compris sur le panel interrogé, dans le meilleur des cas le sondeur répond ce qu’il veut, si possible en donnant des explications pseudo-scientifiques inintelligibles. Dans le pire des cas, il fait le mort.

VIII) – MENSONGES

15 – Échantillon gonflé : secret d’arrière-cuisine, de nombreuses sociétés d’études (y compris spécialisés dans le tourisme et la restauration) prétendent interroger des échantillons d’un millier de personnes alors que leurs enquêtes ne portent que sur quelques dizaines… Cela fait autant de fatigue en moins et d’économies en plus !

16 – Réponses inventées : par clientélisme, parce que les résultats d’enquêtes ne conviennent pas (au commanditaire) ou parce que l’on a oublié de poser certaines questions, il n’est pas rare que des auteurs d’enquêtes trafiquent ou fabriquent des réponses toutes faites. Ni vu, ni connu. À ce compte-là, pourquoi s’embêter à réaliser un sondage ?

17 – Réponses triées : on ne garde que les réponses qui arrangent selon ce que l’on veut démontrer et donc, on ne retient pas les réponses qui ne plaisent pas…

 IX) – INFLUENCE MÉDIATIQUE

18 – L’effet répétitif : le problème n’est pas que méthodologique mais aussi d’usage, par la mise en avant excessive des sondages. Cela peut donner une illusion de précision et influencer l’opinion elle-même :

• effet de vérité illusoire : à force de répéter toujours la même chose, on transforme un mensonge en vérité que les gens finissent par croire dans la plus basique approche propagandiste bien connue,
• effet « bandwagon » : effet de mode, qui définit un comportement grégaire et suiveur, où les individus se conduisent comme des moutons de Panurge.

 19 – Notoriété trompeuse : parce que l’institut de sondage ou le cabinet d’études est connu, on suppose que tout ce qu’ils publient est crédible, professionnel et irréprochable. Eux connaissent cette astuce et ne se privent pas d’en profiter sans scrupules. De toute façon, pas la peine de jouer la transparence puisque personne ne demande d’explications et gobe tout ce qui est servi.

20 – Journalistes accréditeurs : quand les médias reprennent en chœur et massivement des sondages ou enquêtes — même les plus faux et les plus truqués —, ils donnent leur garantie et crédibilisent ces publications. Et, par ricochet, ils cautionnent leurs auteurs. Les journalistes sont donc complices de déviances et de fake news. Ils ne font pas leur travail déontologique de vérification.

En résumé, les sondages sont des outils utiles, mais ils comportent des biais statistiques, des limites d’interprétation et un usage médiatique souvent excessif.

Mark Watkins