Les méthodes de sondage et leurs limites
L’évolution des intentions de vote nous permettait-elle de prévoir les résultats ? Occupés par les deux principaux candidats, on a omis de remarquer que, depuis le début du mois de septembre, les petits candidats avaient perdu le tiers de leurs appuis, passant de 12 % à 8 %. Or, l’ensemble des points perdus par les petits candidats se traduisaient par une augmentation des appuis à Trump. Cette érosion des intentions de vote des petits partis s’est traduite par un vote de moins de 5 % le jour du vote, faisant remonter d’autant les intentions de vote pour Donald Trump.
Par ailleurs, la montée de Clinton dans les intentions de vote durant la période des trois débats est « saisie » uniquement par les sondages faits par téléphone – avec ou sans interviewer – alors que les sondages web ne voient pratiquement pas de changement. De plus, au cours des deux dernières semaines de campagne, les sondages automatisés, faits uniquement à des téléphones fixes et complétés par des sondages web, donnent rarement plus de 50 % d’appui à Clinton par rapport à Trump.
Les différences de mode pouvaient nous permettre de montrer du doigt de possibles biais des méthodes.
Enfin, lorsque je procédais à une répartition non proportionnelle des discrets, en attribuant les deux tiers de ceux-ci à Trump, le tiers à Clinton et aucun aux autres candidats, les analyses donnaient Clinton à peine un point en avance sur Trump et donc, une très bonne prédiction du vote populaire. Il était donc possible de prévoir les résultats de l’élection présidentielle américaine à condition de corriger les estimations pour tenir compte du fait que les électeurs plus âgés, plus favorables à Trump, sont moins rejoints par les sondages ou ne révèlent pas leur intention de vote.
Dans la marge d'erreur
Cela dit, les résultats de l’élection américaine étaient difficiles à prévoir pour plusieurs raisons d’ordre méthodologique. D’une part, le peu d’écart entre les intentions de vote des candidats amenait la plupart des sondages à l’intérieur de la marge d’erreur de cet écart. En fait, 18 des 21 sondages publiés au cours de la dernière semaine situaient Hillary Clinton à cinq points ou moins de Donald Trump, une différence qui se situe à l’intérieur de la marge d’erreur pour un échantillon de 1425 répondants, soit la médiane des sondages réalisés. La population aurait sans doute dû en être informée par les médias, entre autres.
De plus, la méthodologie des sondages est en transition. Elle a changé rapidement au cours des dernières années et plusieurs nouvelles méthodes n’ont pas pu être testées suffisamment dans un cadre électoral. Les échantillons web sont parfois composés de volontaires dont on ne sait pas comment ils sont recrutés ; on ne sait pas sur quelle base la proportion de numéros de cellulaires est déterminée dans les sondages téléphoniques ; certains sondages combinent diverses sources, rendant leurs résultats difficiles à pondérer.
Enfin, les taux de réponse sont devenus dérisoires, quelle que soit la méthode. Dans les circonstances, il est presque surprenant de voir le peu de différences entre les méthodes.
Pour compenser les failles des échantillons, les firmes de sondage utilisent de plus en plus des modèles visant à estimer les caractéristiques de la population des électeurs. Ces modèles sont des boîtes noires basées sur les comportements passés et les intentions déclarées, tout cela pondéré par divers facteurs. On a vu, par exemple, que pour une même base de données sur la Floride, les estimations des analystes allaient de plus quatre pour Hillary Clinton à plus un pour Donald Trump. Bref, en l’absence de données fiables, on produit des modèles de vote d’autant plus spéculatifs que les caractéristiques des électeurs changent d’une élection à l’autre.
Il est difficile d’affirmer cela ouvertement, mais cette élection risque d’avoir des effets très positifs sur les sondages. La pression sera forte pour que les méthodes s’améliorent et que les firmes donnent encore plus d’information sur leur manière de procéder et sur les conséquences des décisions qu’elles prennent. Un comité de l'AAPOR (American Association of Public Opinion Research) analysera les sondages de l’élection et fera rapport au printemps 2017 sur ce qu’il aura constaté. Les recommandations du comité sont également susceptibles d’influencer la conduite des sondages au Canada, un pays qui a aussi eu son lot d’erreur au cours des dernières années.
* Vice-présidente/présidente élue WAPOR (World Association of Public Opinion Research)