Enquête

Les chiffres tordus d’Influence Communication

Calculs arbitraires, manipulation de statistiques : la méthodologie d’Influence Communication, dont les chiffres sont abondamment cités par les médias depuis une décennie, n’a rien de scientifique, dénoncent 11 anciens employés. Enquête sur la plus médiatisée des firmes québécoises de veille médiatique.

Enquête 

Les mystérieuses fluctuations du « poids médias »

Sur le plateau de l’émission Dans les médias, à Télé-Québec, Pierre Lapointe s’emporte dans une furieuse envolée à la défense de la culture.

Ce qui a provoqué la colère de l’artiste ? Cette tendance alarmante dévoilée par un chroniqueur de l’émission : en 10 ans, la couverture médiatique des arts et spectacles a fait une chute vertigineuse de 30 % dans l’ensemble des radios, télés et journaux du Québec.

C’était le 23 novembre dernier. Un bon moment de télé, sans aucun doute. Sauf que la baisse d’intérêt des médias pour la culture constatée par Influence Communication, partenaire de l’émission, contredit… les propres chiffres de la plus médiatisée des firmes québécoises de veille médiatique.

Les bilans annuels d’Influence Communication indiquent plutôt que la part de nouvelles consacrées à la culture a légèrement augmenté, passant de 3,66 % en 2007 à 3,86 % en 2017.

Lorsqu’on lui souligne cette contradiction, Jean-François Dumas, président d’Influence Communication, explique qu’un changement de méthodologie l’a poussé à réviser ses statistiques. Il soutient avoir déterminé a posteriori qu’en 2007, la proportion de nouvelles consacrées à la culture était plutôt de 5,80 %.

Mais de quelle méthodologie parle-t-on, au juste ?

Depuis plus de 10 ans, les médias québécois diffusent largement les chiffres d’Influence Communication, qui se présente comme « le plus important courtier de nouvelles au Canada ».

En plus d’offrir un service de veille et d’analyse des médias à des entreprises et à des organismes gouvernementaux, la firme est connue pour dresser le portrait exhaustif du paysage médiatique du Québec, en calculant très précisément le « poids médias » de chacune des nouvelles diffusées dans la province.

Sans remettre en cause les services offerts aux clients d’Influence Communication, 11 anciens employés affirment toutefois que le calcul du poids médias n’a rien de scientifique.

Méthode de calcul « complètement aléatoire », application de « coefficients arbitraires » basés sur la seule « intuition » de Jean-François Dumas… les trois ex-directeurs, trois ex-analystes et cinq ex-conseillers consultés par La Presse dressent un dur portrait d’Influence Communication.

Ces 11 personnes ont travaillé pour la firme entre 2010 et 2017 et ont demandé à témoigner sous le couvert de l’anonymat pour ne pas nuire à leur carrière ou par crainte de représailles de la part de leur ancien employeur. Les 11 témoignages concordent en tous points.

Le calcul du « poids médias »

Comment calcule-t-on le « poids médias » d’une nouvelle ? « On a des gens qui écoutent la radio, la télé et qui découpent les journaux, répond M. Dumas. Nos recherchistes écoutent tout parce qu’on vend cette nouvelle à nos clients. » Il affirme ainsi posséder « 100 % de l’inventaire » des reportages diffusés chaque jour par l’entièreté des médias du Québec.

Les anciens employés racontent une tout autre histoire. Pour calculer le « poids médias » d’une nouvelle, « tu prends un chapeau et tu tires un chiffre », ironise un ancien analyste principal de la firme. « On fait une approximation en utilisant des facteurs de pondération au pif », résume une autre ex-analyste.

Dans son bilan annuel 2011, Influence Communication soutient qu’une valeur est donnée à chaque nouvelle « en fonction du lectorat, du tirage et des cotes d’écoute ». L’importance des nouvelles est ensuite pondérée « en fonction de sa taille (longueur, durée), de son emplacement dans le média (par exemple : page A1 ou D8, début de bulletin de nouvelles ou fin de bulletin de nouvelles, etc.) et, enfin, de son format ou traitement ».

En entrevue, M. Dumas admet que le « poids médias » ne tient compte d’aucun de ces facteurs. « Il n’y a pas de pondération, c’est le nombre de mentions, tout simplement. »

En d’autres termes, Influence attribue exactement le même poids médiatique à un reportage de fond publié en manchette d’un grand quotidien de Montréal qu’à un entrefilet enfoui dans les pages d’un hebdomadaire régional.

La méthode décortiquée

La Presse a pu consulter un fichier Excel détaillant la méthode de calcul du « poids médias » des nouvelles diffusées au Québec sur une base hebdomadaire, entre le 1er janvier 2013 et le 23 juin 2014. Depuis, la méthode est demeurée la même, selon des employés qui y ont travaillé jusqu’à récemment.

La méthodologie consiste à faire une recherche par mots-clés dans Eureka. Cette base de données, propriété de Cision, archive la majorité des articles de la presse écrite québécoise. Le nombre de mentions obtenues est ensuite multiplié par un coefficient censé refléter la diffusion de la nouvelle dans les médias électroniques.

« Il n’existe aucun logiciel capable de calculer le poids d’une nouvelle à la radio et à la télévision, et cela coûterait très cher de tout surveiller. Jean-François a réglé le problème avec le “facteur Jean-François”, qui est peut-être valide, mais qui est très intuitif. »

— Un ancien conseiller

Ainsi, les nouvelles considérées comme « ordinaires » sont fréquemment multipliées par 2,7, alors que celles qui sont jugées plus importantes sont multipliées par 3,3. Tout ce qui concerne le Canadien de Montréal est généralement multiplié par 5,5. Les tragédies, comme le drame de Lac-Mégantic, sont multipliées par 6,6 – parfois moins, parfois davantage. Les chiffres fluctuent sans logique apparente, au gré des nouvelles.

Des chiffres manipulés

Nous avons soumis le fichier Excel à l’analyse de Christian Léger, professeur au département de mathématiques et de statistique à l’Université de Montréal. « Les facteurs multiplicateurs sont vraiment surprenants », dit-il en parcourant les colonnes de chiffres. « Comment peut-on déterminer que Stephen Harper a le même multiplicateur que le Festival de Cannes ? Quel est le point de référence pour déterminer qu’une tuerie à Moncton doit être multipliée par 6,1 ? »

Ces facteurs « semblent sortir de nulle part », s’étonne M. Léger, qui compare la méthode à une sorte de formule magique. « Il serait très surprenant qu’ils aient été déterminés à partir de méthodes statistiques formelles. »

« Les facteurs de multiplication sont manipulés en fonction des événements. Les chiffres peuvent être augmentés de façon arbitraire, sans que cela ne soit basé sur des observations objectives », confirme un ancien analyste.

M. Dumas conteste cette affirmation. « Ce n’est pas arbitraire dans la mesure où c’est l’arithmétique à laquelle on est arrivés » pour refléter la médiatisation d’une nouvelle à la radio et à la télé. Dans le cas du hockey, par exemple, « on avait estimé à ce moment-là qu’il y avait en moyenne 5,5 fois plus de contenu de sports, avec toutes les chaînes continues, qu’il y avait de faits divers ».

En pratique, les chiffres sont manipulés, soutient pourtant un ex-analyste, qui se souvient d’un fait divers particulièrement tragique dont il avait calculé le poids médias en suivant la formule habituelle. Il raconte que son patron lui avait alors intimé : « Cela doit être plus élevé que cela. Augmente le chiffre. »

« On arrivait à un résultat et Jean-François disait : “Ben non, on en a parlé bien plus que ça, me semble, dans les médias.” Et il faisait monter la nouvelle dans le bilan » de la semaine, confirme une ex-directrice.

Les directeurs tenus dans l’ignorance

Quand cette ancienne directrice demandait des explications sur l’apparente manipulation des résultats, le président lui répondait seulement : « Moi, j’ajoute la sauce secrète du Big Mac », en refusant de donner plus de détails sur sa formule.

« Même à l’interne, on ne savait pas comment il avait calculé ses coefficients. Ça avait déjà été mesuré il y a plusieurs années, semble-t-il, mais on ne savait pas comment », dit un autre ancien directeur.

« On n’a jamais compris la formule de Jean-François. L’équation finale nous échappait et c’est là qu’on se posait des questions sur la rigueur », confie une troisième ex-directrice.

M. Dumas admet avoir utilisé des facteurs pour « compenser la faiblesse de certaines données qu’on n’avait pas ». Il ajoute cependant que, depuis l’acquisition de la firme Démo en décembre 2016, Influence possède tout l’inventaire des nouvelles diffusées au Québec et « n’utilise plus ce genre de coefficient-là ».

Quatre employés ayant travaillé au sein d’Influence après l’acquisition de Démo assurent pourtant que la méthode de calcul est demeurée inchangée. « La méthodologie n’a pas évolué, dit l’un d’eux. On n’a pas revalidé ces facteurs de multiplication, alors que le portrait médiatique a énormément changé dans les 10 dernières années. »

De quoi gâcher considérablement la recette du poids médias, estime le professeur Léger : « Le Big Mac, je ne suis pas sûr que, 10 ans plus tard, il goûte la même chose ! »

Un million d’articles par jour ?

« Chaque jour, Influence collige et traite plus d’un million d’articles provenant des quatre coins du monde et rédigés en 22 langues différentes », lit-on sous la rubrique « Qui est Influence » du site web de l’entreprise. « Influence possède un réseau de partenaires médias et de services de presse efficace dans plus de 160 pays qui lui permet d’accéder à des sources d’information locales. » En entrevue, M. Dumas admet qu’Influence n’a pas les moyens de colliger, encore moins de traiter un million d’articles par jour. La firme est tout simplement abonnée à des banques de données, dont les principales sont Eureka pour le Québec, Infomart pour le Canada anglais et Factiva pour l’international. Propriété de la société Dow Jones, Factiva est présentée par plusieurs bibliothèques universitaires comme un outil de recherche donnant accès aux sources de 159 pays en 22 langues.

— Isabelle Hachey, La Presse

Qu’est-ce que le poids médias ?

« Le poids médias est un indice quantitatif et comparatif développé par Influence Communication. Il permet de mesurer la place qu’un individu, une organisation, un événement, un sujet, voire un thème, occupe dans un marché donné. »

— État de la nouvelle : Bilan 2017, Influence Communication

Enquête

La « moulée à journalistes »

Publié à 8h36 du matin, le tweet d’Influence Communication a provoqué un feu de paille virtuel : « Le mot clic #nigger en association avec Subban a généré plus de 17 000 messages sur Twitter depuis hier soir. »

C’était le 2 mai 2014. La veille, les Bruins de Boston et le Canadien de Montréal avaient disputé un match de séries éliminatoires, au cours duquel le défenseur du Canadien, P.K. Subban, avait marqué deux buts.

« Jean-François Dumas appelle ça de la moulée à journalistes : les affaires qu’il sort le matin en espérant faire la tournée des médias », dit une ancienne directrice de la firme.

Ce jour-là, Influence Communication s’est retrouvée sur les ondes d’au moins cinq stations de radio, de TVA Sports, de Radio-Canada et de la CBC, en plus d’être citée dans La Presse, dans le Journal de Montréal et jusque dans le journal Le Matin en Suisse.

Le chiffre lancé par la firme était pourtant faux.

Selon Social Sphere, une entreprise de Cambridge consultée par le Boston Globe, seuls… huit tweets racistes ont été diffusés le soir du match. En réponse, 347 messages reprenant les mêmes mots condamnaient ces propos.

Une autre firme, Crimson Hexagon, a retracé 2617 tweets contenant « Subban » et des variations de l’insulte raciste dans les 24 heures suivant le match, selon le Boston Globe. De ces tweets, seulement 11 % étaient offensants.

« Celle-là, on l’a échappée, admet M. Dumas. On aurait dû revérifier trois fois avant de publier parce que ce n’était pas le chiffre final auquel on est arrivés par la suite. »

L’enflure médiatique dégonflée

« L’attentat à la mosquée de Québec, la nouvelle de la décennie », a titré Le Devoir en décembre. « L’événement le plus médiatisé depuis 2001 dans la province », a renchéri La Presse canadienne.

Selon Influence Communication, aucun événement n’avait encore provoqué une telle éclipse médiatique.

Qu’on y songe : pendant une semaine, à la fin janvier 2017, pas moins de 57,99 % des nouvelles diffusées au Québec avaient porté sur l’attentat de la mosquée.

L’intérêt des médias avait été encore plus soutenu que pour la tragédie ferroviaire à Lac-Mégantic de juillet 2013 (38,93 %). Son poids médias était même presque trois fois plus lourd que celui des attentats du 11 septembre 2001 (21,11 %).

Pourquoi cette enflure médiatique ? C’est « dans les gènes des médias de faire toujours plus que la dernière fois », a tweeté Influence Communication en 2013, en réponse à un internaute qui s’étonnait de l’ampleur de la couverture accordée à Lac-Mégantic par rapport au 11-Septembre.

Mais l’explication se trouverait plutôt dans une faille méthodologique, selon d’anciens analystes de la firme.

C’est qu’Influence calcule le « poids médias » hebdomadaire d’une nouvelle en interrogeant la banque de données Eureka, puis en divisant le nombre de mentions récoltées par 49 000, soit le nombre estimé de nouvelles diffusées au Québec en une semaine.

Or, selon les ex-employés, cette estimation n’aurait pas changé pendant des années, alors que les médias répertoriés par Eureka sont toujours plus nombreux. C’est ce qui ferait gonfler les statistiques au fil du temps.

« L’un des premiers éléments d’une bonne méthodologie, c’est de définir la population, dit un ancien analyste. Chez Influence, on ne le fait pas. Quand Eureka ajoute des médias à sa base de données, cela fait varier le volume de nouvelles, mais on n’en tient pas compte. »

M. Dumas estime « possible » que les chiffres soient artificiellement gonflés en raison de la méthodologie. « Cependant, les constantes, le nombre de nouvelles, on les a ajustées avec le temps. Donc, je doute que cela ait eu un gros impact. »

La politique, une boîte de savon

« Un parti politique, c’est comme une boîte de savon. Pour qu’on l’achète, il faut qu’il soit visible », expliquait Jean-François Dumas au Journal de Montréal lors de la campagne électorale québécoise d’avril 2014. Sa théorie : « Jusqu’à présent, le parti politique le plus médiatisé est toujours celui qui est élu. »

Cette fois, pourtant, les données récoltées par la firme ne semblaient pas vouloir confirmer la théorie. Jour après jour, pendant la campagne, Pauline Marois obtenait une plus grande couverture médiatique que son rival, Philippe Couillard.

« À la veille des élections, les sondages donnaient les libéraux favoris et Jean-François est arrivé avec son calcul final. Tout d’un coup, le PLQ était le parti le plus médiatisé de la campagne. C’était surréaliste, un changement de cap complet », s’étonne un analyste en poste à l’époque.

Non seulement la théorie était-elle confirmée dans le calcul final, mais la corrélation entre le poids médiatique des partis et les résultats électoraux était parfaite.

« Les conclusions présentées ne correspondaient pas à mes recherches et à mes vérifications. Je n’ai pas vraiment eu d’explications. On m’a dit que d’autres facteurs avaient été pris en considération. »

— Un ex-conseiller

M. Dumas nie s’être inspiré des sondages. Il soutient avoir mesuré la couverture consacrée non seulement aux chefs, mais aussi aux candidats et aux partis eux-mêmes. Il dit avoir ainsi découvert que, contrairement à ses rivaux, Philippe Couillard avait été moins médiatisé que son parti. En répartissant le tout, cependant, il en est venu à la conclusion que le PLQ avait bel et bien été le parti le plus médiatisé de la course électorale !

Enquête

Chris Hadfield oublié

Il a été le premier Canadien à commander la station Spatiale internationale. Son interprétation de Space Oddity en apesanteur est devenue virale. Actif sur les réseaux sociaux pendant sa mission, il était immensément populaire. En 2013, pourtant, l’astronaute Chris Hadfield ne figurait pas dans les palmarès des personnalités qui ont fait la nouvelle au Québec et au Canada d’Influence Communication. Selon deux ex-employés à l’époque, la firme avait oublié d’inclure le nom de l’astronaute dans ses calculs initiaux.

Un coup de marketing

« La méthode n’est pas parfaite. Elle a pour but premier, on ne le cache pas, de faire parler de l’entreprise », dit le président d’Influence Communication, Jean-François Dumas, qui admet que des personnalités peuvent parfois être oubliées. « M. Dumas savait très bien qu’en présentant des nouvelles à sensation, gratuites et rapidement, cela générerait de l’intérêt, analyse Pierre Bérubé, professeur spécialisé en relations publiques à l’UQAM. Dès qu’il a commencé à publier ses résultats, on l’a vu dans les médias de façon régulière. C’est un bon coup de marketing. »

Plus rigoureux avec les clients

Les anciens employés consultés par La Presse soulignent qu’en général, Influence Communication offre à ses clients un service de veille médiatique de bonne qualité. « Avec eux, on met le paquet. On va chercher toutes les sources disponibles et on leur refile la facture. Le problème, c’est plutôt les informations offertes gratuitement au public », résume un ex-conseiller. « Les données sont bonnes pour une entreprise qui a besoin d’indicateurs, mais on ne peut pas les présenter au public comme étant valides, il n’y a pas de démarche scientifique en arrière », ajoute un ex-analyste.

Le poids changeant des chefs

Lors de la campagne de novembre 2008, le Téléjournal de Radio-Canada a diffusé quotidiennement le « poids des chefs », calculé par Influence Communication, dans la couverture électorale des médias. « De quel “poids” parle-t-on ? », s’était alors demandé le chercheur Frédérick Bastien dans les pages de La Presse. Une valeur est donnée « en fonction du lectorat, du tirage ou des cotes d’écoute », avait répondu M. Dumas dans nos pages. Il admet aujourd’hui n’en avoir jamais tenu compte : « Quand on fait le poids des chefs, c’est simplement le nombre d’occurrences de chacun des chefs dans chacune des émissions, des journaux, des sites web. »

L’obsession du hockey

Les médias québécois sont fous du hockey, selon Influence Communication. La preuve : en 2017, seules deux femmes – Hillary Clinton et Valérie Plante – se sont glissées dans le top 50 des personnalités les plus médiatisées, contre 30 joueurs ou entraîneurs de hockey ! Ce que la firme n’a jamais expliqué, cependant, c’est que l’intérêt accordé au hockey par la presse québécoise est pondéré beaucoup plus généreusement que le reste, de façon à refléter les radios et les chaînes spécialisées de sport, ce qui propulse systématiquement les hockeyeurs en tête de palmarès.

Trump, trompe-l’œil

Dans les 24 heures entourant l’élection de Donald Trump à la présidence américaine, 2 841 305 articles ont été publiés dans le monde, selon Influence Communication. « Avec tout ce qui a été écrit, on pourrait remplir tous les quotidiens du Québec pendant 12 ans, 10 mois et 25 jours », lit-on dans son bilan 2016. Des chiffres impressionnants par leur ampleur, mais aussi par leur précision… pourtant impossible à atteindre. « Il n’y a pas de bases de données du monde entier. Ça n’existe pas. Celles qu’Influence utilise sont très limitées », dit un ancien analyste. « Ça couvre une partie, reconnaît M. Dumas. On ne peut jamais affirmer couvrir 100 % de l’inventaire, surtout pas à l’échelle internationale. […] On devrait peut-être expliquer plus en détail les limites de la méthodologie. »

Enquête

Le lourd poids médias d’Influence

Depuis une décennie, les chiffres d’Influence Communication sont abondamment cités par les journalistes, tous médias confondus, pour jauger l’importance d’un événement ou même pour interpréter certains phénomènes de société.

Au fil des ans, M. Dumas a notamment été chroniqueur au magazine Infopresse, à l’émission Salut Bonjour Week-End de TVA et à l’émission Dutrizac du 98,5FM. On l’a entendu au 93,3FM à Québec et au 91,9 Sport à Montréal, on l’a vu à RDS comme à Radio-Canada, on a lu ses analyses dans La Presse, Le Journal de Montréal, le journal Métro, Les Affaires et ailleurs encore.

Bref, Influence Communication fait partie du paysage médiatique québécois, une position qui lui confère crédibilité et notoriété auprès de la population. Les journalistes devraient-ils faire plus de vérifications avant de diffuser ces statistiques ?

« Il y a beaucoup de confiance aveugle. On sait que les médias sont très friands de chiffres ; cela fait image. Mais il ne faut pas les balancer n’importe comment. »

— Colette Brin, directrice du Centre d’études sur les médias de l’Université Laval

La Déclaration de Barcelone

En juillet 2010, l’Association internationale pour la mesure et l’évaluation des communications a adopté la Déclaration de Barcelone. La Société québécoise des professionnels en relations publiques, dont Jean-François Dumas est vice-président du conseil d’administration, a adhéré à ce texte, qui stipule que « la transparence et la reproductivité sont de première importance pour la valeur des mesures ».

« La Déclaration de Barcelone dit très bien que les recettes secrètes à la Colonel Sanders ou à la Caramilk n’ont pas leur place pour évaluer les parutions médiatiques, explique Pierre Bérubé, professeur spécialisé en relations publiques de l’UQAM. Au contraire, on vise le côté scientifique : il faut être capable de répéter cette évaluation pour en connaître la valeur. »

Dans une « clarification » diffusée récemment sur son site web, Influence Communication explique avoir « maintenu une certaine confidentialité autour de la méthodologie […] parce que dans un domaine aussi compétitif que celui des relations publiques, c’est une question de vie ou de mort pour une PME comme Influence Communication de protéger son expertise ».

La transparence constitue pourtant l’un des piliers de la recherche scientifique, rappelle Mme Brin. « On ne peut pas demander aux gens : “Faites-nous confiance, on est des experts, on a des outils magiques”, dit-elle. Je comprends que dans le privé, ça ne marche pas comme ça, mais si on n’est pas prêt à jouer selon les règles de la science, on ne peut pas se draper de la crédibilité de la science. »

Ce texte provenant de La Presse+ est une copie en format web. Consultez-le gratuitement en version interactive dans l’application La Presse+.