Les statistiques qui sortent de nulle part

Cet hiver, l’université où travaille l’un d’entre nous a envoyé un e-mail exhortant les employés à porter un chapeau les jours particulièrement froids, car « la majeure partie de la chaleur corporelle se perd par le haut de la tête ». Beaucoup de gens que nous connaissons ont des souvenirs d’enfance d’un personnage spécifique – peut-être 50 % ou, selon certains témoignages, 80 % de la chaleur que vous perdez passe par votre tête. Mais aucune des deux figures n’est scientifique : l’une est imparfaite et l’autre est manifestement fausse. Un 2004 New York Times Une colonne démystifiant l’affirmation trouve son origine dans une étude militaire américaine des années 1950 dans laquelle des personnes vêtues de combinaisons de survie dans l’Arctique à hauteur de cou ont été envoyées dans le froid. Les participants ont perdu environ la moitié de leur chaleur à travers la seule partie de leur corps exposée aux éléments. L’exagération par des générations de parents nous a fait monter à 80 %. (Selon un expert en hypothermie cité par le Foisun chiffre plus précis est de 10 %.)

Ce morceau plutôt trivial du folklore médical est un exemple d’un problème plus grave : par une répétition sans fin, des chiffres d’origine douteuse prennent le vernis d’un fait scientifique, dans de nombreux cas dans le contexte de débats vitaux sur les politiques publiques. Les chiffres non fiables ne sont toujours qu’à une recherche sur Internet, et les personnes et institutions sérieuses dépendent et répètent des mesures quantitatives apparemment précises qui s’avèrent ne pas avoir de support fiable.

Depuis des années, nous traquons tous les trois l’origine des chiffres qui prétendent mesurer les activités illicites, qui sont par nature difficiles à mesurer. Vous avez peut-être entendu dire que plus de 1 000 milliards de dollars de pots-de-vin sont versés chaque année ou que la corruption coûte à l’économie mondiale 2 600 milliards de dollars par an. Le chiffre de 1 billion de dollars provient d’une série d’extrapolations à partir d’une poignée d’enquêtes menées par la Banque mondiale et le Forum économique mondial au début des années 2000 dans divers pays. Ces calculs ont produit une large gamme de paiements de pots-de-vin annuels estimés, allant d’environ 600 milliards de dollars à 1,7 billion de dollars. Le chiffre de 1 billion de dollars est à peu près le point médian de cette fourchette. Le problème de ne prendre que la moyenne est que cela enlève aux données l’énorme incertitude des estimations déjà discutables. Et pourtant, le chiffre ne cesse de refaire surface – le site Web de la Banque mondiale, par exemple, le cite aussi récemment qu’en 2020 – comme si le montant annuel de la corruption était constant.

L’estimation de la corruption de 2,6 billions de dollars, quant à elle, remonte à un point central d’une phrase dans un mémoire de plaidoyer d’un groupe d’organisations respectées, dont le Forum économique mondial et Transparency International. Le mémoire ne citait aucune source et, pour autant que nous puissions en juger, le chiffre était probablement basé sur une mauvaise lecture négligente d’une étude antérieure. Mais le chiffre a ensuite été cité par les chefs d’organismes internationaux de premier plan, dont les Nations Unies et l’Organisation de coopération et de développement économiques.

Ces chiffres sont ce que nous pourrions appeler des « statistiques décoratives ». Leur but n’est pas de transmettre une somme d’argent réelle, mais de paraître gros et impressionnant. Cela ne les empêche pas d’être additionnés, soustraits, divisés ou multipliés pour donner d’autres statistiques décoratives. Certaines organisations et organes de presse combinent les estimations des pots-de-vin et de la corruption et déclarent que la planète subit 3,6 billions de dollars de corruption année après année.

Malheureusement, l’omniprésence même de chiffres dénués de sens sape la crédibilité des statistiques plus généralement, même lorsque les chiffres n’entrent jamais dans les calculs financiers de qui que ce soit.

Nous sommes récemment tombés sur une étude réalisée par deux chercheurs respectés qui évaluent l’ampleur des paris illégaux placés chaque année à 1,7 billion de dollars. D’où vient un chiffre aussi précis pour des activités clandestines difficiles à mesurer ? Leur article citait un document publié par l’Office des Nations Unies contre la drogue et le crime. Ce document, cependant, donne en fait une fourchette de 340 milliards de dollars à 1,7 billion de dollars, ne cite aucune source et met en garde à juste titre contre la difficulté inhérente à mesurer l’économie souterraine. Mais le chiffre de 1,7 billion de dollars a pris sa propre vie.

Le fléau des statistiques décoratives remonte à des décennies. Dans l’un d’une série de discours de 1991 sur le prétendu déclin de la compétitivité économique mondiale de l’Amérique, le vice-président Dan Quayle a fait remarquer que les États-Unis avaient trop de litiges et trop d’avocats, comme en témoigne le fait que 70 % des avocats du monde étaient américains… un nombre qui a ensuite été répété par des figures d’autorité à travers le spectre politique. Mais comme le professeur de droit Marc Galanter l’avait calculé à l’époque, la part des avocats aux États-Unis était probablement plutôt de 25 à 35 %, ce qui correspond à peu près à la part des États-Unis dans le PIB mondial au début des années 1990. Quayle a également affirmé que les poursuites (et la menace de poursuites) coûtaient aux Américains 300 milliards de dollars par an. Cette estimation tout aussi alarmante – également largement citée dans les discussions sur la réforme de la responsabilité délictuelle – provenait d’un Forbes article de magazine citant un calcul au fond de l’enveloppe effectué par un avocat de la défense des entreprises qui a utilisé comme estimation des coûts de base une affirmation désinvolte et sans source qu’un PDG avait faite lors d’une table ronde. La nouvelle que le système de justice civile coûte au pays 300 milliards de dollars par an était, selon la formule mémorable de Galanter, « une nouvelle de nulle part ».

Lire : Les statistiques manquantes de la justice pénale

Nous soupçonnons que les statistiques indésirables n’ont proliféré que ces dernières années. Internet devrait faciliter leur démystification ; le genre de travail de détective minutieux que Galanter a effectué pour retracer l’origine des personnages de Quayle peut désormais être effectué rapidement. Cependant, même en mettant de côté le problème évident des mensonges délibérés diffusés en ligne, le Web est un bazar sans fin de sources non fiables. Lorsque les chiffres sont si facilement disponibles, ils sont également faciles à combiner dans diverses permutations pour obtenir de nouvelles statistiques qui attirent l’attention.

Le public doit être sceptique quant aux chiffres qui sont lancés sans explication suffisante de leur provenance. Mais la plus grande responsabilité de résoudre ce problème incombe aux journalistes, aux universitaires, aux services gouvernementaux, aux groupes réputés de la société civile, aux organisations internationales et à tous ceux sur lesquels les citoyens et les décideurs politiques s’appuient pour obtenir des faits de base. La presse a une responsabilité particulière – contrairement, par exemple, aux politiciens ou aux avocats, les journalistes opèrent selon un code de déontologie qui exige le compte rendu exact des déclarations factuelles.

Pour les auteurs et orateurs qui pourraient se sentir obligés d’orner leur argumentation avec des chiffres, nous avons quelques conseils : premièrement, avant de citer une statistique, revenez à la source d’origine plutôt que de citer une source en aval qui fait référence à autre chose (qui peut faire référence à autre chose, qui fait référence à autre chose). Des expressions telles que des études ont montré que ou on a estimé que devraient être des drapeaux rouges. Citant un la source d’une statistique n’est pas assez bonne ; vous devez traquer le original source.

Méfiez-vous également de ce que nous pourrions appeler le « blanchiment de statistiques » : une source moins que fiable fait une affirmation quantitative douteuse qu’une personne ou une organisation plus respectable, de manière opportuniste ou négligente, recycle ensuite dans un discours ou un document officiel. Plus tard, cette source secondaire est citée comme autorité pour la statistique, ce qui donne au nombre un placage de fiabilité. Le coût de 300 milliards de dollars des poursuites judiciaires en est un exemple : une remarque désinvolte d’un dirigeant d’entreprise devient la base du calcul des coûts d’un avocat, qui est ensuite citée dans une colonne de magazine, puis reprise et répétée par le vice-président des États-Unis. – puis par bien d’autres.

Lire : Notre numéro de pandémie le plus fiable perd son sens

Troisièmement, ne vous fiez pas trop à un nom prestigieux. Une estimation d’un professeur de Harvard n’est pas une « estimation de Harvard ». Une statistique qui apparaît dans un document de travail non publié de la Banque mondiale, peut-être rédigé par un consultant extérieur, n’est pas « le calcul de la Banque mondiale ». Même certaines statistiques publiées officiellement par des institutions bien connues s’avèrent sans fondement, mais suggérer qu’une organisation a approuvé des allégations statistiques qu’elle n’a pas soigneusement vérifiées augmente la probabilité que de mauvaises informations se propagent.

Enfin, reconnaissez que, dans le jeu du téléphone cassé qui se produit lorsqu’une estimation quantitative migre dans le discours public, les chiffres sont arrondis, puis arrondis à nouveau. Les estimations qui, à l’origine, prenaient la forme d’une large fourchette sont transformées en un chiffre unique ; les estimations qui concernent un domaine assez étroit et spécifique sont traitées comme si elles s’appliquaient beaucoup plus largement. Des mises en garde importantes disparaissent. Parfois, les chercheurs font un effort de bonne foi pour mesurer un phénomène difficile à quantifier uniquement pour avoir une version déformée de leurs découvertes présentées plus tard comme étant la vérité.

Vous pouvez défendre ce qui compte sans utiliser de chiffres inventés pour impliquer une certitude que vous n’avez pas vraiment. Vous n’avez pas besoin de prétendre que les personnes tête nue perdront 50 ou 80 % de leur chaleur corporelle en hiver. Portez juste un chapeau.