La science peut-elle moins se tromper ?

Jean-Bernard Chatelain, Kirsten Ralf

Le statisticien J. Ioannidis a montré qu’il y aurait une « malédiction du vainqueur » pour les articles empiriques publiés dans les revues médicales les plus sélectives. Ces articles, pourtant publiés en priorité pour leur caractère novateur, sont fréquemment invalidés par des vérifications ultérieures : les liens entre variables qui présentaient des effets nouveaux et inattendus relevaient du bruit statistique. Par exemple, en utilisant le critère habituel de « significativité statistique », des chercheurs peuvent valider à tort une corrélation (ou un effet) élevé d’une première variable sur une autre, en prenant en compte dans leur analyse statistique une troisième variable très corrélée avec la première variable.
Dans cet article théorique, Jean-Bernard Chatelain et Kirsten Ralf proposent aux chercheurs de nouvelles méthodes statistiques afin d’anticiper cela en affinant leurs approches. Ils montrent en effet que le critère habituel qu’est la « significativité statistique » est surestimé pour juger de la publication dans une revue scientifique. Plus précisément : ce critère est biaisé en faveur d’un type d’effet que la prise en compte d’une variable, l’omission ou l’ajout d’observations atypiques peuvent très fortement influencer. D’autant que cette instabilité stimule les controverses scientifiques et les citations qui accroissent la notoriété de la revue et des chercheurs qui ont publié l’article. Les auteurs proposent ensuite différents critères plus robustes que la « significativité statistique » permettant notamment d’identifier les cas d’effets particuliers issus de données atypiques. A titre d’exemple, ils appliquent ces critères à un article traitant de l’aide au développement. Les auteurs y montraient que ce type d’aide rapporté au PIB avait un effet sur la croissance par habitant suivant des conditions précises (inflation faible, ouverture commerciale importante…). J-B Chatelain et K . Ralf détaillent notamment que cet effet conditionnel de l’aide sur la croissance reposaient sur quatre observations atypiques concernant la Gambie et le Bostwana ; les articles postérieurs utilisant plus d’observations n’ont pas confirmé l’existence de cet effet élevé. Du fait de ces controverses, cet article est le plus cité parmi les articles publiés en 2000 dans American Economic Review, une des revues les plus sélectives en économie.
Ainsi, en général, la « malédiction du vainqueur » ne porte pas sur les chercheurs sélectionnés par les revues, mais bien sur le coût social de la publication de faux résultats positifs. Ces publications conduisent à une allocation inefficace de l’activité de recherche et suggèrent des décisions ou des politiques économiques inadaptées.
......................
Titre original de l’article académique : Spurious regressions and near-multicollinearity, with an application to aid, policies and growth
Publié dans : Journal of Macroeconomics, vol. 39, Part A, Pages 85–96 - Mars 2014
Téléchargement : http://ideas.repec.org/p/hal/cesptp/halshs-00802579.html
......................
© Sergey Nivens - Fotolia.com