Star wars: The empirics strike back

Pré-publication, Document de travail: Les journaux académiques ont tendance à préférer les articles rejetant l'hypothèse nulle. Cette sélection peut conduire les chercheurs à modifier leurs comportements. Grâce à un échantillon de 50 000 tests d'hypothèse publiés entre 2005 et 2011 dans l'AER, le JPE et le QJE, nous identifions un résidu dans la distribution de ces tests qui ne peut s'expliquer par la seule sélection. La distribution des valeurs p présente une forme en " bosse de chameaux " avec une surpopulation au dessus de 0,25, un creux entre 0,25 et 0,10 et enfin une nouvelle surabondance en-dessous de 0,10. Les tests absents de cette distribution sont ceux dont l'hypothèse nulle n'a pu être rejetée mais qui étaient proche du seuil de rejet (valeur p entre 0,25 et 0.10). Nous montrons que la forme particulière de cette distribution correspond à un déplacement des valeurs p : environ 10% à 20% des tests d'hypothèse marginalement rejetés sont mal situés. Nous interprétons cela comme la possibilité qu'en choisissant la spécification qui produit les statistiques les plus élevées, les chercheurs peuvent engendrer une inflation de la valeur des tests d'hypothèse. Cette inflation est plus importante dans les articles utilisant des étoiles dans le but de souligner la significativité statistique des résultats. En revanche, elle est moins présente dans les articles proposant un modèle théorique.

Auteur(s)

Abel Brodeur, Mathias Lé, Marc Sangnier, Yanos Zylberberg

Date de publication
  • 2012
Mots-clés JEL
A11 B41 C13 C44
Mots-clés
  • Hypothesis testing
  • Distorting incentives
  • Selection bias
  • Research in economics
Référence interne
  • PSE Working Papers n°2012-29
Version
  • 1