Les économistes du MIT ont analysé la « malédiction du vainqueur » dans les programmes de formation professionnelle et de bons de logement, en introduisant des outils analytiques pour améliorer la précision de l’évaluation des politiques. Leurs travaux mettent en évidence la complexité de la reproduction des succès initiaux et soulignent l’importance de preuves solides dans la prise de décision. Crédit : Issues.fr.com
Lorsque les interventions ou les politiques donnent de bons résultats dans les études, elles peuvent être décevantes par la suite. Un MIT Les outils des économistes peuvent aider les planificateurs à reconnaître ce piège.
Dans les années 1980, des chercheurs ont testé un programme de formation professionnelle appelé JOBSTART dans 13 villes américaines. Dans 12 endroits, le programme a eu un bénéfice minime. Mais à San Jose, en Californie, les résultats ont été bons : après quelques années, les travailleurs gagnaient environ 6 500 dollars de plus par an que leurs pairs qui n’y participaient pas. Ainsi, dans les années 1990, des chercheurs du Département américain du Travail ont mis en œuvre le programme dans 12 autres villes. Les résultats n’ont cependant pas été reproduits. Les chiffres initiaux de San Jose sont restés aberrants.
Comprendre la malédiction du vainqueur
Ce scénario pourrait être une conséquence de ce que les spécialistes appellent la « malédiction du vainqueur ». Lorsque des programmes, des politiques ou des idées sont testés, même dans le cadre d’expériences randomisées rigoureuses, les éléments qui fonctionnent bien une fois peuvent fonctionner moins bien la fois suivante. (Le terme « malédiction du gagnant » fait également référence aux offres gagnantes élevées lors d’une vente aux enchères, une question différente, mais connexe.)
Cette malédiction du vainqueur pose un problème aux responsables publics, aux dirigeants d’entreprises du secteur privé et même aux scientifiques : en choisissant quelque chose qui a fait ses preuves, ils risquent de s’engager dans le déclin. Ce qui monte descendra souvent.
Isaiah Andrews, économiste au MIT, et ses collègues ont développé des outils qui peuvent aider les décideurs politiques, les hommes d’affaires et même les scientifiques à éviter la « malédiction du gagnant » dans leur travail – le modèle selon lequel les gens sélectionnent des programmes qui donnent de bons résultats au début, mais qui sont susceptibles d’obtenir de moins bons résultats. à répétition. Crédit : Christine Daniloff, MIT ; Shutterstock
« Lorsque les gens ont plusieurs options, ils choisissent celle qui leur semble la meilleure, souvent sur la base des résultats d’un essai randomisé », explique Isaiah Andrews, économiste au MIT. « Ce que vous constaterez, c’est que si vous essayez à nouveau ce programme, il aura tendance à être décevant par rapport à l’estimation initiale qui a conduit les gens à le choisir. »
Andrews est co-auteur d’une étude récemment publiée qui examine ce phénomène et fournit de nouveaux outils pour l’étudier, ce qui pourrait également aider les gens à l’éviter.
L’article intitulé « Inference on Winners » paraît dans le numéro de février du Journal trimestriel d’économie. Les auteurs sont Andrews, professeur au département d’économie du MIT et expert en économétrie, les méthodes statistiques du domaine ; Toru Kitagawa, professeur d’économie à l’Université Brown ; et Adam McCloskey, professeur agrégé d’économie à l’Université du Colorado.
Distinguer les différences
Le type de malédiction du vainqueur abordé dans cette étude remonte à quelques décennies en tant que concept des sciences sociales et apparaît également dans les sciences naturelles : comme le notent les chercheurs dans l’article, la malédiction du vainqueur a été observée dans des études d’association à l’échelle du génome, qui tentent de lier les gènes aux traits.
Lorsque des résultats apparemment notables ne tiennent pas le coup, cela peut avoir diverses raisons. Parfois, les expériences ou les programmes ne se déroulent pas tous de la même manière lorsque les gens tentent de les reproduire. Dans d’autres cas, la variation aléatoire peut à elle seule créer ce genre de situation.
«Imaginez un monde dans lequel tous ces programmes seraient exactement aussi efficaces», déclare Andrews. « Eh bien, par hasard, l’un d’eux sera plus beau, et vous aurez tendance à choisir celui-là. Cela signifie que vous avez surestimé son efficacité par rapport aux autres options. Une bonne analyse des données peut aider à déterminer si le résultat aberrant était dû à de véritables différences d’efficacité ou à une fluctuation aléatoire.
Pour distinguer ces deux possibilités, Andrews, Kitagawa et McCloskey ont développé de nouvelles méthodes d’analyse des résultats. En particulier, ils ont proposé de nouveaux estimateurs – un moyen de projeter les résultats – qui sont « médians sans biais ». Autrement dit, ils sont également susceptibles de surestimer et de sous-estimer l’efficacité, même dans des contextes où règne la malédiction du vainqueur. Les méthodes produisent également des intervalles de confiance qui aident à quantifier l’incertitude de ces estimations. En outre, les chercheurs proposent des approches d’inférence « hybrides », qui combinent plusieurs méthodes de pondération des données de recherche et, comme ils le montrent, donnent souvent des résultats plus précis que les méthodes alternatives.
Avec ces nouvelles méthodes, Andrews, Kitagawa et McCloskey établissent des limites plus strictes en matière d’utilisation des données issues d’expériences, notamment des intervalles de confiance, des estimations médianes impartiales, etc. Et pour tester la viabilité de leur méthode, les chercheurs l’ont appliquée à plusieurs cas de recherche en sciences sociales, à commencer par l’expérience JOBSTART.
Curieusement, parmi les différentes façons dont les résultats expérimentaux peuvent devenir des valeurs aberrantes, les chercheurs ont découvert que le résultat de JOBSTART à San José n’était probablement pas le simple résultat du hasard. Les résultats sont suffisamment différents pour qu’il puisse y avoir des différences dans la façon dont le programme a été administré ou dans son cadre par rapport aux autres programmes.
Le test de Seattle
Pour tester davantage la méthode d’inférence hybride, Andrews, Kitagawa et McCloskey l’ont ensuite appliquée à un autre sujet de recherche : les programmes fournissant des bons de logement pour aider les gens à s’installer dans des quartiers où les résidents ont une plus grande mobilité économique.
Des études économiques à l’échelle nationale ont montré que certaines zones génèrent une plus grande mobilité économique que d’autres, toutes choses étant égales par ailleurs. Encouragés par ces résultats, d’autres chercheurs ont collaboré avec des responsables du comté de King, dans l’État de Washington, pour développer un programme visant à aider les bénéficiaires de bons à déménager vers des zones à plus de possibilités. Toutefois, les prévisions concernant la performance de tels programmes pourraient être sujettes à la malédiction du gagnant, puisque le niveau d’opportunité dans chaque quartier est imparfaitement estimé.
Andrews, Kitagawa et McCloskey ont donc appliqué la méthode d’inférence hybride à un test de ces données au niveau du quartier, dans 50 « zones de déplacement » (essentiellement des zones métropolitaines) à travers les États-Unis. La méthode hybride les a encore une fois aidés à comprendre dans quelle mesure les estimations précédentes étaient certaines. .
Des estimations simples dans ce contexte suggèrent que pour les enfants grandissant dans des ménages au 25e percentile du revenu annuel aux États-Unis, les programmes de relocalisation créeraient un gain de 12,25 points de pourcentage du revenu des adultes. La méthode d’inférence hybride suggère qu’il y aurait plutôt un gain de 10,27 points de pourcentage – un impact inférieur, mais néanmoins substantiel.
En effet, comme l’écrivent les auteurs dans l’article, « même cette estimation plus petite est économiquement importante » et « nous concluons que le ciblage de zones basées sur les opportunités estimées réussit à sélectionner en moyenne des zones présentant des opportunités plus élevées ». Dans le même temps, les chercheurs ont constaté que leur méthode faisait une différence.
Dans l’ensemble, dit Andrews, « la façon dont nous mesurons l’incertitude peut en réalité devenir elle-même peu fiable ». Ce problème est aggravé, note-t-il, « lorsque les données nous disent très peu de choses, mais que nous sommes à tort trop confiants et pensons que les données nous en disent beaucoup. … Idéalement, vous aimeriez quelque chose qui soit à la fois fiable et qui nous en dise le plus possible.
Le soutien à la recherche a été fourni, en partie, par la National Science Foundation des États-Unis, le Conseil de recherche économique et sociale du Royaume-Uni et le Conseil européen de la recherche.
