Causal inference on education policies: a survey of empirical studies using PISA, TIMSS and PIRLS

Abstract

The identification of the causal effects of educational policies is the top priority in recent education economics literature. As a result, a shift can be observed in the strategies of empirical studies. They have moved from the use of standard multivariate statistical methods, which identify correlations or associations between variables only, to more complex econometric strategies, which can help to identify causal relationships. However, exogenous variations in databases have to be identified in order to apply causal inference techniques. This is a far from straightforward task. For this reason, this paper provides an extensive and comprehensive overview of the literature using quasi-experimental techniques applied to three well-known international large-scale comparative assessments, such as PISA, PIRLS or TIMSS, over the period 2004–2016. In particular, we review empirical studies employing instrumental variables, regression discontinuity designs, difference in differences and propensity score matching to the above databases. Additionally, we provide a detailed summary of estimation strategies, issues treated and profitability in terms of the quality of publications to encourage further potential evaluations. The paper concludes with some operational recommendations for prospective researchers in the field.

La identificación de los efectos causales de las políticas educativas es la máxima prioridad en la literatura reciente sobre economía de la educación. Como consecuencia, se observa un cambio en las estrategias de los estudios empíricos. Se ha pasado del uso de métodos estadísticos multivariantes estándar, que sólo identifican correlaciones o asociaciones entre variables, a estrategias econométricas más complejas, que pueden ayudar a identificar relaciones causales. Sin embargo, para aplicar las técnicas de inferencia causal es preciso identificar las variaciones exógenas en las bases de datos. Se trata de una tarea nada sencilla. Por este motivo, este trabajo ofrece una visión amplia y exhaustiva de la bibliografía que utiliza técnicas cuasi experimentales aplicadas a tres conocidas evaluaciones comparativas internacionales a gran escala, como PISA, PIRLS o TIMSS, durante el periodo 2004-2016. En particular, revisamos los estudios empíricos que emplean variables instrumentales, diseños de regresión discontinua, diferencia en diferencias y emparejamiento de puntuación de propensión a las bases de datos mencionadas. Además, proporcionamos un resumen detallado de las estrategias de estimación, los problemas tratados y la rentabilidad en términos de calidad de las publicaciones para fomentar otras posibles evaluaciones. El documento concluye con algunas recomendaciones operativas para futuros investigadores en este campo.