Measuring efficiency in education: The influence of variability in data on DEA estimates

Abstract

Many studies devoted to efficiency performance evaluation in the education sector are based on measures of central tendency at school level as, for example, the average values of students belonging to the same school. Although this is a common and accepted way of summarizing data from the original observations (students), it is not less true that this approach neglects the existing dispersion of data, which may become a serious problem if variability across schools is high. Additionally, imprecision may arise when experts on each evaluated subject select the battery of questions, with different levels of difficulty, which will be the base for the final questionnaires completed by students. This paper uses data from US students and schools participating in PISA (Programme for International Student Assessment) 2015 to illustrate that schools' efficiency measures based on aggregate data and imprecision may reflect an inaccurate picture of their performance if they are compared to measures estimated accounting for broader information provided by all students of the same school. In order to operationalize our approach, we resort to Fuzzy Data Envelopment Analysis. This methodology allows us to deal with the notion of fuzziness in some variables such as the socio-economic status of students or test scores. Our results indicate that the estimated measures of performance obtained with the fuzzy DEA approach are highly correlated with those calculated with traditional DEA models. However, we find some relevant divergences in the identification of efficient units when we account for data dispersion and vagueness.

Muchos estudios dedicados a la evaluación del rendimiento en el sector educativo se basan en medidas de tendencia central a nivel de centro como, por ejemplo, los valores medios de los alumnos pertenecientes a un mismo centro. Aunque se trata de una forma común y aceptada de resumir los datos a partir de las observaciones originales (alumnos), no es menos cierto que este enfoque descuida la dispersión existente en los datos, lo que puede convertirse en un grave problema si la variabilidad entre centros escolares es elevada. Además, la imprecisión puede surgir cuando los expertos en cada materia evaluada seleccionan la batería de preguntas, con diferentes niveles de dificultad, que serán la base de los cuestionarios finales cumplimentados por los alumnos. Este trabajo utiliza datos de alumnos y centros educativos estadounidenses participantes en PISA (Programa para la Evaluación Internacional de Alumnos) 2015 para ilustrar que las medidas de eficiencia de los centros basadas en datos agregados y en la imprecisión pueden reflejar una imagen inexacta de su rendimiento si se comparan con medidas estimadas teniendo en cuenta información más amplia proporcionada por todos los alumnos del mismo centro. Para hacer operativo nuestro planteamiento, recurrimos al Análisis Envolvente de Datos Difusos. Esta metodología nos permite tratar la noción de imprecisión de algunas variables, como el estatus socioeconómico de los alumnos o las puntuaciones obtenidas en los exámenes. Nuestros resultados indican que las medidas estimadas de rendimiento obtenidas con el enfoque DEA difuso están altamente correlacionadas con las calculadas con los modelos DEA tradicionales. Sin embargo, encontramos algunas divergencias relevantes en la identificación de unidades eficientes cuando tenemos en cuenta la dispersión y vaguedad de los datos.