"La evaluación de programas educativos es clave para saber su impacto y garantizar unas buenas prácticas educativas"

ENTREVISTA

La investigación es un proceso de creación de hipótesis y verificación objetiva a través del diseño de una intervención y la recogida y análisis de datos. La evidencia generada permite contrastar las hipótesis, revisarlas e incorporarlas al diseño de las políticas educativas.

El objetivo no solo es entender qué impacto tiene un programa sobre los niños y adolescentes que participan, sino también entender el grupo clase. Con la evaluación, podemos aprender con rigor cuál ha sido el impacto de una medida o política educativa. Capturar todo lo que está pasando, poder documentarlo y evaluar sus virtudes y limitaciones para poder hacerlo mejor. Y, además, comunicarlo en todo el mundo para contribuir a difundir qué se puede hacer para reducir las desigualdades educativas.

Todo esto es lo que queremos conseguir con Refuerzo Educativo, el proyecto de evaluación de impacto de la Fundació Bofill. Hablamos con Caterina Calsamiglia, directora de la evaluación de Refuerzo Educativo, investigadora ICREA en el Institute of Political Economy and Governance.

¿Por qué la investigación educativa es tan importante para contrastar modelos de éxito?

La investigación educativa generalmente hace hipótesis del tipo "que el profesorado que hace A mejora la capacidad de los chicos y chicas de hacer B". Por ejemplo, "dar apoyo individualizado sistemático a los estudiantes permite incrementar las competencias matemáticas y lectoras de todo el grupo clase". ¿Cómo verificar esta hipótesis? Necesitamos comparar grupos de estudiantes que son muy parecidos y solo se diferencian en que las docentes han realizado este tratamiento individualizado. Después es necesario verificar si las competencias de un grupo son, en general, superiores al otro al final de curso. Para poder atribuir la diferencia es necesario que tanto los grupos de estudiantes como docentes sean muy similares. El método preferido para garantizar que lo sean es el de la aleatorización controlada. Es decir, que las docentes que realicen A sean aleatoriamente escogidas (al azar) de entre el grupo de personas disponibles.

"Refuerzo Educativo busca la protección educativa en la infancia y la adolescencia en riesgo de exclusión social con intervenciones de máximo impacto"

Pero existe toda una parte de la investigación que aprovecha eventos que parecen casi aleatorios que generan que dos grupos similares hayan tenido intervenciones diferentes. Por ejemplo, haber nacido el 31 de diciembre o el 1 de enero puede cambiarte si haces la ESO o la EGB o si serás el más pequeño o el mayor de la clase. Sacar un 8,199 o un 8,2 puede hacer que entres en una carrera, en una universidad u otra, aunque las personas que han sacado una nota u otra podrían argumentar que son muy similares. El estudio de las diferencias entre estos dos grupos que seguirán caminos distintos por una diferencia muy poco relevante, puede ayudarnos a entender el impacto de ciertas intervenciones. Pero encontrar casi-experimentos (menos rigurosos), y respuestas, para todas las preguntas que nos hacemos y son relevantes, es casi imposible.

En Cataluña y en buena parte de Europa hemos tenido que realizar casi toda la investigación educativa utilizando estos casi-experimentos porque hacer experimentos controlados aleatorizados no había sido posible. ¡Este año, a través de esta financiación, tenemos la oportunidad y responsabilidad de hacerlo y hacerlo bien! ¡Y para lograrlo necesitamos la colaboración de todos!

¿Por qué es tan importante que los programas estén basados en datos?

Hay dos aspectos que realizan la investigación con personas particularmente complicadas. La primera es precisamente que tratas a dos grupos iguales de forma distinta, y esto no siempre es fácil de aceptar. Y el otro es que debes poder hacer seguimiento de ambos grupos, y a la gente, de entrada, no le gusta ceder datos. Pero ambas condiciones, un tratamiento diferenciado y el acceso a datos, son fundamentales para poder identificar el impacto de una determinada política.

“¡Sin los datos no podemos validar los programas y no podremos tener el impacto positivo que buscamos para niños y jóvenes vulnerables!”

La gestión de los datos para la investigación es mucho más segura y controlada que la realizada en el mundo de la empresa. Las instituciones de investigación legitimadas por la UE deben cumplir unos procesos, comprometerse y ofrecer unas garantías de uso estricto para las preguntas de investigación que se han solicitado; estas condiciones dan mucha seguridad a los individuos. Comités éticos y delegados de protección de datos revisan cada uno de estos procesos. Por tanto, en el contexto de la investigación es donde debemos sentirnos más protegidos a la hora de ceder el acceso a los datos. Por eso desde el proyecto de Refuerzo Educativo pedimos la colaboración para facilitar este acceso haciendo todas las preguntas que hagan falta y haciendo confianza a las instituciones e investigadores. ¡Sin los datos no podemos validar los programas y no podremos tener el impacto positivo que buscamos para niños y jóvenes vulnerables!

¿Qué elementos han sido clave a la hora de definir la metodología en Refuerzo Educativo? ¿Encontramos diferencias entre los programas?

El criterio más importante era que fuesen programas que pudieran tener un alto impacto en la reducción de las desigualdades educativas. Por otra parte, era necesario detallar bien los programas, que se pudieran implementar en un período muy ajustado de tiempo y que fácilmente se pudieran delimitar los grupos tratados (los que participan en el programa) y de control (los que sirven para ver qué pasa si no haces el programa). Y, sobre todo, que pudiera hacerse seguimiento a través de datos que capturan el impacto de la intervención. Los programas de refuerzo educativo individualizado han sido clave en la recuperación poscovid para reducir el gap de aprendizaje en todo el mundo. El desarrollo de habilidades sociales y personales es un reto pendiente en el sector educativo desde hace años.

Los programas de apoyo educativo individualizado han sido clave en la recuperación poscovid para reducir el gap de aprendizaje

En cuanto a las diferencias entre los tres programas, PENTABILITIES es el resultado de un proyecto de investigación europeo (ERC) desarrollado entre 2015 y 2022 y que, por primera vez, se validará con un experimento aleatorio controlado a gran escala. LECXIT, en cambio, es un programa impulsado desde hace más de 10 años por la Fundació Bofill, y MATH TUTORING es un nuevo programa construido sobre prospectiva internacional a partir de modelos de refuerzo educativo de alto impacto basados en la evidencia.

¿Cómo se ha diseñado la evaluación para que todos los centros educativos reciban alguna intervención y tengan acceso a uno de los tres programas?

En el caso de los centros educativos de primaria, se ha construido pidiendo a los centros que se presenten voluntarios para implementar o bien LECXIT en 4º o bien MATH TUTORING en 6º. Una vez que todos los candidatos se han presentado y preseleccionado, se ha definido aleatoriamente dos grupos de escuelas: unos que hacen MATH TUTORING y otros LECXIT.

Los grupos de 4º de las escuelas que realizan MATH TUTORING (que no reciben intervención) sirven de control de los de 4º que hacen LECXIT. Y los de 6º de las escuelas que hacen LECXIT (que tampoco reciben intervención) sirven de control de los de 6º que realizan MATH TUTORING.

De esta forma todas las escuelas, hacen alguno de los programas, pero tenemos grupos tratados y control para los diferentes cursos. Siguiendo el progreso en comprensión lectora de los de 4º y de matemáticas de 6º de los dos grupos de escuelas podremos comparar los resultados de los que aleatoriamente han realizado MATH TUTORING o LECXIT.

Siguiendo el progreso en comprensión lectora de los de 4º y de matemáticas de 6º de los dos grupos de escuelas podremos comparar los resultados de los que aleatoriamente han realizado MATH TUTORING o LECXIT.

Para PENTABILITIES, en cambio, hemos seguido un procedimiento similar, pero pidiendo a los centros de secundaria que se presenten para implementar PENTABILITIES en dos cursos diferentes de la ESO y escogiendo aleatoriamente en qué curso se hace. Esta aleatorización y seguimiento de grupos similares, pero que reciben intervenciones diferentes, es lo que nos permitirá evaluar el impacto de nuestras propuestas. La colaboración de las familias a la hora de consentir el acceso a los datos es fundamental, tanto de los grupos que reciben la intervención como de los que no, para así entender qué diferencias generan las intervenciones.

¿Cómo será el análisis de los resultados y qué nos mostrarán?

En todos los casos llevaremos a cabo una evaluación a corto plazo, captando qué ha ocurrido durante el año de implementación, pero después haremos un seguimiento de ambos grupos a través de datos administrativos para ver cómo estos impactos a corto plazo afectan a los recorridos educativos de los dos grupos en los próximos años.

Entonces, en MATH TUTORING y LECXIT evaluaremos el impacto de la intervención sobre el grupo receptor de cada programa, pero también el impacto en el grupo clase, ya que desbloquear el aprendizaje de unos pocos puede facilitar la capacidad de relacionarse y aprender en clase. El análisis se realizará comparando las competencias lectoras y matemáticas de los grupos tratados y de control. Unos cuestionarios facilitarán la recogida de datos sobre cómo cambia el ambiente y las relaciones en el aula. A largo plazo veremos cómo la mejora en estos aspectos afecta a la adhesión y vínculo con el sistema educativo a lo largo de la secundaria y la educación obligatoria.

En el caso de PENTABILITIES habrá mucha observación en el aula para ver si los aprendizajes se manifiestan en la forma de interaccionar y trabajar en espacios de aprendizaje activo. Asimismo, también veremos si la mejora en estos comportamientos se refleja en un vínculo y adhesión al sistema educativo y laboral, así como en una menor incidencia de factores de riesgo.

¿Quiénes han sido los referentes para dar forma a todo este sistema de evaluación?

En el mundo de la medicina y las ciencias experimentales por lo general la regla de oro es la experimentación aleatoria controlada. Pero en el mundo de las ciencias sociales observamos los primeros experimentos en los años sesenta en EEUU con Perry School Project o Project STAR, que son de los primeros experimentos realizados y de los que todavía hoy se analizan sus consecuencias a largo plazo.

Ester Duflo y Abhijit Banerjee del MIT, Premio Nobel de Economía en 2019, han sido unos de los principales promotores de la utilización de experimentos aleatorizados en la investigación que informa a las políticas públicas de forma más generalizada. Su expansión en los últimos veinte años ha sido enorme. En 2003 crearon J-PAL (Abdul Latif Jameel Poverty Action Lab), para promover este tipo de investigación en países en vías de desarrollo. Hoy tienen representación en todo el mundo, donde promueven y asesoran a este tipo de investigación. J-PAL, y en concreto Abhijit Banerjee han asesorado al Ministerio de Inclusión, Seguridad Social y Migraciones al iniciar esta iniciativa pionera en España y en Europa.

Finalizado el proyecto y el período de evaluación, ¿qué pasará? ¿Para qué servirán los resultados?

Cuando tengamos los resultados, los compartiremos con las escuelas, familias, administraciones, investigadores e instituciones nacionales e internacionales que estén interesados. El impacto será muy grande, ya que realizar un experimento de esta magnitud en Europa es muy excepcional.

Los datos confirmarán algunos aspectos que la intuición nos indica, pero seguro que nos añadirán nuevos conocimientos, matices, que serán fundamentales para pensar si, cómo y cuándo se extienden las propuestas que, según los datos, son más prometedoras. Pero sobre todo esperamos que estos programas nos ilustren las virtudes y dificultades de poder investigar en nuestro país, informando nuestras propias políticas, las del resto del mundo y atrayendo a personal investigador potente a investigar sobre las preguntas que nos preocupan. Porque un hecho nada menor es que a través de estos programas hemos atraído al mejor talento nacional e internacional a trabajar en nuestro contexto.

Un hecho nada menor es que a través de estos programas hemos atraído al mejor talento nacional e internacional a trabajar en nuestro contexto.

Si somos capaces de facilitar los procesos y el acceso a los datos, nos encontraremos con que las preguntas de investigación internacional que se quieren resolver son las nuestras, las que necesitamos para hacer desarrollar nuestra política educativa. Así pues, esperamos que éste sea el inicio de un camino sin retorno que nos permitirá seguir atrayendo fondos europeos y talento nacional e internacional para hacer de Cataluña un territorio potente en política e investigación educativa.

¿Quieres saber más?

• LECXIT. Para que ningún niño acabe la educación sin entender lo que lee
• MATH TUTORING. Multiplicamos las oportunidades de éxito educativo
• PENTABILITIES. Integrar las habilidades socioemocionales en el aula para encender habilidades de vida
• REFUERZO EDUCATIVO. Acompañamiento para acelerar oportunidades
• ENTREVISTA Lídia Climent: "Los programas de refuerzo educativo pueden reducir eficientemente las desigualdades educativas"
• ENTREVISTA Brent Roberts: “Invertimos una década en educar a los niños en habilidades técnicas. Las habilidades sociales y personales merecen el mismo tiempo de dedicación”