“L’avaluació de programes educatius és clau per saber-ne l’impacte i garantir unes bones pràctiques educatives”

ENTREVISTA

La recerca és un procés de creació d’hipòtesis i de verificació objectiva a través del disseny d’una intervenció i la recollida i anàlisi de dades. L’evidència generada permet contrastar les hipòtesis, revisar-les i incorporar-les en el disseny de les polítiques educatives.

L’objectiu no només és entendre quin impacte té un programa sobre els infants i adolescents que hi participen, sinó també entendre el grup classe. Amb l’avaluació, podem aprendre amb rigor quin ha estat l’impacte d'una mesura o política educativa. Capturar tot allò que està passant, poder-ho documentar i avaluar-ne les virtuts i limitacions per poder-ho polir i fer-ho millor. I, a més a més, comunicar-ho aquí però també arreu del món per contribuir a difondre què es pot fer per reduir les desigualtats educatives.

Tot això és el que volem aconseguir amb el projecte Suport Educatiu, el projecte d’avaluació d'impacte de la Fundació Bofill. En parlem amb la Caterina Calsamiglia, directora de l’avaluació de Suport Educatiu, investigadora ICREA a l’Institute of Political Economy and Governance.

Per què la recerca educativa és tan important per a poder contrastar models d’èxit?

La recerca educativa generalment fa hipòtesis del tipus “que el professorat que faci A millora la capacitat dels nois i noies de fer B”. Per exemple, “donar un suport individualitzat sistemàtic als estudiants permet incrementar les competències matemàtiques i lectores de tot el grup classe”. Com podem verificar aquesta hipòtesi? Ens cal comparar grups d’estudiants que són molt semblants i només es diferencien per si les docents han fet aquest tractament individualitzat. Després cal verificar si les competències d’un grup són, en general, superiors a l’altre al final de curs. Per poder atribuir la diferència al fet que les docents que han fet A cal que tant els grups d’estudiants com docents siguin molt similars. El mètode preferit per garantir que ho siguin és el de l’aleatorització controlada. És a dir, que les docents que facin A siguin aleatòriament escollides (a l’atzar) d’entre el grup de persones disponibles.

“Suport Educatiu busca la protecció educativa en la infància i l’adolescència en risc d’exclusió social amb intervencions de màxim impacte”

Però hi ha tota una part de la recerca que aprofita esdeveniments que semblen quasi aleatoris que generen que dos grups similars hagin tingut intervencions diferents. Per exemple, haver nascut el 31 de desembre o l’1 de gener et pot canviar si fas l’ESO o l’EGB o si seràs el més petit o el més gran de la classe. Treure un 8,199 o un 8,2 pot fer que entris a una carrera, una universitat o una altra, tot i que les persones que han tret una nota o l’altra podrien argumentar que són molt similars. L’estudi de les diferències entre aquests dos grups que seguiran camins diferents per una diferència molt poc rellevant ens pot ajudar a entendre l’impacte de certes intervencions. Però trobar quasi-experiments (menys rigorosos), i respostes, per a totes les preguntes que ens fem i són rellevants és gairebé impossible!

A Catalunya i a bona part d’Europa hem hagut de fer quasi tota la recerca educativa utilitzant aquests quasi-experiments perquè fer experiments controlats aleatoritzats no havia estat a les nostres mans. Enguany, a través d’aquest finançament, tenim l’oportunitat i responsabilitat de fer-ho i fer-ho bé! I per assolir-ho ens cal la col·laboració de tothom!

Per què és tan important que els programes estiguin fonamentats en dades?

Hi ha dos aspectes que fan la recerca amb persones particularment complicada. La primera és precisament que tractes a dos grups iguals de forma diferent, i això no sempre és fàcil d’acceptar. I l’altre és que has de poder fer seguiment dels dos grups, i a la gent, d’entrada, no li agrada cedir dades. Però ambdues condicions, un tractament diferenciat i l’accés a dades, són fonamentals per poder identificar l’impacte d’una política determinada.

“Sense les dades no podem validar els programes i no podrem tenir l’impacte positiu que busquem per a infants i joves vulnerables!”

La gestió de les dades per a la recerca és molt més segura i controlada que la que es fa en el món de l’empresa. Les institucions de recerca legitimades per la UE han de complir uns processos, comprometre’s i oferir unes garanties d’ús estricte per a les preguntes de recerca que s’han sol·licitat; aquestes condicions donen molta seguretat als individus. Comitès ètics i delegats de protecció de dades revisen cadascun d’aquests processos. Per tant, en el context de la recerca és on ens hem de sentir més protegits a l’hora de cedir l’accés a les dades. Per això des del projecte de Suport Educatiu demanem la col·laboració per a facilitar aquest accés fent totes les preguntes que calguin i fent confiança a les institucions i investigadors de recerca. Sense les dades no podem validar els programes i no podrem tenir l’impacte positiu que busquem per a infants i joves vulnerables!

Quins elements han estat clau a l'hora de definir la metodologia a Suport Educatiu? Trobem diferències entre els programes?

El criteri més important era que fossin programes que poguessin tenir un alt impacte en la reducció de les desigualtats educatives. Per altra banda, calia detallar bé els programes, que es poguessin implementar en un període molt ajustat de temps i que fàcilment es poguessin delimitar els grups tractats (els que participen en el programa) i de control (els que serveixen per veure què passa si no fas el programa). I, sobretot, que se’n pogués fer seguiment a través de dades que capturessin l’impacte de la intervenció. Els programes de suport educatiu individualitzat han estat clau en la recuperació postcovid per a reduir el gap d’aprenentatge arreu del món. El desenvolupament de les habilitats socials i personals és un repte pendent en el sector educatiu des de fa anys.

Els programes de suport educatiu individualitzat han estat clau en la recuperació postcovid per reduir el gap d’aprenentatge.

Pel que fa a les diferències entre els tres programes, PENTABILITIES és el resultat d’un projecte de recerca europeu (ERC) desenvolupat entre el 2015 i el 2022 i que per primera vegada es validarà amb un experiment aleatori controlat de gran escala. LECXIT, en canvi, és un programa que la Fundació fa més de 10 anys que duu a terme, i MATH TUTORING és el resultat d’un nou disseny construït sobre prospectiva internacional de programes de suport educatiu d’alt impacte basats en l’evidència.

Com s’ha dissenyat l’avaluació perquè tots els centres educatius rebin alguna intervenció i tinguin accés a un dels tres programes?

En el cas dels centres educatius de primària, s’ha construït demanant als centres que es presentin voluntaris per a implementar o bé LECXIT a 4t o bé MATH TUTORING a 6è. Un cop tots els candidats s’han presentat i preseleccionat, hem definit aleatòriament dos grups d’escoles: uns que fan MATH TUTORING i els altres LECXIT.

Els grups de 4t de les escoles que fan MATH TUTORING (que no reben intervenció) serveixen de control dels de 4t que fan LECXIT. I els de 6è de les escoles que fan LECXIT (que tampoc reben intervenció) serveixen de control dels de 6è que fan MATH TUTORING.

D’aquesta manera totes les escoles fan algun dels programes, però tenim grups tractats i control pels diferents cursos. Seguint el progrés en comprensió lectora dels de 4t i de matemàtiques de 6è dels dos grups d’escoles podrem comparar els resultats dels quals aleatòriament han fet MATH TUTORING o LECXIT.

Seguint el progrés en comprensió lectora dels de 4t i de matemàtiques de 6è dels dos grups d’escoles podrem comparar els resultats dels quals aleatòriament han fet MATH TUTORING o LECXIT.

Per PENTABILITIES, en canvi, hem seguit un procediment similar, però demanant als centres de secundària que es presentin per implementar PENTABILITIES a dos cursos diferents de l’ESO i escollint aleatòriament a quin curs es fa. Aquesta aleatorització i seguiment de grups similars però, que reben intervencions diferents, és el que ens permetrà avaluar l’impacte de les nostres propostes. La col·laboració de les famílies a l’hora de consentir l’accés a les dades és fonamental, tant dels grups que reben la intervenció com dels que no, per així poder entendre quines diferències generen les intervencions.

Com serà l’anàlisi dels resultats i què ens mostraran?

En tots els casos durem a terme una avaluació a curt termini, captant què ha passat durant l’any d’implementació, però després farem un seguiment dels dos grups a través de dades administratives per veure com aquests impactes a curt termini afecten els recorreguts educatius dels dos grups en els anys vinents.

Aleshores, a MATH TUTORING i LECXIT avaluarem l’impacte de la intervenció sobre el grup receptor de cada programa, però també l’impacte al grup classe, ja que desbloquejar l’aprenentatge d’uns pocs pot facilitat la capacitat de relacionar-se i aprendre a classe. L’anàlisi es farà comparant les competències lectores i matemàtiques dels grups tractats i de control. Uns qüestionaris facilitaran la recollida de dades sobre com canvia l’ambient i les relacions a l’aula. A llarg termini veurem com la millora en aquests aspectes afecta l’adhesió i vincle amb el sistema educatiu al llarg de la secundària i l’educació obligatòria.

En el cas de PENTABILITIES hi haurà molta observació a l’aula per tal de veure si els aprenentatges es manifesten en la forma d’interaccionar i treballar en espais d’aprenentatge actiu. De la mateixa manera, també veurem si la millora en aquests comportaments es reflecteix en un vincle i adhesió al sistema educatiu i laboral, així com en una menor incidència de factors de risc.

Quins han estat els referents per donar forma a tot aquest sistema d’avaluació?

En el món de la medicina i les ciències experimentals en general la regla d’or és l’experimentació aleatòria controlada. Però al món de les ciències socials observem els primers experiments els anys seixanta als EUA amb el Perry School Project o el Project STAR, que són dels primers experiments realitzats i dels que encara avui se n’analitzen les conseqüències a llarg termini.

Ester Duflo i Abhijit Banerjee del MIT, Premi Nobel d’Economia el 2019, han estat uns dels principals promotors de la utilització d’experiments aleatoritzats en la recerca que informa les polítiques públiques de forma més generalitzada. La seva expansió en els darrers vint anys ha estat enorme. L’any 2003 varen crear J-PAL (Abdul Latif Jameel Poverty Action Lab), per promoure aquest tipus de recerca a països en vies de desenvolupament. Avui tenen representació arreu del món, on promouen i assessoren aquest tipus de recerca. J-PAL, i en concret Abhijit Banerjee han assessorat el Ministeri d’Inclusió, Seguretat Social i Migracions en iniciar aquesta iniciativa pionera a Espanya i a Europa.

Finalitzat el projecte i el període d’avaluació, què passarà? Per a què serviran els resultats?

Quan tinguem els resultats els compartirem amb les escoles, famílies, administracions, investigadors i institucions nacionals i internacionals que estiguin interessats. L’impacte serà molt gran, ja que fer un experiment d’aquesta magnitud a Europa és molt excepcional.

Les dades confirmaran alguns aspectes que la intuïció ens indica, però segur que ens afegiran coneixements nous, matisos, que seran fonamentals per pensar si, com i quan s’estenen les propostes que, segons les dades, són més prometedores. Però sobretot esperem que aquests programes ens il·lustrin les virtuts i dificultats de poder fer recerca al nostre país, informant les nostres pròpies polítiques, les de la resta del món i atraient personal investigador potent a fer recerca sobre les preguntes que ens preocupen. Perquè un fet no gens menor és que a través d’aquests programes hem atret el millor talent nacional i internacional a treballar en el nostre context.

Un fet no gens menor és que a través d’aquests programes hem atret el millor talent nacional i internacional a treballar en el nostre context.

Si som capaços de facilitar els processos i l’accés a les dades, ens trobarem que les preguntes de recerca internacional que es volen resoldre són les nostres, les que necessitem per fer desenvolupar la nostra política educativa. Així doncs, esperem que aquest sigui un inici d’un camí sense retorn que ens permetrà continuar atraient fons europeu i aptitud nacional i internacional per fer de Catalunya un territori potent en política i recerca educativa.

Vols saber-ne més?

• LECXIT. Perquè cap infant acabi l'educació sense entendre allò que llegeix
• MATH TUTORING. Multipliquem les oportunitats d'èxit educatiu
• PENTABILITIES. Integrar les habilitats socioemocionals a l'aula per encendre habilitats de vida
• SUPORT EDUCATIU. Acompanyament per accelerar oportunitats
• ENTREVISTA Lídia Climent: “Els programes de suport educatiu poden reduir eficientment les desigualtats educatives”
• ENTREVISTA Brent Roberts: “Invertim una dècada en educar els infants en habilitats tècniques. Les habilitats socials i personals mereixen el mateix temps de dedicació”
• ARTICLE. És possible que l’avaluació arribi a ser gratificant i útil per a tots?