Qui s'atreveix amb l'avaluació d'impacte?

Fa unes setmanes -moltes- un bon amic,  Josean Latorre, cap de servei de formació i qualitat de la Diputació d'Alacant,  @josanlatorre  em va passar la Guia sobre avaluació de l'impacte de l'OIT/Cinterfor i fins ara no l'havia pogut llegir... Us sona el tema? Aquelles mil i una tasques diàries urgents  que et roben el temps de fer el que és important? Per això la vaig triar com a tema del segon post; la millor manera de no postergar-la  més i de mirar-me-la!

La Guia està escrita en un context de formació per al desenvolupament social, en l'entorn de l'Amèrica Llatina i el Carib, i deixa ben clar que la societat necessita saber quin retorn li ofereix la seva inversió en formació. Si la societat ho necessita, també l'Administració Pública ho necessita, no?

Metodològicament parlant, la Guia avança que serà pràctica i acompleix l'objectiu; aporta idees concretes i és un magnífic exemple d'estructuració de continguts, desenvolupant el que serien els continguts  bàsics i proporcionant interessants recomanacions finals en web de materials complementaris i d'experiències d'aplicació.

 Com a tot arreu, també a l'àmbit geogràfic on s'adreça la Guia, s'acostuma a avaluar la satisfacció de les persones participants i els aprenentatges que han fet, però és menys freqüent que s'avaluïn els efectes, directes  i indirectes. Fins aquí, com a casa, no hi ha novetats :-)

La Guia es centra en avaluar l'impacte i, de forma senzilla,  el defineix com el contrast entre la situacio de partida i el que passa a l'organització un cop s'ha fet la formació i diu que aquest contrast -l'avaluació- cercarà revelar els canvis que siguin atribuïbles a la intervenció que s'ha fet. El gran repte -per no dir la gran dificultat!- és poder aïllar els efectes de la formació sobre la resta de factors que poden haver intervingut en el canvi.

Però aquesta Guia és molt pragmàtica i ens dóna la raó, en la nostra experiència professional, quan diu  literalment:  "La creencia de que implica procesos exigentes en información y en tiempo, por ende, relativamente complicados y costosos, inhibe muchas veces la realización de esta herramienta práctica. En la evaluación no siempre son mejores los métodos más ortodoxos, que muchas veces sólo se reproducen en laboratorios y no se relacionan con la práctica cotidiana de la formación".

L'avaluació de l'impacte, com qualsevol procés de recollida d'informació per treure'n conclusions, pot fer-se per mètodes quantitatius, mètodes qualitatius o per combinació d'ambdòs. En l'eix 4t , Cómo evaluar el impacto de la formación, pàgines 37 a 59,  la Guia fa una exposió francament bona de les característiques, virtuds i limitacions dels dos mètodes.

Els mètodes quantitatius (grups de control i  comparació de séries de dades o estudis longitudinals) (pàgines 42  a 46) centren tots els seus esforços en aillar  els factors que hagin pogut influir en els resultats, per delimitar la influència de la formació en el canvi, i pivoten entorn d'una rotunda identificació d'indicadors previs a la formació i en la mesura i comparació amb els resultats posteriors a la formació, sense possibilitat de que s'admetin altres guanys posteriors que no hagin estat mesurats d'entrada, i aplica amb rigor l'anàlisi estadística, pel que fa a definició de l'estudi i tractament de les dades.

Els mètodes qualitatius (estudi de casos, seguiment dels"canvis més significatius") (pàgines 50-52) enlloc de cercar aillar els factors externs a la intervenció,  els incorporen per observar la interacció entre els participants i la formació. No se centra en la comparació entre grups -que en molts casos és impossible- sinó en el treball de camp i la comprensió profunda del grup que s'avalua; de les seves possibilitats, evolució gràcies a la formació  i resultats obtinguts.Té en compte els resultats d'impacte (positius i negatius) que no van poder anticipar-se i mesurar-se amb indicadors, que són fruït de l'aplicació de la formació i que són comunicats pels participants durant el treball de camp.

Per reflexionar, queda la idea de que els mètodes quantitatius pretenen medir, controlar i comparar totes les possibles variables de la "realitat",  com si fos possible medir-ho tot, mentre que els qualitatius parteixen del reconeixement de la impossibilitat de conéixer-ho tot i se centren en la vivència subjectiva dels protagonistes, en el coneixement de la seva història (professional) i  en l'observació de com els canvis els hi afecten.

En la nostra pràctica professional estem apostant pel pragmatisme (per un pragmatisme de rigor tècnic però allunyat de l'ortodoxia acadèmica i experimental) i compartim la visió de que la complexitat global de les organitzacions i les persones  és difícilment representable en variables, per això, malgrat que cerquem la referència dels indicadors i la comparació inicial i posterior, considerem fonamental observar les mostres de treball de les persones i seguir l'evolució dels seus casos (mitjançant sessions de seguiment) per anar determinant la transferència i obtenir informació sobre resultats d'impacte.


Accés a la Guia