/* Script de Google Analytics */

dimarts, 6 de març de 2012

Qui s'atreveix amb l'avaluació d'impacte?

Fa unes setmanes -moltes- un bon amic,  Josean Latorre, cap de servei de formació i qualitat de la Diputació d'Alacant,  @josanlatorre  em va passar la Guia sobre avaluació de l'impacte de l'OIT/Cinterfor i fins ara no l'havia pogut llegir... Us sona el tema? Aquelles mil i una tasques diàries urgents  que et roben el temps de fer el que és important? Per això la vaig triar com a tema del segon post; la millor manera de no postergar-la  més i de mirar-me-la!

La Guia està escrita en un context de formació per al desenvolupament social, en l'entorn de l'Amèrica Llatina i el Carib, i deixa ben clar que la societat necessita saber quin retorn li ofereix la seva inversió en formació. Si la societat ho necessita, també l'Administració Pública ho necessita, no?

Metodològicament parlant, la Guia avança que serà pràctica i acompleix l'objectiu; aporta idees concretes i és un magnífic exemple d'estructuració de continguts, desenvolupant el que serien els continguts  bàsics i proporcionant interessants recomanacions finals en web de materials complementaris i d'experiències d'aplicació.

 Com a tot arreu, també a l'àmbit geogràfic on s'adreça la Guia, s'acostuma a avaluar la satisfacció de les persones participants i els aprenentatges que han fet, però és menys freqüent que s'avaluïn els efectes, directes  i indirectes. Fins aquí, com a casa, no hi ha novetats :-)

La Guia es centra en avaluar l'impacte i, de forma senzilla,  el defineix com el contrast entre la situacio de partida i el que passa a l'organització un cop s'ha fet la formació i diu que aquest contrast -l'avaluació- cercarà revelar els canvis que siguin atribuïbles a la intervenció que s'ha fet. El gran repte -per no dir la gran dificultat!- és poder aïllar els efectes de la formació sobre la resta de factors que poden haver intervingut en el canvi.

Però aquesta Guia és molt pragmàtica i ens dóna la raó, en la nostra experiència professional, quan diu  literalment:  "La creencia de que implica procesos exigentes en información y en tiempo, por ende, relativamente complicados y costosos, inhibe muchas veces la realización de esta herramienta práctica. En la evaluación no siempre son mejores los métodos más ortodoxos, que muchas veces sólo se reproducen en laboratorios y no se relacionan con la práctica cotidiana de la formación".

L'avaluació de l'impacte, com qualsevol procés de recollida d'informació per treure'n conclusions, pot fer-se per mètodes quantitatius, mètodes qualitatius o per combinació d'ambdòs. En l'eix 4t , Cómo evaluar el impacto de la formación, pàgines 37 a 59,  la Guia fa una exposió francament bona de les característiques, virtuds i limitacions dels dos mètodes.

Els mètodes quantitatius (grups de control i  comparació de séries de dades o estudis longitudinals) (pàgines 42  a 46) centren tots els seus esforços en aillar  els factors que hagin pogut influir en els resultats, per delimitar la influència de la formació en el canvi, i pivoten entorn d'una rotunda identificació d'indicadors previs a la formació i en la mesura i comparació amb els resultats posteriors a la formació, sense possibilitat de que s'admetin altres guanys posteriors que no hagin estat mesurats d'entrada, i aplica amb rigor l'anàlisi estadística, pel que fa a definició de l'estudi i tractament de les dades.

Els mètodes qualitatius (estudi de casos, seguiment dels"canvis més significatius") (pàgines 50-52) enlloc de cercar aillar els factors externs a la intervenció,  els incorporen per observar la interacció entre els participants i la formació. No se centra en la comparació entre grups -que en molts casos és impossible- sinó en el treball de camp i la comprensió profunda del grup que s'avalua; de les seves possibilitats, evolució gràcies a la formació  i resultats obtinguts.Té en compte els resultats d'impacte (positius i negatius) que no van poder anticipar-se i mesurar-se amb indicadors, que són fruït de l'aplicació de la formació i que són comunicats pels participants durant el treball de camp.
    Per reflexionar, queda la idea de que els mètodes quantitatius pretenen medir, controlar i comparar totes les possibles variables de la "realitat",  com si fos possible medir-ho tot, mentre que els qualitatius parteixen del reconeixement de la impossibilitat de conéixer-ho tot i se centren en la vivència subjectiva dels protagonistes, en el coneixement de la seva història (professional) i  en l'observació de com els canvis els hi afecten.

    En la nostra pràctica professional estem apostant pel pragmatisme (per un pragmatisme de rigor tècnic però allunyat de l'ortodoxia acadèmica i experimental) i compartim la visió de que la complexitat global de les organitzacions i les persones  és difícilment representable en variables, per això, malgrat que cerquem la referència dels indicadors i la comparació inicial i posterior, considerem fonamental observar les mostres de treball de les persones i seguir l'evolució dels seus casos (mitjançant sessions de seguiment) per anar determinant la transferència i obtenir informació sobre resultats d'impacte.


    Accés a la Guia

    2 comentaris:

    1. Gran post, Joana!!

      Me encanta que recojas el pragmatismo que inspira la guía. Efectivamente, es muy fecuente ( y muy nuestra) la postura ésta de ..."como es tan difícil y entran en juego tantas variables...mejor no hago nada"... No hacer, es la manera más fácil de no equivocarse nunca, jaja... Así nos va!!.

      Aunque tuve ocasión de compartir con vosotras la jornada de evaluación de noviembre pasado, y comprobé in situ parte de lo que hacéis al respecto, debo decir que me gustó mucho lo que conto Sylvia Alonso (@sylvialonsoeapc) en expoelearning 2012, a cuento de la evaluación de la transferencia en los proyectos de formación directiva "aplicados". Por nuestra parte, seguimos con la investigación de "indicadores de transferencia e impacto" de cada acción formativa para intentar repercutir los resultados en -al menos- las propias acciones formativas.

      Estoy convencido que, con los tiempos que corren, más pronto que tarde, tendremos que "dar cuentas" en relación a la utilidad de la formación que impartimos en las administraciones públicas. Y eso será una muy buena noticia.

      Ah!!, mi identificativo en twitter es @josanlatorre ( y no josean....) ;-))

      Salut!!

      ResponElimina
    2. Hola Josean! Acabo de corregir ahora mismo tu identificativo en twitter; lo primero, primero :-)
      Te agradezco que hayas venido "a mi casa" a comentar. Dicen que los blocs se alimentan de comentarios, verdad? Quienes escribimos ya vemos el seguimiento de lectura que tiene la entrada, pero da mucha alegria que los amigos se paren a comentar.

      Y, sobre el tema de la evaluación de impacto, comparto -y compartimos- contigo esa máxima filosófica de que lo perfecto es enemigo de lo bueno. Evaluando nunca podremos hacer nada perfecto porque, por definición, el mundo -y más el mundo social- es complejidad e interpretación. Por lo tanto, bienvenido el pragmatismo que nos hace evitar la perfección HACIENDO evaluación práctica.

      Un abrazo!!

      ResponElimina