El efecto de un programa cambia a lo largo del tiempo. Es por ello, que la evaluación de impacto del mismo deba tener en cuenta esta evolución. En esta entrada nos hacemos eco de la importancia de este factor a la hora de evaluación de programas, ofreciendo algunas consideraciones que se están estudiando en este momento.
Nada de líneas rectas
En el film Awakeness un doctor recién llegado a un centro sanitario, trata de revertir los efectos catatónicos que la encefalitis letárgica provocó entre 1917 y 1928 y amplias zonas de Estados Unidos. En su intento por aliviar su situación, el doctor prueba el efecto de la L-dopa. En una de las escenas, tras numerosos intentos por conseguir algún resultado, los gestores del centro advierten que sus experimentos no tienen ningún resultado. Sin embargo, momentos más tarde en el film, el primer paciente comienza a salir de su letargo. El éxito parece completo, poco a poco los pacientes comienzan a recuperarse. No obstante, meses más tarde, los efectos de la droga no impiden que los pacientes vuelvan a sus estados de aparente inconsciencia.
Este film está basado en la vida y experiencias del neurólogo Oliver Sacks y pone de evidencia cómo una intervención puede considerarse improductiva, efectiva o un fracaso en función de cuándo se hace la valoración de su impacto.
De forma general, un tratamiento de tipo médico o psicológico es similar a la acción de un programa. Todas ellas son intervenciones donde se ponen en marcha una serie de recursos con la intención de provocar un cambio. Por tanto, lo que se han mostrado en el efecto de un medicamento se puede generalizar a cualquier tipo de intervención, independientemente de que sea biológica, social, psicológica o de cualquier otro tipo.
Timing: el momento de la evaluación
El momento adecuado para la evaluación se convierte así , en un tema de interés. En el caso de los medicamentos, es razonable pensar que deben pasar algunas horas o días antes de tener un efecto contrastable, y que dependiendo del tipo de medicamento, este será más o menos estable.
El problema está con aquellas intervenciones donde no se tiene información de cómo evoluciona su efecto. Esto no es algo nuevo, y hace décadas que se puso de manifiesto. Así, Mark Lipsey aventuraba a decir que posiblemente, el efecto de los programas evolucionase según distintas formas (Figura 1).
La situación se complica si se tiene en cuenta que un programa no sólo suele centrarse en conseguir un efecto, sino varios. Es decir, para cada uno de los aspectos donde se pretende generar un cambio, se podría tener una evolución distinta.
En el año 2019, el centro CERE (Center for Research Evaluation) propone realizar un estudio sistemático de las intervenciones sociales con el fin de analizar su trayectoria (enlace).
De esta forma, pretenden entender mejor cómo evoluciona el impacto de los programas para mejorar las evaluaciones. En cualquier caso, la situación es que el efecto del timing afecta a la calidad de la evaluación de programas, que existen propuestas de cómo podría evolucionar el impacto en función del tiempo, pero que no se han conseguido datos que puedan apoyar estas propuestas.
En el grupo de trabajo es un tema que interesa por sus repercusiones prácticas. En este sentido, nos plateamos contar con la colaboración de quien tenga interés en participar, aportando sus ideas en cuanto al propio efecto del timing y cómo podría abordarse metodológicamente. Así, que son bienvenidas todas las ideas, comentarios y sugerencias constructivas al respecto a través del espacio de facebook y de twitter de la Red IDEI.
Inicialmente, las hipótesis que planteamos son que: 1) la evolución del impacto de un programa se puede modelar según una función sigmoide; 2) la forma de la función depende de una serie de factores entre los que se encuentran la capacidad de impactar de los recursos movilizados.
Como forma de comprobar esta hipótesis…, en el paper que en breve estará en SocArxiv.
