Antes de compartir mi opinión, consideremos una experiencia: mi colaboración con un equipo de 4 evaluadores en la evaluación de un proyecto de cinco años. Dos miembros de este equipo diseñaron la evaluación y recopilaron los datos. Trabajamos conjuntamente en la fase de análisis y la elaboración posterior de un informe extenso de 180 páginas. Nunca he conocido a nadie que sea partidario de los informes largos. A mí tampoco me apasionan. A decir verdad, muy poca gente dedicaría tiempo a leer informes de evaluación muy extensos. Si es poco probable que un evaluador lea un informe que ha elaborado (una vez finalizado), ¿quién más lo va a leer? Pasemos a las recomendaciones. En la fase de elaboración del informe destacamos los cambios generados (o la ausencia de éstos), señalamos los resultados contra natura y pusimos de relieve conocimientos sobre los indicadores o las variables de interés. Dejamos que el equipo de ejecución del proyecto redactara las recomendaciones aplicables. Incorporaron a un encargado de formular políticas para colaborar en esta tarea. Como pueden ver, evitamos —intencionadamente— la práctica habitual, en virtud de la cual los evaluadores formulan siempre las recomendaciones.
Nuestra función consistía en asegurar que todas las conclusiones o resultados importantes se tradujeran en recomendaciones aplicables. Ayudamos al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. ¿Cómo extenderían un proyecto que ha dado lugar a un determinado cambio (con resultados positivos, no negativos)? ¿Qué haría de forma diferente para lograr el cambio deseado en este tipo de indicadores (áreas de mejora)? ¿Qué haría para obtener los resultados deseados en entornos diferentes? Este tipo de preguntas ayudaron a formular las recomendaciones aplicables.
Comprobamos el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. Al final, el equipo del proyecto hizo suyas las recomendaciones y el equipo de evaluación de los resultados empíricos. Los resultados de la evaluación fundamentaron cada recomendación. Por los tanto, elaboramos el informe de evaluación de forma conjunta. Se trata de una práctica que hemos replicado en otras evaluaciones y que ha demostrado ser eficaz. Con la participación de las principales partes interesadas, presentar los resultados de la evaluación a los responsables de la toma de decisiones es relativamente sencillo.
En mi experiencia previa como evaluador, estas recomendaciones se incorporaban a un rastreador de acciones (en Excel o cualquier otro formato), a fin de realizar un seguimiento de su implementación a lo largo del tiempo. Ésta es la práctica que siguen aquellas instituciones partidarias de la rendición de cuentas y el aprendizaje, o que exigen responsabilidades a su personal y sus proyectos por no ajustarse a estos estándares. Para cada recomendación, hay un cronograma, una persona o departamento responsable, un estado (implementada, no implementada o en curso) y un camino a seguir (parte del aprendizaje continuo). Tengan en cuenta que una de las recomendaciones aboga por compartir y utilizar los resultados de las evaluaciones. Esto requiere un trabajo adicional una vez finalizado el informe de evaluación. Asimismo, simplifiquen el informe de evaluación y utilicen un lenguaje y un formato sencillos y accesibles. Una buena alternativa consiste en preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta. Esta práctica es bastante útil por varias razones:
Los evaluadores no son los únicos actores: hay otras partes interesadas que dominan mejor las realidades programáticas.
El equipo de ejecución tiene margen para alinear sus puntos de vista y sus conocimientos con los resultados de la evaluación.
Completar una evaluación no es —ni debería ser— uno de sus objetivos. Es por ello que las instituciones deben realizar un seguimiento de la implementación de las recomendaciones para poner en marcha acciones correctivas, tomar decisiones, formular políticas, utilizar los datos obtenidos en nuevas intervenciones, etc.
Institucionalizar el uso de las evidencias extraídas de las evaluaciones lleva tiempo. Los cambios estructurales —de alto nivel— no se producen de la noche a la mañana, ni surgen de la nada. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Si sus responsables superiores apoyan sin fisuras el uso de las evidencias, no desaprovechen la oportunidad. De lo contrario, no basen su labor en hipótesis: utilicen los datos y la cultura de su organización. Construyan pequeñas alianzas y relaciones para utilizar las evidencias, e incorporen gradualmente a las partes interesadas más "influyentes". Pongan de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.
Mi opinión. Nada más.
Ahora es su turno. Pueden compartir sus aportaciones y comentarios a esta importante discusión.
RE: Reporting and supporting evaluation use and influence
Estimado Gordon, estimados colegas,
Antes de compartir mi opinión, consideremos una experiencia: mi colaboración con un equipo de 4 evaluadores en la evaluación de un proyecto de cinco años. Dos miembros de este equipo diseñaron la evaluación y recopilaron los datos. Trabajamos conjuntamente en la fase de análisis y la elaboración posterior de un informe extenso de 180 páginas. Nunca he conocido a nadie que sea partidario de los informes largos. A mí tampoco me apasionan. A decir verdad, muy poca gente dedicaría tiempo a leer informes de evaluación muy extensos. Si es poco probable que un evaluador lea un informe que ha elaborado (una vez finalizado), ¿quién más lo va a leer? Pasemos a las recomendaciones. En la fase de elaboración del informe destacamos los cambios generados (o la ausencia de éstos), señalamos los resultados contra natura y pusimos de relieve conocimientos sobre los indicadores o las variables de interés. Dejamos que el equipo de ejecución del proyecto redactara las recomendaciones aplicables. Incorporaron a un encargado de formular políticas para colaborar en esta tarea. Como pueden ver, evitamos —intencionadamente— la práctica habitual, en virtud de la cual los evaluadores formulan siempre las recomendaciones.
Nuestra función consistía en asegurar que todas las conclusiones o resultados importantes se tradujeran en recomendaciones aplicables. Ayudamos al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. ¿Cómo extenderían un proyecto que ha dado lugar a un determinado cambio (con resultados positivos, no negativos)? ¿Qué haría de forma diferente para lograr el cambio deseado en este tipo de indicadores (áreas de mejora)? ¿Qué haría para obtener los resultados deseados en entornos diferentes? Este tipo de preguntas ayudaron a formular las recomendaciones aplicables.
Comprobamos el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. Al final, el equipo del proyecto hizo suyas las recomendaciones y el equipo de evaluación de los resultados empíricos. Los resultados de la evaluación fundamentaron cada recomendación. Por los tanto, elaboramos el informe de evaluación de forma conjunta. Se trata de una práctica que hemos replicado en otras evaluaciones y que ha demostrado ser eficaz. Con la participación de las principales partes interesadas, presentar los resultados de la evaluación a los responsables de la toma de decisiones es relativamente sencillo.
En mi experiencia previa como evaluador, estas recomendaciones se incorporaban a un rastreador de acciones (en Excel o cualquier otro formato), a fin de realizar un seguimiento de su implementación a lo largo del tiempo. Ésta es la práctica que siguen aquellas instituciones partidarias de la rendición de cuentas y el aprendizaje, o que exigen responsabilidades a su personal y sus proyectos por no ajustarse a estos estándares. Para cada recomendación, hay un cronograma, una persona o departamento responsable, un estado (implementada, no implementada o en curso) y un camino a seguir (parte del aprendizaje continuo). Tengan en cuenta que una de las recomendaciones aboga por compartir y utilizar los resultados de las evaluaciones. Esto requiere un trabajo adicional una vez finalizado el informe de evaluación. Asimismo, simplifiquen el informe de evaluación y utilicen un lenguaje y un formato sencillos y accesibles. Una buena alternativa consiste en preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta. Esta práctica es bastante útil por varias razones:
Institucionalizar el uso de las evidencias extraídas de las evaluaciones lleva tiempo. Los cambios estructurales —de alto nivel— no se producen de la noche a la mañana, ni surgen de la nada. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Si sus responsables superiores apoyan sin fisuras el uso de las evidencias, no desaprovechen la oportunidad. De lo contrario, no basen su labor en hipótesis: utilicen los datos y la cultura de su organización. Construyan pequeñas alianzas y relaciones para utilizar las evidencias, e incorporen gradualmente a las partes interesadas más "influyentes". Pongan de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.
Mi opinión. Nada más.
Ahora es su turno. Pueden compartir sus aportaciones y comentarios a esta importante discusión.
Jean Providence