I am a Monitoring, Evaluation, and Learning (MEL) expert with over 15 years of related work experience gained in international and national Non-Governmental Organizations (NGOs) and Governments in East and West Africa. My MEL experience has been in the roles of management, advisory, consultancy, and volunteerism.
My contributions
Es por ello que debe resultar útil para los responsables de las políticas, los encargados de elaborar los programas, los planificadores de los proyectos y los responsables superiores. Recientemente he realizado una encuesta a diferentes evaluadores para examinar el concepto de utilización de las evaluaciones, su visión sobre este tema y la materialización de este enfoque en su trabajo. Es decir, he analizado cómo informan los evaluadores sobre los resultados de las evaluaciones y de qué manera contribuyen a su uso e influencia.
Uso y utilización de las evaluaciones: un resumen
El enfoque de evaluación centrada en el uso (UFE
Gordon Wanzare
Monitoring, Evaluation, & Learning ExpertEstimado Jean, estimados colegas,
Gracias por aclarar que la discusión no se limita a programas, sino que también incluye proyectos o cualquier intervención humanitaria o de desarrollo. Está siendo muy instructiva y enriquecedora. ¡Y estoy aprendiendo mucho!
Cuando sostengo que, en el contexto de una evaluación, “cuando algo es demasiado complicado o complejo, la simplicidad es la mejor estrategia”, quiero decir que no es necesario utilizar varias metodologías y fuentes de datos para tener en cuenta la complejidad. Los datos cuantitativos y cualitativos se pueden centrar en los objetivos y las preguntas de la evaluación. Por ejemplo, utilizar enfoques de evaluación que tienen en cuenta la complejidad —como la recolección de resultados, el seguimiento de procesos, el análisis de contribuciones, el análisis de redes sociales, etc.— no implica necesariamente que haya que emplear varios métodos de recopilación de datos cuantitativos y cualitativos. Por ejemplo, en la recolección de resultados, se puede recurrir a la revisión de documentos y las entrevistas a informadores clave para elaborar descriptores de resultados. Y, posteriormente, durante la fundamentación, realizar una encuesta y entrevistar a informadores clave. He utilizado análisis de redes sociales y entrevistas a informadores clave para evaluar el cambio en las relaciones entre agentes de un sistema de mercado. Asimismo, he realizado análisis de redes sociales y entrevistas en profundidad en un estudio de impacto social de un programa de desarrollo de la iniciativa empresarial para jóvenes rurales. En esencia, basta con utilizar tres métodos de recopilación de datos (el concepto del taburete de tres patas o del triángulo) para alcanzar los objetivos de evaluación con información concreta y precisa. Mucho se ha escrito sobre cómo superar la complejidad con simplicidad en diferentes esferas de la vida, la gestión, el liderazgo, etc.
En relación con la pregunta sobre quién decide la metodología, un plan de seguimiento, evaluación y aprendizaje es muy claro en lo que respecta a las mediciones y los métodos de evaluación, al menos según mi experiencia. Este tipo de planes son elaborados por el equipo del programa. Se pide a los evaluadores que propongan una metodología de evaluación en las propuestas técnicas con un doble propósito: valorar su competencia técnica e identificar la que mejor se ajusta al plan de evaluación. Por lo general, el evaluador y el equipo del programa se ponen de acuerdo sobre la metodología más adecuada durante la fase inicial de la evaluación. Esto forma parte del informe inicial que normalmente suscribe el equipo del programa.
Mi punto de vista sobre estas cuestiones.
Gordon
Gordon Wanzare
Monitoring, Evaluation, & Learning Expert¡Muy buena pregunta de Jean! ¡Y contribuciones muy perspicaces!
En primer lugar, creo que la pregunta de esta discusión es muy concreta: ¿cómo se utilizan los métodos mixtos en la evaluación de PROGRAMAS? ¿Verdad? Sabemos que un programa consta de dos o más proyectos. Es decir, se trata de un conjunto de proyectos. Por tanto, los programas no suelen ser sencillos, ya que se desconocen la mayor parte de las cuestiones. Los programas pueden ser complicados o complejos, en función de que sepamos —o no— qué desconocemos. Según el diccionario Oxford de la lengua inglesa, un método es un procedimiento particular para realizar o abordar algo. En los procedimientos se utilizan herramientas. Soy de los que creen que, cuando algo es demasiado complicado o complejo, ¡la simplicidad es la mejor estrategia!
En función del contexto, el diseño y el plan de evaluación del programa, y los objetivos y las preguntas de la evaluación, el evaluador y el equipo del programa pueden acordar el mejor método —o métodos— que contribuya a alcanzar los objetivos de la evaluación y dé respuesta detallada a las preguntas de ésta. Me gusta el enfoque que se adopta en los hospitales. A excepción de algunas situaciones de emergencia, a los pacientes se les realiza un triaje, una evaluación clínica y una revisión de sus antecedentes médicos, un análisis de laboratorio, unas pruebas radiológicas, etc. El médico analiza y utiliza estas fuentes de información para hacer un diagnóstico, dar un pronóstico y establecer un tratamiento. En función de las circunstancias y los recursos, se decide si todas estas fuentes de información son esenciales o no.
Los métodos mixtos están muy bien, pero la medida y el orden en que se utilizan se deben basar en las circunstancias del programa y la evaluación. De lo contrario, en lugar de dar respuesta a las preguntas de evaluación de un programa complejo o complicado, nos faltarán datos. Utilizar todo tipo de métodos cualitativos a la vez (encuestas abiertas, entrevistas a informantes clave, reuniones para la reflexión comunitaria, observaciones, revisión de documentos, etc.) además de métodos cuantitativos quizás no sea tan buena idea.
En cualquier caso, puede que se haya realizado una evaluación exhaustiva de determinados proyectos de un programa y se haya documentado su contribución a los objetivos de éste. En tal caso, a nivel de programa bastaría con realizar algo sencillo como un examen o revisión.
Cuando algo sea complicado o complejo, simplifiquen y limítense a unos pocos datos.
Mi punto de vista.
Muchas gracias.
Gordon