Jean Providence [user:field_middlename] Nzabonimpa

Jean Providence Nzabonimpa

Regional Evaluation Officer
United Nations World Food Programme
Sudáfrica

Jean Providence Nzabonimpa (PhD) is a social, behavioral, educational, and public health researcher and evaluator, a development and humanitarian practitioner with 16 years of experience in project design, implementation, performance monitoring, outcome and impact evaluation, social marketing, and applied research. Using behavior change theories and communication as an approach to achieve project outcomes and impact in public health, education, and other social development sectors, currently keen on human face in technology, he brings rigorous methodological approaches to development interventions, generating and using evidence for decision-making and impact.

With specialization in mixed methods research, he innovates methodologically when it comes to impact, behavior change, and user experience research and evaluation. With more than 30 research and evaluation studies, coupled with a strong background in education, language use, public health, and capacity development, he uses advanced social science evaluative, analytical, communicative, and programmatic knowledge and skills to generate evidence and insights to impact the lives of the poor and vulnerable people. Since 2009, he is an apt user and advocate of ICT in program monitoring and evaluation for real-time access to data and evidence. Expert user and trainer in data analysis using SPSS (expert level) and STATA (lesser extent) for quantitative data analysis, ATLAS.ti and MAXQDA for qualitative data analysis. He is SCRUMMaster certified, Core Humanitarian Certified, ATLAS.ti certified professional trainer, and a certified peer-reviewer.

My contributions

  • How are mixed methods used in programme evaluation?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      Estimados colegas,

      Muchas gracias por hacer un esfuerzo adicional para aportar nuevas perspectivas a esta discusión. Éstas incluyen diseños de métodos mixtos secuenciales, simultáneos y paralelos. En algunos casos, los datos se analizan por separado, mientras que en otros se utilizan análisis de un método para corroborar tendencias o resultados derivados de otro.

      Algunas de las contribuciones más recientes reflejan estas ideas fundamentales:

      “Los evaluadores [...] cotejan los datos de la encuesta con las conclusiones de la investigación cualitativa y la revisión de documentos o cualquier otro método empleado. [...] En ocasiones, una conclusión de la investigación cualitativa se presenta con datos cuantitativos de la encuesta”. Jackie.

       “Los métodos mixtos están muy bien, pero la medida y el orden en que se utilizan se deben basar en las circunstancias del programa y la evaluación. De lo contrario, en lugar de dar respuesta a las preguntas de evaluación de un programa complejo o complicado, nos faltarán datos. Utilizar todo tipo de métodos cualitativos a la vez (encuestas abiertas, entrevistas a informantes clave, reuniones para la reflexión comunitaria, observaciones, revisión de documentos, etc.) además de métodos cuantitativos quizás no sea tan buena idea”. Gordon.

      Lal:

      Gracias por hacer referencia a dos proyectos: uno sobre “un puente de 1 000 millones de USD para unir una isla con tierra firme en un próspero país del norte de Europa” y otro sobre “una autopista multimillonaria en un país africano”. Se trata de un ejemplo excelente de lo que puede suceder cuando un proyecto se diseña de forma deficiente y se evalúa de forma inadecuada. ¿Puedes compartir algún informe/referencia de estos dos proyectos? Este ejemplo constituye una buena fuente de inspiración para enriquecer nuestra discusión y, lo que es más importante, para mejorar nuestra práctica profesional de la evaluación utilizando métodos mixtos. Me encanta esta reflexión: “el enfoque reduccionista contrapuso la calidad y la cantidad a los objetivos de ambos proyectos”. En este sentido, tu resumen me parece muy acertado: “los suministros alimentarios de emergencia a una zona de desastre no pueden cumplir razonablemente los mismos estándares en materia de calidad o cantidad, y deberían ajustarse para que el abastecimiento fuera adecuado en esas circunstancias”.

      Olivier:
      Argumentas —acertadamente— que los diseños exploratorios secuenciales son apropiados: “No se puede medir aquello que no se ha concebido adecuadamente. Por tanto, antes de intentar medir algo, siempre es necesaria una exploración cualitativa”. Pero también reconoces que: “hay cabida para enfoques cualitativos tras un esfuerzo de cuantificación”, Tienes razón. En algunos casos, una encuesta puede obtener resultados aparentemente chocantes. Una forma de darles sentido es profundizar en esa cuestión concreta por medio de algunas entrevistas cualitativas adicionales.

      Gordon:

      Mea culpa. Debería haber especificado que la discusión versa sobre la evaluación de programas, proyectos o cualquier intervención humanitaria o de desarrollo. Haces hincapié —con acierto— en la complejidad que subyace en los programas: “ Los programas no suelen ser sencillos, ya que se desconocen la mayor parte de las cuestiones. Los programas pueden ser complicados o complejos, en función de que sepamos —o no— qué desconocemos”. Uno de los argumentos que has esgrimido parece contradictorio: “cuando algo es demasiado complicado o complejo, ¡la simplicidad es la mejor estrategia!” Para dar contexto a este punto de vista y ayudar a los miembros de EvalForward a comprenderlo, quizás podrías proporcionar más detalles. Asimismo, ¿quién debería decidir qué métodos utilizar? ¿El evaluador o el equipo del programa?

      Aunque me gustaría pedir a todos los colegas que leyeran todas las contribuciones, la de Jackie es diferente, repleta de consejos prácticos utilizados en los métodos mixtos.

      Jackie:

      Muchas gracias por tu tiempo y tus perspicaces comentarios. En relación con nuestra práctica de la evaluación, ¿podrías explicar cómo “se puede responder [cualquier pregunta de evaluación] utilizando un enfoque de métodos mixtos”? En tu opinión, las herramientas de recopilación de datos se desarrollan en paralelo, o de forma simultánea. Y sostienes que hay UNA matriz de diseño de la evaluación. De ahí que ambos métodos intenten responder a la misma pregunta. En cuanto al muestreo, ¿podrías aclarar cómo has utilizado el muestreo probabilístico o no probabilístico? ¿O al menos describir cuál aplicaste, por qué y cómo? ¿Se podría aplicar el muestreo intencional a una evaluación cuantitativa?

      Salvo algunos casos, la mayoría de las contribuciones recibidas son más teóricas/hipotéticas que prácticas/experiencias vividas. Creo que sería de gran ayuda conocer consejos prácticos, incluidos informes de evaluación o publicaciones que hayan utilizado métodos mixtos. Por favor, compartan ejemplos prácticos y referencias de métodos mixtos sobre las siguientes cuestiones:

      • Etapa de diseño de la evaluación
      • Instrumentos de recopilación de datos
      • Muestreo
      • Recopilación de datos
      • Análisis de datos
      • Interpretación, presentación y difusión de resultados

      Espero que sigamos compartiendo diferentes ejemplos, referencias y puntos de vista sobre el tema de esta discusión.

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      Esta discusión es interesante e intrigante, especialmente dada la formación y experiencia multidisciplinar de los participantes.  Sin adelantarme a otras ideas y nuevas perspectivas que estén dispuestos a compartir, permítanme solicitar aclaraciones adicionales para nuestro aprendizaje compartido. Esta petición no se limita a quienes menciono, es una discusión abierta. Por favor, no duden tampoco en compartir enlaces a otras plataformas o redes.

      Consideren estos puntos de vista antes de profundizar en otras cuestiones. Sigan leyendo, la guinda del pastel viene después:

      “[Los métodos mixtos en la evaluación] obtienen buenos resultados cuando el proceso de integración está bien definido o cuando los métodos se aplican de forma secuencial (p. ej. estableciendo grupos de discusión para definir las preguntas de las encuestas, o seleccionando casos —sobre la base de las encuestas— para realizar entrevistas en profundidad)”. Cristian Maneiro.

      “Cinco propósitos de las evaluaciones que utilizan métodos mixtos: comprobación, complementariedad, desarrollo, iniciación y expansión (también resumido en este artículo)”. Anne Kepple. Animo a todos los profesionales que utilizan métodos mixtos —y a todos los partidarios de este enfoque— a leer este artículo.

      “Un buen fontanero utiliza herramientas diferentes según sea necesario y no se pregunta qué reparaciones requieren una única herramienta... Del mismo modo, un buen evaluador debe saber utilizar una amplia variedad de herramientas, no sólo una llave inglesa”. Olivier Cossée.

      “La evaluación también analizó y explicó los resultados cuantitativos con información obtenida con métodos cualitativos. Esto no sólo permitió caracterizar la intervención, la política educativa y la financiación, sino que también dio lugar a recomendaciones más pertinentes en materia de políticas”. Maria Pia Cebrian.

      Preguntas adicionales:

      • Cristian: Gracias por compartir tu experiencia y preferencia por el diseño secuencial exploratorio, según el cual los métodos cualitativos preceden a los cuantitativos. Una pregunta: ¿qué ocurre si la evaluación con métodos mixtos comienza con una encuesta y termina con entrevistas cualitativas o discusiones por grupos (es decir, un diseño secuencial explicativo)? Por cierto, ¿alguien ha utilizado o tiene constancia de algún diseño secuencial explicativo? ¿Conocen alguna evaluación con métodos mixtos que se haya diseñado de esta forma?  Sigamos recopilando y compartiendo experiencias y recursos sobre el diseño de evaluaciones que utilizan métodos mixtos.
      • Cristian también ha planteado una cuestión muy interesante que merece la pena tener en cuenta. Algunas publicaciones muestran que todos los datos no numéricos son cualitativos (p. ej. imágenes, mapas, vídeos, etc.). ¿Qué ocurre con este tipo de información? ¿Alguien ha combinado datos numéricos/cuantitativos con información pictórica, espacial o audiovisual? En caso afirmativo, agradecería que compartieran su experiencia. No duden en aportar ideas sobre cómo tratar estos datos no numéricos.
      • Emilia: ¡Me has alegrado el día (bueno, mi vuelo)! Leí las contribuciones de los miembros de EvalForward mientras estaba en el avión. Muchas gracias Emilia. Has planteado una cuestión que me ha recordado que uno más uno no debería ser igual a dos cuando utilizamos métodos mixtos. Cuando empleamos este enfoque, debemos aprovechar todo su potencial. Uno más debería ser igual a tres. De lo contrario la pérdida es doble. Por un lado, lean este artículo, en el que se argumenta de forma convincente por qué uno más uno debería ser igual a tres cuando se utilizan métodos mixtos. La segunda pérdida es la del autor del artículo (Michael Fetters). Falleció hace unas semanas y estudiosos afines le rindieron homenaje. ¡Que su alma descanse en paz!
      • Emilia: Me ha gustado leer tu contribución. En la bibliografía existente (recuérdame que la comparta en algún momento) se menciona que los métodos mixtos son una combinación de métodos cualitativos y cuantitativos. Cuando se utilizan métodos del mismo paradigma (p. ej. Cualitativos) se habla de multimétodos o enfoques múltiples.
      • “Y yendo un poco más allá:  ¿no podríamos considerar también como “métodos mixtos” la combinación de enfoques “colonizadores” con enfoques “indígenas”?”. Ajá... en el próximo número del African Evaluation Journal, hay una sección especial sobre cómo abordar las asimetrías de conocimientos. Esta reflexión sobre la naturaleza de los métodos mixtos podría ser una cuestión muy interesante para examinar en el futuro. En la práctica, ¿conocen algún caso en el que se combinen metodologías occidentales (p. ej. encuestas) con métodos orales o pictóricos del sur global? Espero que puedan compartir información y experiencias sobre este asunto.
      • Lal: Has dado en el clavo. ¿Podrías ilustrar con un ejemplo cómo se aplica el pensamiento compartimentado a la hora de realizar una evaluación que utiliza métodos mixtos?
      • Margrieth: Bien dicho. Nuestra formación académica determina en gran medida qué métodos empleamos en el ejercicio de nuestra profesión. ¿Cómo corregimos esta predisposición? Cuando se usan métodos mixtos, es recomendable colaborar con otro investigador para que compruebe y enriquezca el enfoque adoptado. Por ejemplo, si soy un experto en números, lo ideal sería que trabajara con un investigador cualitativo (p. ej. un antropólogo) para complementarnos mutuamente, aunando nuestros puntos fuertes a fin de compensar cualquier carencia en nuestra formación académica o práctica profesional. ¿Cómo creen que un investigador/evaluador debería comprobar y complementar el enfoque adoptado? ¿Conocen algún ejemplo práctico? Por favor, compártanlo.
      • Pia: Impresionante. ¡Varias fuentes de herramientas de recopilación de datos y análisis realizados! Gracias por compartir el artículo publicado. Es un buen ejemplo de lo selectivos/sesgados que pueden ser los investigadores/evaluadores en función de su formación académica, en consonancia con lo indicado por Margrieth en su contribución. Este artículo se centra exclusivamente en métodos cuantitativos, sin mencionar ningún método cualitativo (a no ser que me haya perdido algo cuando he ojeado el texto rápidamente). ¿Podrías consultar la publicación original en español y proporcionar información sobre cómo se utilizaron los datos de las entrevistas y las discusiones por grupos en la encuesta? Gracias de antemano.
      • Margrieth dejó claro que la elección entre métodos cuantitativos, cualitativos o ambos viene determinada —en principio— por nuestra trayectoria profesional. Los evaluadores que han trabajado anteriormente en el mundo de la economía, la ingeniería u otras disciplinas similares suelen utilizar métodos cuantitativos. Por su parte, aquellos evaluadores que han trabajado en disciplinas artísticas o humanidades suelen usar métodos cualitativos. No puedo estar más de acuerdo. ¿Y los evaluadores con una formación académica científica cuya experiencia profesional les ha reorientado al empleo de métodos cualitativos (y viceversa)? Mi caso es un ejemplo de esta dicotomía, pero no estoy cerrado a ningún enfoque.  
      • Olivier: Tu contribución describe muy bien un diseño secuencial exploratorio. ¿Qué ocurre cuando una evaluación comienza con métodos cuantitativos y, una vez obtenidos los resultados, hay hallazgos contradictorios que necesitamos comprender y explicar? ¿Conocen algún caso de una evaluación en la que los métodos cuantitativos hayan PRECEDIDO a los cualitativos (es decir, un diseño secuencial explicativo)? ¡Muy atinado, Olivier! A diferencia de las ciencias naturales, no tenemos un laboratorio para seres sociales.

      ¡Espero que todos sigamos aprendiendo con esta discusión!

       

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      Estimados evaluadores, estimados colegas:

      ¡Muchas gracias a quienes han participado activamente en esta discusión —respondiendo a mis preguntas y comentarios complementarios— y han leído las contribuciones con el fin de aprender!

      La discusión ha sido enriquecedora y esclarecedora. Ha puesto de relieve los motivos principales para utilizar los métodos mixtos, así como algunos desafíos y deficiencias persistentes en la aplicación práctica de esta metodología.

      En resumidas cuentas: los métodos mixtos han llegado para quedarse. Sin embargo, existen herramientas innovadoras y revolucionarias —como los macrodatos, la inteligencia artificial y el aprendizaje automático— que han empezado a determinar la forma de recopilar, procesar y mostrar la información. Por otro lado, hay carencias metodológicas que subsanar. Como evaluadores, debemos velar por que los métodos mixtos no se limiten a una mención en los términos de referencia y un seguimiento superficial, sino que se utilicen de forma adecuada en la teoría y en la práctica.

      Próximamente compartiré un resumen de la discusión con algunas reflexiones metodológicas personales. ¡Estén atentos!

      JP

  • Reporting evaluation results or communicating evaluation results?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      ¡Gran tema, grandes debates!

      La evaluación y la comunicación son dos caras de la misma moneda, que intentan alcanzar objetivos similares (difundir las pruebas de evaluación para su uso en la toma de decisiones). Por cierto, ambas requieren competencias diferentes. No es para tanto.

      Volviendo al tema. Supongamos que todos los evaluadores somos profesores. Preparamos lecciones, listos para enseñar, quiero decir facilitar el proceso de aprendizaje. ¿Nos cruzamos de brazos tras la preparación y finalización de la lección? En absoluto. Supongo que no soy el único que cree, con razón, que el profesor seguirá adelante incluso después de enseñar, facilitando un proceso de aprendizaje. Partiendo de la lección anterior, el profesor suele recapitular antes de empezar una nueva. Interesante, ¡parece que nuestras evaluaciones también deberían informar las evaluaciones posteriores!

      El escenario del profesor también se aplica aquí, al menos en mi escuela de práctica de la evaluación. La esencia de la evaluación no consiste en elaborar informes o comunicar resultados. ¿Para qué? ¿Para quién y por qué se comunican los resultados de la evaluación? No para archivar, no para marcar la casilla. Sería descorazonador que nosotros, como profesores, después de invertir tiempo y recursos, preparáramos apuntes y orientaciones de clase y nuestros alumnos nunca los utilizaran. ¿Estaría alguien motivado para preparar apuntes y orientaciones para la siguiente lección? Muy pocos lo harían. Por muy apasionados y profesionales que seamos (o debamos ser) como evaluadores, somos agentes de cambio. De acuerdo con nuestras normas éticas y profesionales, nunca debemos darnos por satisfechos con informar de los resultados de la evaluación sin hacer un seguimiento para garantizar que las pruebas de los mismos se utilicen tanto como sea posible. Algunos principios de evaluación incluyen la utilidad de las evaluaciones.

      A las buenas preguntas que ha planteado, mis dos centavos:

      • Cada evaluación tiene (o debería tener) un plan de difusión y comunicación (o un plan de campaña para el uso de las pruebas de evaluación). Esto debe formar parte del presupuesto general de la evaluación. Los evaluadores deben seguir abogando por la difusión de los resultados de la evaluación en diferentes formatos y para diferentes tipos de audiencia, incluso cuando las evaluaciones hayan finalizado, incluso hace uno o más años.
      • Si hay personas que entienden mejor los resultados de la evaluación, el evaluador es una de ellas. Junto con otras partes interesadas que hayan participado en el proceso de evaluación, debe formar parte de los procesos de comunicación para evitar que los comunicadores externos malinterpreten los mensajes y el significado. Los comunicadores (algunas organizaciones tienen funciones específicas, como especialistas en comunicación para el desarrollo) son expertos que conocen los trucos del oficio. Nuestros aliados.

      Feliz lectura de las contribuciones de los colegas.

      Jean Providence

  • Monitoring and evaluation: is this the perfect combination to meet the needs of decision-makers?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      Estimado Elias y colegas,

      Gracias por compartir y debatir este importante tema. Cuanto más discutamos, más entenderemos cómo abordar las cuestiones que afectan a la práctica de la evaluación. Para empezar, el seguimiento y la evaluación, ¿son diferentes o son dos caras de la misma moneda? Una combinación perfecta en teoría, pero que en la práctica no coincide en gran medida, como planteó Elias.

      Con una anécdota y algunas opiniones que invitan a la reflexión, o a la controversia (¡espero que me toque más de una!), analizaré el Seguimiento y la Evaluación, cada uno por su lado, y terminaré con mi reflexión personal. En primer lugar, animo a los colegas a que sigan leyendo Ten Steps to a Results-Based Monitoring and Evaluation System, de Kusek y Rist. Aunque se publicó en 2004, sigue arrojando luz sobre las interrelaciones del seguimiento y la evaluación. Hay que tener en cuenta que no estoy de acuerdo con algunas proposiciones o definiciones de ese libro de texto. Pero las citaré:

      "La evaluación es un complemento del seguimiento en el sentido de que cuando un sistema de seguimiento envía señales de que los esfuerzos se están desviando (por ejemplo, que la población objetivo no está haciendo uso de los servicios, que los costes se están acelerando, que hay una resistencia real a la adopción de una innovación, etc.), entonces una buena información evaluativa puede ayudar a clarificar las realidades y tendencias observadas con el sistema de seguimiento". p. 13

      El seguimiento como fruto fácil. Anécdota. Un responsable de la toma de decisiones me decía que prefería los métodos rápidos y sucios a los métodos de evaluación rigurosos y largos. ¿Por qué? No es de extrañar que sea fácil y rápido hacerse una idea de las actividades realizadas y de los resultados obtenidos. Por cierto, el seguimiento se ocupa de todo lo que está bajo el control de los ejecutores (insumos, actividades y resultados). Una discusión para otro día. En el caso del seguimiento, normalmente se trata de comprobar la base de datos (hoy en día, miramos los cuadros de mando visualizados) y poder decir en qué punto se encuentra un proyecto en su ejecución, el progreso hacia los objetivos (¿producto/resultado?).

      La evaluación es el fruto más preciado: En un sentido tradicional, la evaluación trata de establecer si se ha producido un cambio y qué lo ha impulsado y cómo. Es el ámbito de la causalidad, la correlación, la asociación, etc. entre lo que se hace y lo que finalmente se consigue. La evaluación requiere mucho tiempo y sus resultados también. Pocos responsables tienen tiempo para esperar. En poco tiempo, su mandato llega a su fin, o hay una remodelación del gobierno. Algunos pueden dejar de estar en el cargo para cuando se conozcan los resultados de la evaluación. ¿Todavía nos preguntamos por qué los responsables de la toma de decisiones prefieren las pruebas de seguimiento?

      Según mi opinión y experiencia en materia de seguimiento y evaluación, tal y como se explica en Kusek y Risk (2004), un seguimiento bien diseñado y realizado alimenta la evaluación, y los resultados de la evaluación muestran (cuando el proyecto sigue en marcha) lo que hay que vigilar de cerca. Un buen seguimiento recoge y proporciona, por ejemplo, datos de series temporales, útiles para la evaluación. La evaluación también informa al seguimiento. Por cierto, personalmente soy menos partidario de las evaluaciones de final de proyecto. Parece antitético para un profesional de la evaluación, ¿verdad? Porque las comunidades a las que va dirigido el proyecto no se benefician de esas evaluaciones finales. Por supuesto, cuando se trata de un proyecto piloto, puede ampliarse y llegar a los grupos objetivo iniciales con un proyecto mejorado, gracias a las lecciones extraídas de la evaluación. Créanme, yo realizo evaluaciones finales, pero son menos útiles que las evaluaciones de desarrollo, formativas, en tiempo real y rápidas. Un tema para otro día.

      Tanto el seguimiento como la evaluación constituyen un sistema único, complementario y que se nutre mutuamente. Es posible que a algunos colegas de las oficinas o departamentos de evaluación independientes no les guste la interrelación e interdependencia del seguimiento y la evaluación. Simplemente porque están etiquetados como "independientes". Esto me recuerda el otro debate sobre la independencia, la neutralidad y la imparcialidad en la evaluación. Oups no participé en esa discusión. Estoy de acuerdo en que la autoevaluación y la evaluación interna no deben ser desacreditadas, como argumentaba Elias en su blog. Los evaluadores internos entienden y conocen el contexto que a veces los evaluadores externos e independientes se esfuerzan por captar para dar sentido a los resultados de la evaluación. Aparquemos esto por ahora.

      El año pasado se organizó un foro en línea (enlace al proyecto de informe) que reunió a jóvenes de varios países del Sahel. A través de ese foro, se debatieron y compartieron los sueños, las aspiraciones, los retos, las oportunidades, etc. de los jóvenes. A través de la plataforma digital se recogió una enorme cantidad de datos. A partir de esas conversaciones de los jóvenes (una actividad que llegó a cientos de ellos), no solo se comprobó el cambio en la narrativa, sino también lo que impulsa/inhibe el cambio y las aspiraciones de los jóvenes. Una combinación perfecta de seguimiento (llegar a un número x de jóvenes) y evaluación (factores que impulsan o inhiben el cambio deseado). Cuando existen datos de esas conversaciones con los jóvenes, es menos útil realizar una evaluación para valorar los factores asociados al cambio en el Sahel. Sólo hay que analizar esos datos y, por supuesto, elaborar una guía analítica que ayude en ese proceso. El uso de datos de seguimiento es de gran ayuda para la evaluación. Hay pruebas de que los responsables de la toma de decisiones de alto nivel apoyan mucho las percepciones del análisis realizado sobre los debates de los jóvenes. Imagínese que hay que esperar a que llegue el momento de hacer una evaluación adecuada. Volviendo al tema.

      En general, los responsables de la toma de decisiones son partidarios de utilizar las pruebas de seguimiento, ya que están fácilmente disponibles. El seguimiento parece sencillo y fácil de usar. Mientras la evaluación se considere una torre de marfil, una especie de ciencia espacial, será menos útil para los responsables de la toma de decisiones. La propia jerga de la evaluación, ¿no es problemática, un obstáculo para el uso de las pruebas evaluativas? Mis suposiciones: A los responsables de la toma de decisiones les gusta utilizar pruebas de seguimiento, ya que toman decisiones como si fueran bomberos, sin importarles los métodos rápidos y sucios, pero prácticos. Utilizan menos pruebas evaluativas porque no tienen tiempo para esperar.

      Un llamamiento a las acciones innovadoras: evaluaciones rápidas pero rigurosas en tiempo real, si realmente queremos que los responsables de la toma de decisiones utilicen las pruebas evaluativas.

      Gracias a todos. Sigamos aprendiendo y encontrando las mejores formas de llevar las pruebas de SyE donde más se necesitan: la toma de decisiones a todos los niveles.

      Jean Providence Nzabonimpa

       

  • Reporting and supporting evaluation use and influence

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      Estimado Gordon, estimados colegas,

      Antes de compartir mi opinión, consideremos una experiencia: mi colaboración con un equipo de 4 evaluadores en la evaluación de un proyecto de cinco años. Dos miembros de este equipo diseñaron la evaluación y recopilaron los datos. Trabajamos conjuntamente en la fase de análisis y la elaboración posterior de un informe extenso de 180 páginas. Nunca he conocido a nadie que sea partidario de los informes largos. A mí tampoco me apasionan. A decir verdad, muy poca gente dedicaría tiempo a leer informes de evaluación muy extensos. Si es poco probable que un evaluador lea un informe que ha elaborado (una vez finalizado), ¿quién más lo va a leer? Pasemos a las recomendaciones. En la fase de elaboración del informe destacamos los cambios generados (o la ausencia de éstos), señalamos los resultados contra natura y pusimos de relieve conocimientos sobre los indicadores o las variables de interés. Dejamos que el equipo de ejecución del proyecto redactara las recomendaciones aplicables. Incorporaron a un encargado de formular políticas para colaborar en esta tarea. Como pueden ver, evitamos —intencionadamente— la práctica habitual, en virtud de la cual los evaluadores formulan siempre las recomendaciones.

      Nuestra función consistía en asegurar que todas las conclusiones o resultados importantes se tradujeran en recomendaciones aplicables. Ayudamos al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. ¿Cómo extenderían un proyecto que ha dado lugar a un determinado cambio (con resultados positivos, no negativos)? ¿Qué haría de forma diferente para lograr el cambio deseado en este tipo de indicadores (áreas de mejora)? ¿Qué haría para obtener los resultados deseados en entornos diferentes? Este tipo de preguntas ayudaron a formular las recomendaciones aplicables.

      Comprobamos el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. Al final, el equipo del proyecto hizo suyas las recomendaciones y el equipo de evaluación de los resultados empíricos. Los resultados de la evaluación fundamentaron cada recomendación. Por los tanto, elaboramos el informe de evaluación de forma conjunta. Se trata de una práctica que hemos replicado en otras evaluaciones y que ha demostrado ser eficaz. Con la participación de las principales partes interesadas, presentar los resultados de la evaluación a los responsables de la toma de decisiones es relativamente sencillo.

      En mi experiencia previa como evaluador, estas recomendaciones se incorporaban a un rastreador de acciones (en Excel o cualquier otro formato), a fin de realizar un seguimiento de su implementación a lo largo del tiempo. Ésta es la práctica que siguen aquellas instituciones partidarias de la rendición de cuentas y el aprendizaje, o que exigen responsabilidades a su personal y sus proyectos por no ajustarse a estos estándares. Para cada recomendación, hay un cronograma, una persona o departamento responsable, un estado (implementada, no implementada o en curso) y un camino a seguir (parte del aprendizaje continuo). Tengan en cuenta que una de las recomendaciones aboga por compartir y utilizar los resultados de las evaluaciones. Esto requiere un trabajo adicional una vez finalizado el informe de evaluación. Asimismo, simplifiquen el informe de evaluación y utilicen un lenguaje y un formato sencillos y accesibles. Una buena alternativa consiste en preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta. Esta práctica es bastante útil por varias razones:

      1. Los evaluadores no son los únicos actores: hay otras partes interesadas que dominan mejor las realidades programáticas.
      2. El equipo de ejecución tiene margen para alinear sus puntos de vista y sus conocimientos con los resultados de la evaluación.
      3. Completar una evaluación no es —ni debería ser— uno de sus objetivos. Es por ello que las instituciones deben realizar un seguimiento de la implementación de las recomendaciones para poner en marcha acciones correctivas, tomar decisiones, formular políticas, utilizar los datos obtenidos en nuevas intervenciones, etc.

      Institucionalizar el uso de las evidencias extraídas de las evaluaciones lleva tiempo. Los cambios estructurales —de alto nivel— no se producen de la noche a la mañana, ni surgen de la nada. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Si sus responsables superiores apoyan sin fisuras el uso de las evidencias, no desaprovechen la oportunidad. De lo contrario, no basen su labor en hipótesis: utilicen los datos y la cultura de su organización. Construyan pequeñas alianzas y relaciones para utilizar las evidencias, e incorporen gradualmente a las partes interesadas más "influyentes". Pongan de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.

      Mi opinión. Nada más.

      Ahora es su turno. Pueden compartir sus aportaciones y comentarios a esta importante discusión.

      Jean Providence

  • Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      Estimado John,

      ¡Feliz 2021 para usted y todos nuestros colegas en la plataforma!

      Gracias por plantear una pregunta crítica y muy intrigante que vale la pena considerar como evaluadores. Estoy seguro de que no puedo hacer justicia a los puntos importantes que han planteado, pero al menos puedo compartir mis dos céntimos. Espero que los colegas también sigan viniendo para una discusión más rica.

      Es cierto que asumimos que entendemos los problemas que afectan a las comunidades locales. Por lo tanto, diseñamos intervenciones para satisfacer sus necesidades. Estoy completamente de acuerdo con usted. Hay factores importantes que se desconocen en la etapa de diseño de las intervenciones de desarrollo. Cuando se sabe poco empírica y teóricamente sobre una comunidad, poco puede hacerse y lograrse. Idealmente, necesitamos conocer las incógnitas para diseñar intervenciones adecuadas y servir mejor a las comunidades objetivo. Pero es lamentable que no funcione siempre así, no es lineal, más aún en la era de las pandemias. Nos basamos en lo que sabemos para hacer algo. En ese proceso, aprendemos algo nuevo (es decir, evidencia) que es útil para redefinir nuestro diseño y aplicación. La complejidad de nuestros tiempos, empeorada por COVID-19, ha empujado a todos los evaluadores a replantearse sus diseños y métodos de evaluación. Sería un eufemismo señalar que todos conocemos las implicaciones del distanciamiento social (yo personalmente prefiero el físico). Imagine una intervención diseñada a través de la cadena de resultados cara a cara como su suposición subyacente para lograr el cambio deseado! Sin repensar su Teoría del Cambio (TdC), la lógica subyacente a tal intervención podría no tener éxito. Este escenario puede aplicarse y probar correctamente que necesitamos una evolución temporal de la Teoría del Cambio. En mi opinión y práctica profesional, mi respuesta es afirmativa. Necesitamos una TdC que evolucione en el tiempo y que esté basada en la evidencia. Usamos suposiciones porque no tenemos pruebas, ¿verdad?

      Mantener la ToC intacta a lo largo de la vida de un proyecto supone que la mayoría de sus supuestos subyacentes y la cadena lógica se conocen de antemano y permanecen constantes. Esto es raramente el caso. Creo que el cambio de la TdC no perjudica sino que maximiza lo que aprendemos para hacerlo mejor y beneficiar a las comunidades. Consideremos este escenario: supongamos que X resultados conducen a Y resultados. Más adelante se descubre que los factores A y B también contribuyen, y de manera más significativa, a Y que sus supuestos iniciales sobre X resultados. No tener en cuenta los factores A y B socavaría la lógica de la intervención; socava nuestra capacidad de medir los resultados. No he utilizado la cartografía de los resultados en la práctica, pero el tema que se examina es un gran recordatorio de su utilidad. Pocos profesionales del desarrollo creerían en vías de "cambio" defectuosas. En cambio, supongo que muchos creerían la historia del fracaso del ToC (por la forma en que odio usar la palabra fracaso). La falta de apetito de los profesionales del desarrollo para acomodar otros factores en la TdC que evoluciona con el tiempo, cuando hay pruebas disponibles, es posiblemente la causa de tal fracaso. Al final, la evaluación puede arrojar resultados positivos y/o negativos que son contrarios a la intuición, o que no pueden vincularse a ningún componente de la intervención. Suena extraño, supongo, simplemente porque hay pruebas que surgieron y no se incorporaron a la lógica de la intervención.

      • Con lo anterior, un proyecto localizado sería un proyecto con todos los colores locales. Con diferentes tamaños y formas, todos entrando a jugar en el lugar que les corresponde. Esto no significa ser demasiado ambicioso (demasiados colores pueden desdibujar la visión, es una broma pero no importa, ¡yo uso gafas!). Un proyecto que descubre nuevas evidencias debe incorporarlas en el viaje de aprendizaje. Un proyecto de este tipo tiene más probabilidades de lograr los resultados deseados. En vista de la evolución del contexto en el tiempo, un proyecto con una TdC estática es más probable que se vuelva irrelevante con el tiempo.
      • En mi opinión, una TdC debe ser dinámica o flexible en contextos complejos y en evolución temporal. ¿Existe algún contexto de desarrollo que pueda ser totalmente estático durante un tiempo? Supongo que no. Esto me recuerda las teorías de sistemas y las teorías de complejidad sin las cuales caeríamos fácilmente en la trampa de la linealidad. En mi opinión, no hay ningún perjuicio en empezar con suposiciones, pero cuando surjan pruebas, deberíamos ser capaces de incorporar nuevas pruebas en la teoría de la aplicación y la teoría de los programas que, si se combinan, pueden constituir la TdC completa para las intervenciones de desarrollo. Ya no se miran los proyectos en silos (¡supongo que hemos visto la coherencia como un nuevo criterio de evaluación del CAD de la OCDE!). En mi opinión, es necesario comprender el cuadro completo (es decir, conocimientos actuales + futuros) para beneficiar a la parte (es decir, sólo los conocimientos actuales). Pero la comprensión de la parte individual es menos probable que beneficie al conjunto.
      • Los desafíos con la evolución de la TdC están relacionados con las evaluaciones de impacto, en su mayoría ensayos de control aleatorios. Con la evolución de la TdC, los componentes de los ensayos de control aleatorios o los brazos de estudio se volverán borrosos y la contaminación incontrolable. En la jerga estadística, la varianza  inexplicable será mayor de lo necesario. Mientras que hay laboratorios para las ciencias naturales y físicas, creo que hay pocos, si es que hay alguno, laboratorios confiables de ciencias sociales y del comportamiento. El beneficio de saber cómo navegar por las TdC complejas es que uno puede aprender las lecciones apropiadas y generar evidencia menos cuestionable sobre el impacto de los proyectos de desarrollo.

      Supongo que soy uno de los interesados en comprender la complejidad y sus ramificaciones en las TdC y la evaluación del desarrollo. Estoy ansioso por aprender cómo Big Data puede y va a arrojar luz sobre el usualmente complejo panorama del desarrollo, rompiendo los silos de linealidad. Como cada vez más necesitamos una mezcla de métodos para entender y medir el impacto o el cambio resultante de las intervenciones de desarrollo, lo mismo se aplica a las TdC. Lineal, la TdC puede eventualmente traicionar el contexto en el que una intervención tiene lugar. Multilineal o curvilínea y en evolución temporal, es más probable que la ToC represente el panorama real pero cambiante de las comunidades locales.

      Quisiera terminar con una cita:

      "Los encargados de la formulación de políticas del siglo XXI en el Reino Unido se enfrentan a una enorme variedad de desafíos: una sociedad que envejece, las promesas y amenazas para el empleo y la creación de riqueza derivadas de la inteligencia artificial, la obesidad y la salud pública, el cambio climático y la necesidad de mantener nuestro entorno natural, y muchos más. Lo que tienen en común este tipo de desafíos de política [e intervención de desarrollo] es la complejidad". Fuente: Libro Magenta 2020

      Todo ello se desarrolla en un contexto complejo que debe ser reconocido como tal y acomodado en nuestras intervenciones de desarrollo.

      Una vez más, gracias John y colegas por traer y discutir este importante tema.

      Manténganse bien y seguros.

      Jean Providence

  • Cohérence des interventions dans le secteur agricole

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      Estimado OUEDRAOGO y colegas,

      Me gusta mucho el tema que se está discutiendo. Consideremos un escenario. Imagina que la mano izquierda está en conflicto con la derecha. O, una mano está duplicando lo que la otra mano está haciendo. Resultado: todo el cuerpo sufriría. Si esto sucediera en las intervenciones de desarrollo, y de hecho está sucediendo desafortunadamente, es contraproducente y autodestructivo.

      Gracias Serdar por compartir su reflexión que, cuando se ha seguido, ha demostrado ser eficaz para abordar los duplicados del desarrollo, el desperdicio de recursos y los efectos negativos en la vida y los medios de subsistencia de las comunidades.

      Me gustaría compartir mis dos centavos:

      1.         Crear y trabajar en grupos de trabajo técnicos o temáticos para examinar y apoyarse mutuamente. Esto me ha parecido eficaz. Por ejemplo, aliento a los asociados para el desarrollo a que planifiquen y realicen una evaluación de múltiples interesados y proyectos en una comunidad en lugar de que cada uno lo haga por su cuenta. Cuando se hace en silos, esto requiere más tiempo y recursos adicionales de todos los interesados, incluidos los miembros de la comunidad. Cuando se hace por múltiples interesados, se ahorran recursos para ambos. Añade credibilidad y sentido de propiedad y pertenencia entre todos los actores. Se hace más fácil abogar por el uso de resultados de evaluación generados conjuntamente. Informa la programación coordinada y la mejora de los resultados de desarrollo. Se trata de la responsabilidad de sensibilizar no sólo a los agentes del desarrollo sino también a las comunidades. Toda persona que participe en la mala alineación y, por consiguiente, en el uso indebido de recursos limitados debe rendir cuentas.

      2.         Intercambiar y compartir plataformas para el aprendizaje y la difusión de resultados/pruebas (una ligera ampliación del punto anterior): En esta era centrada en los medios de comunicación, ningún actor del desarrollo desearía quedarse atrás. Cada uno quiere estar en la mesa alta para mostrar lo que está haciendo (esto me parece natural y aceptable cuando se hace con integridad). Al ser invitado a un foro de intercambio por el partner X, el partner Y puede ser animado a hacer lo mismo en el futuro. Algunos agentes del desarrollo piensan erróneamente que al retener la información para sí mismos, tendrán una ventaja competitiva sobre los demás. Hay muchas pruebas de que las organizaciones de desarrollo que son abiertas y comparten lecciones se benefician más, y con el tiempo se convierten en la poderosa fuente de pruebas sobre lo que funciona o sobre cómo corregir lo que no funciona. De este modo, atraen oportunidades de financiación y asociaciones.

      3.         A título personal, y posiblemente en el plano político, he visto que estas intervenciones de desarrollo conflictivas y duplicadas reflejan de alguna manera la falta o la limitación de liderazgo para el desarrollo sostenible. La buena gobernanza puede marcar la diferencia. Es sabido que la mayoría de las intervenciones de desarrollo (si no todas) están interconectadas, son interdependientes y se enriquecen mutuamente. Los colegas lo han señalado claramente. Una muy buena lección es esta pandemia de covid 19. Ha resultado difícil para las intervenciones sociales, educativas, económicas, agrícolas, etc., esforzarse por obtener resultados cuando la salud está amenazada. Supongo que ningún sector o actor del desarrollo puede navegar solo por el actual panorama del desarrollo y esperar resultados sostenibles. Lo mismo se aplica dentro del mismo sector.

      Además de los foros y directrices de desarrollo mencionados por los colegas, creo que la participación de la comunidad en el diseño y la supervisión de los proyectos mediante prácticas de rendición de cuentas puede contribuir a abordar finalmente este grave desafío.

      Manténgase a salvo y bien en estos tiempos locos!

      Con mis mejores deseos para todos,

      Jean

      The African Capacity Building Foundation

  • How do we move forward on Evaluation Systems in the Agriculture Sector?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Sudáfrica

      Hola Judith,

      Gracias por compartir este tema para obtener reflexiones e ideas de otros países.

      Aquí está mi contribución (siendo ruandés pero practicando M&E en otro lugar):

      Suelo utilizar el salpicadero del coche para ilustrar las interrelaciones del Seguimiento y la Evaluación. Un sistema de seguimiento funcional alimenta el sistema de evaluación. Un sistema de evaluación funcional a su vez alimenta los procesos de seguimiento.

      Como panel de control para el seguimiento de los progresos y las condiciones de un automóvil, un salpicaderode funcional muestra las condiciones del automóvil. El conductor necesita seguir o comprobar los progresos para llegar a su destino. Imagina conducir un coche sin tablero de mandos! Extraño, arriesgado, propenso a los accidentes, etc.

      El conductor utiliza el mismo salpicadero para evaluar y decidir cuándo ver al mecánico, parar en una gasolinera para repostar o para aumentar la presión de los neumáticos. A veces, el conductor (es decir, el director de proyecto) puede por sí mismo tomar medidas correctivas a partir de su experiencia y conocimiento del sistema del automóvil (es decir, el proyecto). Esto equivale a utilizar los datos de seguimiento o la evaluación del proceso para solucionar los problemas. Utilizando los resultados del seguimiento, el conductor (o el director de proyecto) puede aprender una lección aquí y allá para mantener el automóvil en marcha (o el proyecto) en el camino correcto.

      Pero al final, hay cuestiones técnicas que escapan al control del conductor (o del director de proyecto/programa). En tal caso, el conductor necesita reparar el automóvil o buscar conocimientos técnicos para una orientación informada. Cuando está fuera del control del conductor, estamos hablando de cambio (nivel de resultado o impacto). En este nivel, necesitamos ojos más frescos para añadir una nueva perspectiva a la forma en que hemos estado viendo las condiciones de nuestro coche. Necesitamos que la evaluación sea más segura, más objetiva, más cercana al resultado deseado.

      El sistema de seguimiento se trata de frutas de baja altura, por eso la mayoría de las organizaciones y países por igual encuentran fácil de establecerlo. La evaluación es técnicamente exigente y es el objetivo final de una vigilancia adecuada. Vigilamos para asegurarnos de que logramos los resultados del proceso (bajo nuestro control). Evaluamos para probar o refutar que hemos alcanzado los resultados esperados en cuanto al nivel de cambio (fuera de nuestro control). El seguimiento se limita a "indicadores de vanidad" (un término de un colega en los medios sociales) como números entrenados, kg distribuidos, etc. Sin el sistema de evaluación, lo que funciona o no funciona no se identificaría lógica y objetivamente con las pruebas. El verdadero cambio no se vería recompensado por la ampliación o la reproducción de proyectos exitosos, etc. Sin el sistema de evaluación, fracasamos o tenemos éxito sin nuestro conocimiento y no podemos estar orgullosos de ello.

      Tener un sistema de seguimiento es como tener capacidad institucional o cumplir con los requisitos institucionales para poder informar a xyz. Pero tener un sistema de evaluación es como tener la capacidad humana, la experiencia necesaria para navegar por el complejo paisaje del desarrollo de modo que se mantenga lo que funciona. ¿Qué significa para el S&E en la práctica? Déjenme guardar esto para otro día.

      Espero con interés más reflexiones de otros países.

      Atentamente,

      Jean Providence