Anna Maria Augustyn

Anna Maria Augustyn

International consultant
Polonia

Experienced international consultant in evaluation, agriculture, environment, research, technology and innovation. Throughout 15+ years of my career I've been collaborating with various clients on the efficient acquisition and delivery of financial instruments targeting investments in food, agriculture and environment sectors around the world. These included various international agencies (such as the EU, IFAD, FAO), non-governmental organizations and private sector companies. As an evaluator, I gained experience in working with rural communities and decision makers at all administrative levels. Addressing development challenges through building capacities of stakeholders, MEL and participatory approaches are at heart of my practice. I like to seek out of the box solutions for complex problems and connecting the dots. 

My contributions

  • Artificial intelligence in the context of evaluation

    Discussion
    • Estimada Muriel, estimados colegas,

      Muchas gracias por las preguntas y las contribuciones a esta discusión. Me gustaría compartir algunas experiencias de mi labor con una gran base de datos de miles de proyectos. Para extraer una cartera de proyectos para una evaluación de impacto se utilizaron algoritmos de aprendizaje automático, una rama de la inteligencia artificial (IA). 

      Se adoptó un enfoque doble: por un lado, los expertos desarrollaron un algoritmo de aprendizaje automático y, por otro, se realizó una búsqueda semimanual. Con el primer enfoque, la cartera incluía menos proyectos de lo esperado, pero éstos eran muy precisos y estaban relacionados con el tema de interés. Sin embargo, la cartera era demasiado pequeña para obtener estadísticas sólidas. Con el segundo enfoque, la cartera tenía muchos más proyectos, pero hubo que quitar una gran parte de ellos, ya que guardaban poca relación con el tema en cuestión. Hubo que recurrir a un experto para definir las palabras clave y perfeccionar la cartera. Y fue necesario un experto en programación para desarrollar una aplicación personalizada. Las actividades posteriores fueron muy fructíferas gracias al procesamiento basado en el lenguaje y las evidencias disponibles en Internet (extracción de información de sitios web, incluidas redes sociales).

      La metodología empleada planteó los siguientes desafíos:

      • Sesgo lingüístico. El enfoque es más eficaz cuando el inglés es el idioma predominante (en los informes de los proyectos, los medios de comunicación y otros canales) y éste se utiliza de forma activa en el día a día. La complejidad semántica —que puede diferir mucho de un idioma a otro— requiere algoritmos diferentes, con niveles distintos de sofisticación. 
      • Jerga del proyecto. Puede variar mucho de un proyecto a otro y algunas palabras de moda se pueden utilizar indistintamente. Además, los programas de los distintos donantes pueden estar redactados de forma diferente. Esto se debe de tener en cuenta a la hora de diseñar los algoritmos. Un proyecto se puede clasificar como climático, pero puede estar mucho más centrado en la ingeniería civil, el agua, los residuos, etc. Esto influye también en el funcionamiento de los algoritmos con la semántica relacionada.
      • Disponibilidad de datos en Internet. Es más probable que haya más información sobre proyectos más recientes que sobre otros más antiguos. También puede haber una cantidad desproporcionada de datos, dependiendo del contenido generado y compartido por cada proyecto. 
      • Fenómeno de la caja negra. En algún momento, los evaluadores pueden perder el control de los algoritmos. Esto puede plantear dificultades en materia de seguridad y gobernanza. 
      • Arquitectura de la base de datos. Se debe tener en cuenta durante la fase de elaboración de conjuntos y bases de datos para la presentación de informes del proyecto. La estructura y el contenido de una base de datos —incluidos posibles errores como erratas— tienen una importancia fundamental para la eficacia del trabajo con IA. 
      • Costes. Dado que el programa de código abierto entraña problemas de seguridad, invertir en el desarrollo de una aplicación personalizada y el apoyo de expertos en tecnologías de la información puede ser útil.

      Como conclusión, creo que la IA puede ser muy útil cuando se dispone de grandes conjuntos de datos y carteras de proyectos para el análisis. Y cuando hay abundante información en Internet. Aunque la IA puede ser de gran ayuda, requiere conocimientos especializados y buenos sistemas de garantía de la calidad.

      Me preocupan la privacidad y la seguridad. Si armonizar el enfoque en la cooperación internacional —en especial con proyectos de distintos donantes y diferentes sistemas jurídicos a nivel internacional y nacional, o incluso institucional— es ya de por sí difícil, alinear posturas en este ámbito se me antoja muy complicado. ¡Pero aun así debemos intentarlo!

      Un cordial saludo,

      Anna Maria Augustyn

       

  • Por lo general, una teoría del cambio identifica los vínculos causales entre una cadena de actividades, resultados, logros y efectos, basados en sus hipótesis subyacentes. Este tipo de marco se suele elaborar en la fase de diseño de una intervención y se sigue durante su implementación.

    A medida que los proyectos y los programas se ejecutan con toda su complejidad, las teorías del cambio se deben examinar de forma periódica. Esto puede ser especialmente importante cuando las intervenciones se enfrentan a desafíos inesperados, como el estallido de la pandemia de la enfermedad por coronavirus (COVID-19), los conflictos civiles, las fluctuaciones

    • Estimada comunidad de EvalForward,

      Muchas gracias a los que han contribuido a la discusión hasta ahora: Tom Archibald, Brian Belcher, Harriet Maria Matsaer, Hayat Askar, Moussa Coulibaly, Silva Ferretti, Seda Kojoyan, Nelson Godfried Agyemang, Nasser Samih Quadous y Alan Ferguson.

      Me alegra ver muchas experiencias y puntos de vista interesantes sobre el tema de la revisión de la Teoría del Cambio. Gracias también por los útiles recursos documentales, vídeos y enlaces.

      Del debate surgieron los siguientes puntos principales

      1.    Existe un entendimiento compartido de que la revisión de la Teoría del Cambio es un ejercicio beneficioso para los proyectos, ya que ayuda a captar mejor los supuestos subyacentes y a identificar la razón de ser del éxito o del fracaso de las intervenciones específicas. Las organizaciones utilizan esas revisiones como una herramienta de aprendizaje que puede ayudar a mejorar la ejecución del proyecto o a diseñar los proyectos de seguimiento. 

      2.    Como los proyectos y programas funcionan dentro de sistemas complejos, lo mismo ocurre con la Teoría del Cambio. Existe un reto visible en la adaptación del enfoque lineal para medir el progreso con el pensamiento sistémico que capta mejor esta complejidad. En este contexto, las políticas de evaluación de los donantes suelen preferir la imagen más centrada y fragmentada de la ejecución del proyecto.

      3.    Las revisiones de la Teoría del Cambio suelen realizarse en el marco de la evaluación de los proyectos/programas; sin embargo, existen algunos problemas prácticos a la hora de aplicar los cambios sugeridos. Dado que el marco lógico u otros marcos de apoyo a la ejecución del proyecto son bastante fijos al inicio del mismo, es difícil introducir cambios en su curso. 

      En cuanto a mi último punto, tengo que considerar otra cuestión: 

      ¿Conoce algún caso de evaluación en el que la revisión de la Teoría del Cambio haya dado lugar a la modificación de los resultados previstos o de los indicadores de impacto de un proyecto? ¿Cuán difícil fue introducir esos cambios?

      Agradeceré sus comentarios y cualquier otro enlace o documento.

      Un saludo,
      Anna

       

  • Evaluating agroecology: what is your experience?

    Discussion
    • Estimada Seda y Colegas,

      Gracias por este interesante tema de debate. La herramienta TAPE, desarrollada por la FAO, parece muy prometedora y sería interesante ver si puede integrarse en las evaluaciones de los proyectos o programas destinados a las transiciones agroecológicas.

      La herramienta está muy arraigada en el pensamiento sistémico y, por ello, ofrece una alternativa a los enfoques de evaluación convencionales. Tal vez sería útil investigar cómo podría integrarse con los marcos populares que utilizan los enfoques del CAD de la OCDE, la teoría del cambio, la lógica de la intervención y el marco lógico. En mi opinión, lo mejor sería utilizar los indicadores propuestos ya en la fase de diseño del proyecto.

      Por otra parte, los indicadores propuestos pueden ser posiblemente útiles para la facilitación en las comunidades rurales. Por ejemplo, cuando trabajé con los beneficiarios del proyecto en la elaboración de indicadores de forma participativa, a veces eché en falta una buena plantilla de fondo con indicadores para inspirarlos. La herramienta TAPE podría ser un buen recurso para ello.

      Según mi experiencia, los agricultores y las partes interesadas del medio rural a menudo no ven una diferencia clara entre la agroecología y otros enfoques de tipo sistémico, como por ejemplo la agricultura de conservación o de carbono. La herramienta TAPE podría utilizarse para articular mejor las similitudes y diferencias.

      Un saludo,

      Anna Maria Augustyn

  • El SEA proporciona un marco y unas herramientas útiles para acompañar la ejecución de intervenciones específicas, con vistas a mejorar la sostenibilidad agrícola.

    El sistema de SEA fomenta la evaluación y el aprendizaje continuos, permitiendo así la gestión adaptativa de proyectos transformadores. Requiere un esfuerzo sistemático para medir el progreso de la ejecución y potenciar al mismo tiempo el aprendizaje continuo y en tiempo real de todas las partes implicadas, ya sean agricultores y otros habitantes de zonas rurales, representantes de la sociedad civil, investigadores, responsables de las políticas o profesionales de la evaluación. Se basa en una variedad de

    • Estimado David y colegas,

      Muchas gracias por el interesante tema de debate. A continuación, me gustaría compartir algunas ideas de mi práctica como consultor e investigador de evaluación. He trabajado en una serie de encargos, desde el nivel local hasta el global, que incluían encuestas con agricultores y otras personas del medio rural en diversos contextos geográficos. Mi proyecto más reciente se ha centrado en las capacidades de las partes interesadas en la evaluación de proyectos multiactores dirigidos a la innovación agrícola (https://liaison2020.eu). Tengo una sólida formación en sociología y psicología, que también afecta a mis enfoques de las encuestas.

      Lograr un equilibrio entre la profundidad y la duración de las evaluaciones

      • Cómo se puede reducir la carga de trabajo de los pequeños productores durante los procesos de SyE?

      Esto suele depender del contexto. Por ejemplo, yo entrevisté a agricultores que estaban muy interesados en charlar conmigo, tanto sobre las preguntas de la encuesta como sobre temas no relacionados. Es importante reconocer sus necesidades y los problemas a los que se enfrentan, que a menudo pueden ser diferentes de lo que esperamos como evaluadores. Algunas personas son más, otras menos ocupadas, introvertidas o extrovertidas, y esto también puede afectar a su afán por implicarse en la tarea. Normalmente me esfuerzo por lograr un equilibrio entre sus necesidades y las mías. A veces, puede ser necesario comprometerse a omitir algunas preguntas de la encuesta. Esto podría reflejarse en una fase anterior, la del diseño de la evaluación, cuando hay que tomar decisiones sobre los indicadores directos y los indirectos.

      • ¿Cuáles son las mejores formas de incentivar a los agricultores para que participen en las encuestas (p. ej. incentivos no monetarios, participación en la elaboración de las encuestas y/o en la presentación de los resultados)?

      Puede ser útil preguntar cuáles son sus necesidades de evaluación: un problema que quieren resolver, en el que la evaluación y los datos podrían ayudar. Pueden ser muy diferentes de lo que pretenden los evaluadores, por lo que hay que intentar negociar y buscar una optimización en el diseño de la evaluación. Es útil involucrar a los agricultores en la definición del alcance de la evaluación, las preguntas pertinentes y los indicadores. Por ejemplo, una vez organicé un taller en el que se presentaba a los participantes una lista de posibles indicadores y podían calificar los que, en su opinión, eran más relevantes. El resultado fue bastante diferente de lo que los evaluadores habían previsto. Los incentivos no monetarios también son útiles. Recuerdo haber llevado una caja de buen chocolate de mi ciudad natal a los agricultores con los que me alojé durante el trabajo de la encuesta. Me ayudaron a identificar a otros participantes en la encuesta (bola de nieve) y al final me dieron también huevos de su granja para que me los llevara a casa. En cuanto a los incentivos monetarios, siempre temo el efecto Hawthorne, es decir, un mayor rendimiento de los encuestados bajo la presión de ser estudiados y recompensados.

      Hacer que los resultados de los procesos de SyE sean útiles para los agricultores.

      • Basándose en su experiencia, ¿cuáles podrían ser las formas más eficaces de comunicar los resultados de la evaluación de la sostenibilidad a los agricultores (p. ej. visitas sobre el terreno y aprendizaje entre homólogos, taller de información técnica)? ¿Qué tipo de material de comunicación (p. ej. notas, folletos, otros) es el más adecuado para apoyar eventos de intercambio de conocimientos?

      Definitivamente, el aprendizaje entre iguales es muy útil. De este modo, las personas pueden intercambiar entre sí utilizando el mismo lenguaje. Como evaluadores, a menudo tendemos a comunicarnos de una manera diferente a la de los agricultores, por lo que una facilitación experta suele ser una mejor opción que una forma descendente de presentar los resultados. Es bueno que la presentación se haga en forma de debate facilitado, excursión y alguna reunión informal. Además, pueden ser útiles diversos canales de difusión, como la radio, los vídeos o los folletos. Utilizar la comunicación visual es bastante eficaz, según mi experiencia. Recuerdo haber evaluado un proyecto en el que los agricultores tenían problemas para reconocer las enfermedades de la vid, que ya existían en su zona. No conocían sus nombres reales, pero las imágenes les ayudaban a reconocerlas.

      ¿Tiene experiencia en comparar resultados entre agricultores de forma participativa? ¿Qué método ha utilizado para ello? ¿Fue eficaz?

      Recuerdo un ejercicio de visión en el que se presentaron los resultados de la evaluación y se profundizó en ellos. Se trataba de una evaluación intermedia del proyecto, en la que participaron las personas que habían sido entrevistadas anteriormente (agricultores y otros miembros de la comunidad rural), y algunas aportaron sus historias. A partir de ahí, los facilitadores externos llevaron a cabo un ejercicio de visión, cuyo objetivo era ayudar a mejorar el proyecto y planificar otras actividades para el futuro de la comunidad. Se utilizaron varios métodos, como la caja de herramientas del facilitador con notas adhesivas, el rotafolio y otros.

      • ¿Cómo se pueden utilizar los resultados para la educación informal de los agricultores (p. ej. para sensibilizar y/o fomentar la capacidad sobre diferentes maneras de aumentar la sostenibilidad de las explotaciones agrícolas)?

      En principio, los resultados de la evaluación deben traducirse al lenguaje de los agricultores. Una vez traducidos, pueden utilizarse de muchas maneras a través de actividades de desarrollo de capacidades. Según mi experiencia, las formas de aprendizaje entre iguales y por medio de la experiencia son las más eficaces para maximizar la asimilación de los resultados de la evaluación en las explotaciones agrícolas. A veces, también hay que tener en cuenta el entorno más amplio de la evaluación, por ejemplo, los agricultores pueden carecer de algunos incentivos para cambiar sus prácticas, a pesar de una mayor concienciación sobre el tema. Es importante elegir los medios de comunicación adecuados, que también pueden ser diferentes en los distintos países y regiones, y dependen de la alfabetización de los agricultores y de los líderes de su comunidad.

      Con mis mejores deseos desde Budapest,

      Anna Maria Augustyn

       

      https://www.linkedin.com/in/aniaaugustyn/

      LIAISON2020 | Optimising interactive innovation