Anna Maria Augustyn

Anna Maria Augustyn

International consultant
Pologne

Experienced international consultant in evaluation, agriculture, environment, research, technology and innovation. Throughout 15+ years of my career I've been collaborating with various clients on the efficient acquisition and delivery of financial instruments targeting investments in food, agriculture and environment sectors around the world. These included various international agencies (such as the EU, IFAD, FAO), non-governmental organizations and private sector companies. As an evaluator, I gained experience in working with rural communities and decision makers at all administrative levels. Addressing development challenges through building capacities of stakeholders, MEL and participatory approaches are at heart of my practice. I like to seek out of the box solutions for complex problems and connecting the dots. 

My contributions

  • Artificial intelligence in the context of evaluation

    Discussion

    • Anna Maria Augustyn

      International consultant
      Pologne

      Chère Muriel, chers collègues,

      Merci pour vos questions et vos idées. Je souhaiterais partager quelques expériences vécues lors d'un travail sur une importante base de données (comprenant des milliers de projets) dont il fallait extraire un portefeuille pour une évaluation de l'impact. La méthodologie s'appuyait sur des algorithmes automatiques, qui constituent une branche de l'IA.

      L'approche était double: 1) Un algorithme d'apprentissage automatique a été développé par des experts; 2) une recherche semi-manuelle a été réalisée. Dans le premier cas, le portefeuille a été plus petit que prévu, mais les projets étaient très précis et concernaient ce qui nous intéressait. Néanmoins, le portefeuille était trop restreint pour en extraire des statistiques solides. Dans la seconde approche, le portefeuille était beaucoup plus grand mais beaucoup de projets ont dû être retirés de l'ensemble des données car ils correspondaient de manière marginale à ce qui nous intéressait. Il a été nécessaire de recourir à un expert pour définir les mots clés et affiner le portefeuille ainsi qu'à un expert en programmation pour développer une application personnalisée. Les activités ultérieures qui se sont basées sur un traitement linguistique des projets et des preuves disponibles sur internet (mise au rebut du web, y compris les médias) se sont montrées très fructueuses.

      Les difficultés méthodologiques suivantes ont été observées:

      • Un biais linguistique – l'approche se révèle plus efficace lorsque la langue dominante est l'anglais (dans les rapports du projet, les médias et les autres communications) et dans les pays qui l'utilisent activement dans la vie quotidienne. La complexité sémantique, qui peut différer considérablement d'une langue à l'autre, demande différents algorithmes, qui peuvent être plus ou moins sophistiqués selon les cas.
      • Le jargon du projet – il peut varier considérablement d'un projet à l'autre et certains mots-clés peuvent être utilisés de manière interchangeable. Les différents donateurs utilisent parfois également des formulations différentes dans leurs programmes, ce qui doit être pris en compte lors de la conception des algorithmes. Un projet peut être classé comme un projet relatif au climat bien qu'il soit beaucoup plus centré sur l'ingénierie de construction, l'eau, les déchets, etc., ce qui a également un impact sur la manière dont la machine travaillera en relation avec la sémantique.
      • La disponibilité des données sur internet – Il est probable qu'elle sera supérieure pour les projets les plus récents par rapport aux plus anciens. Elle peut aussi être disproportionnée, selon les contenus qui ont été produits et partagés par chaque projet.
      • Le phénomène de la boîte noire – À un moment donné, les évaluateurs peuvent perdre le contrôle des algorithmes. Cela peut poser des problèmes en termes de sécurité et de gouvernance. 
      • Architecture de la base de données – Des dispositions doivent déjà avoir été prises au moment du développement des ensembles de données et des bases de données aux fins de l'élaboration des rapports lors de la mise en œuvre du projet. La structure et le contenu de la base de données, y compris les erreurs comme les fautes de frappe ont une importance considérable sur l'efficacité du travail recourant à l'IA.
      • Coûts – les logiciels libres posant des problèmes en matière de sécurité, il pourrait être utile d'investir dans le développement d'une application personnalisée et d'obtenir le soutien d'experts en technologie de l'information.

      En conclusion, j'ai trouvé l'IA très utile là où des ensembles de données et des portefeuilles importants étaient disponibles pour l'analyse et où les données sur internet étaient abondantes. Elle peut apporter une aide considérable, mais elle nécessite également une bonne assurance de la qualité et une expertise spécialisée.

      Je suis préoccupée par les questions de confidentialité et de sécurité dans l'utilisation de l'IA. Il est déjà difficile d'harmoniser l'approche dans la coopération internationale, en particulier pour des projets de différents donateurs et dans différents systèmes juridiques aux niveaux international, national voire institutionnel. Mais nous devrions essayer!

      Bien à vous

      Anna Maria Augustyn

       

       

       

       

  • Complexity and simplicity in Theory of Change reviews

    Blog

    Une TdC établit en général les liens causaux entre une chaîne d'activités, les résultats, les réalisations et les impacts, étayés par leurs hypothèses sous-jacentes. Ce type de cadre est souvent élaboré lors de la phase de conception d'une intervention et suivi au cours de la mise en œuvre.

    Les projets et les programmes étant mis en œuvre dans la vie réelle, avec toute sa complexité, la TdC doit être revue régulièrement. Cela peut être particulièrement important lorsque les interventions sont confrontées à des défis inattendus, tels que l'apparition de l'épidémie de covid-19, une agitation sociale, des fluctuations de prix ou

    Posté par

  • Do you have examples on reviewing Theories of Change?

    Discussion

    • Anna Maria Augustyn

      International consultant
      Pologne

      Chère communauté EvalForward,

      Un grand merci aux personnes qui ont contribué à la discussion jusqu'à présent : Tom Archibald, Brian Belcher, Harriet Maria Matsaer, Hayat Askar, Moussa Coulibaly, Silva Ferretti, Seda Kojoyan, Nelson Godfried Agyemang, Nasser Samih Quadous et Alan Ferguson.

      Je suis heureuse de constater qu'il y a beaucoup d'expériences et de points de vue intéressants sur le sujet de la révision des Termes de référence. Je vous remercie également pour les ressources documentaires, les vidéos et les liens utiles.

      Les éléments principaux suivants sont ressortis de la discussion :

      1.    Il y a une compréhension commune que la révision des Termes de référence est un exercice bénéfique pour les projets car elle aide à mieux saisir les hypothèses sous-jacentes et à identifier les raisons du succès ou de l'échec des interventions spécifiques. Les organisations utilisent ces revues comme un outil d'apprentissage qui peut aider à améliorer la mise en œuvre du projet ou la conception des projets de suivi. 

      2.    Comme les projets et les programmes fonctionnent dans des systèmes complexes, il en va de même pour les termes de référence. Il est très difficile d'adapter l'approche linéaire de la mesure du progrès à la pensée systémique qui rend mieux compte de cette complexité. Dans ce contexte, les politiques d'évaluation des donateurs ont généralement tendance à préférer une image plus ciblée et fragmentée de la mise en œuvre du projet.

      3.    Les révisions des termes de référence sont souvent effectuées dans le cadre de l'évaluation des projets / programmes, mais la mise en œuvre des changements suggérés pose quelques problèmes pratiques. Comme le cadre logique ou d'autres cadres soutenant la mise en œuvre du projet sont plutôt fixés au début du projet, il est difficile d'introduire des changements au cours du projet. 

      En ce qui concerne mon dernier point, j'ai une autre question à vous proposer:  

      Connaissez-vous des cas d'évaluation où la révision des termes de référence a entraînée une modification des résultats attendus ou des indicateurs d'impact d'un projet ? Quelle a été la difficulté d'introduire ces changements ?

      Je serai heureuse de recevoir vos commentaires et tout autre lien ou document.

      Je vous remercie,
      Anna

       

  • Evaluating agroecology: what is your experience?

    Discussion

    • Anna Maria Augustyn

      International consultant
      Pologne

      Cher Seda et chers collègues,

      Merci pour ce sujet de discussion intéressant. L'outil TAPE développé par la FAO semble très prometteur et il serait intéressant de voir s'il peut être intégré dans les évaluations de projets ou de programmes ciblant les transitions agroécologiques.

      L'outil est très ancré dans la pensée systémique et de ce fait, il offre une alternative aux approches d'évaluation traditionnelles. Il serait peut-être utile d'étudier comment il pourrait être intégré aux cadres courants utilisant les approches du CAD de l'OCDE, de la théorie du changement, de la logique d'intervention et du cadre logique. À mon avis, le mieux serait d'utiliser les indicateurs suggérés dès la phase de conception du projet.

      D'un autre côté, les indicateurs proposés peuvent être utiles à des fins de facilitation dans les communautés rurales. Par exemple, lorsque je travaillais avec les bénéficiaires du projet sur le développement d'indicateurs de manière participative, il me manquait parfois un bon modèle de base avec des indicateurs pour les inspirer. L'outil TAPE pourrait être une bonne ressource à cet égard.

      D'après mon expérience, les agriculteurs et les acteurs ruraux ne voient souvent pas de différence claire entre l'agroécologie et d'autres approches systémiques, comme par exemple l'agriculture de conservation ou l'agriculture carbone. L'outil TAPE pourrait être utilisé pour articuler davantage les similitudes et les différences.

      Meilleures salutations,

      Anna Maria Augustyn

  • Monitoring, evaluation and learning: How can we maximize capacity?

    Blog

    Le MEL fournit un cadre et des outils qui contribuent à accompagner la mise en œuvre d'interventions ciblées en vue d'améliorer la durabilité agricole.

    Le système MEL encourage l'évaluation et l'apprentissage continus permettant la gestion adaptative des projets transformationnels. Il nécessite un effort systématique pour mesurer la progression de la mise en œuvre tout en encourageant l'apprentissage continu et en temps réel des parties prenantes impliquées, qu'ils s'agisse des agriculteurs et autres ruraux, des représentants de la société civile, des chercheurs, des décideurs politiques ou des praticiens de l'évaluation. Il s'appuie sur différents instruments, approches et indicateurs pour évaluer les

    Posté par

  • Making data collection meaningful and useful to farmers: what is your experience?

    Discussion

    • Anna Maria Augustyn

      International consultant
      Pologne

      Cher David et chers collègues,

      Merci beaucoup pour ce sujet de discussion intéressant.  J'aimerais vous faire part de quelques réflexions tirées de ma pratique en tant que consultant et chercheur en évaluation. J'ai travaillé sur un certain nombre de projets, du niveau local au niveau mondial, qui impliquaient des enquêtes auprès d'agriculteurs et d'autres personnes vivant en milieu rural dans divers contextes géographiques. Mon projet le plus récent était axé sur les capacités des acteurs de l'évaluation dans les projets multi-acteurs ciblant l'innovation agricole (https://liaison2020.eu ). J'ai une solide formation en sociologie et en psychologie, qui influe également sur mes approches des enquêtes.

      Trouver un équilibre entre la profondeur et la longueur de l'évaluation :

      • Comment réduire la charge des petits exploitants agricoles lors des évaluations de suivi et d'évaluation ?

      Cela dépend généralement du contexte. Par exemple, j'ai interviewé des agriculteurs qui étaient très intéressés à discuter avec moi, à la fois sur les questions de l'enquête et sur des sujets non liés. Il est important de reconnaître leurs besoins et les problèmes auxquels ils sont confrontés, qui peuvent être souvent différents de ce que nous attendons en tant qu'évaluateurs. Certaines personnes sont plus ou moins occupées, introverties ou extraverties, et cela peut également affecter leur empressement à s'engager dans la tâche. Je m'efforce normalement de trouver un équilibre entre leurs besoins et les miens. Il peut arriver que l'on doive faire des compromis en sautant certaines questions de l'enquête. Cela pourrait être pris en compte à un stade antérieur - la conception de l'évaluation, lorsque les décisions doivent être prises sur les indicateurs directs et indirects.

      • Quelles sont les meilleures façons d'inciter les agriculteurs à participer à l'enquête (par exemple, des incitations non monétaires, la participation à l'adaptation de l'enquête, à la présentation des résultats) ?

      Il peut être utile de demander quels sont leurs besoins en matière d'évaluation : un problème qu'ils veulent résoudre et auquel l'évaluation et les données pourraient contribuer. Ces besoins peuvent être très différents de ceux des évaluateurs, il faut donc essayer de négocier et de rechercher une optimisation dans la conception de l'évaluation. Il est utile d'impliquer les agriculteurs dans la définition de la portée de l'évaluation, des questions pertinentes et des indicateurs. Par exemple, j'ai organisé une fois un atelier où les participants ont reçu une liste d'indicateurs possibles et ont pu noter ceux qui étaient les plus pertinents à leurs yeux. Le résultat a été très différent de ce que les évaluateurs avaient prévu. Les incitations non monétaires sont également utiles. Je me souviens d'avoir apporté une boîte de chocolat fin de ma ville natale aux agriculteurs chez qui j'ai séjourné pendant le travail d'enquête. Ils m'aidaient à identifier d'autres participants à l'enquête (effet boule de neige) et, à la fin, ils m'ont aussi donné des œufs de leur ferme à ramener chez moi. En ce qui concerne les incitations monétaires, je crains toujours l'effet Hawthorne, c'est-à-dire une performance accrue des répondants sous la pression d'être étudiés et récompensés.

      Rendre les résultats des évaluations de S&E utiles aux agriculteurs : 

      • Sur la base de votre expérience, quels pourraient être les moyens les plus efficaces de communiquer les résultats de l'évaluation de la durabilité aux agriculteurs (par exemple, visites sur le terrain et apprentissage par les pairs, atelier d'information technique) ? Quel type de matériel de communication (par exemple, mémoires, dépliants, autres) est le plus approprié pour soutenir les événements de partage des connaissances ?

      Sans aucun doute, l'apprentissage de pair à pair est très utile. De cette façon, les gens peuvent échanger entre eux en utilisant le même langage. En tant qu'évaluateurs, nous avons souvent tendance à communiquer d'une manière différente de celle des agriculteurs, c'est pourquoi une facilitation compétente est généralement une meilleure option qu'une manière descendante de présenter les résultats. Il est bon d'organiser une discussion facilitée, une excursion sur le terrain et des réunions informelles. En outre, divers canaux de diffusion peuvent être utiles, comme la radio, les vidéos ou les brochures. L'utilisation de la communication visuelle est assez efficace, d'après mon expérience. Je me souviens avoir évalué un projet dans lequel les agriculteurs avaient du mal à reconnaître les maladies de la vigne qui existaient déjà dans leur région. Ils ne connaissaient pas les noms exacts de ces maladies, mais des images les aidaient à les reconnaître.

      • Avez-vous de l'expérience dans la comparaison des résultats entre agriculteurs de manière participative ? Quelle méthode avez-vous utilisée pour ce faire ? A-t-elle été efficace ?

      Je me souviens d'un exercice de visualisation où les résultats de l'évaluation ont été présentés et approfondis. Il s'agissait d'une évaluation de projet à mi-parcours, où les personnes qui avaient été interrogées auparavant (agriculteurs et autres membres de la communauté rurale) ont participé à l'événement, et où certains ont également contribué par leurs histoires. Sur cette base, un exercice de visualisation a été mené par les facilitateurs externes, dans le but d'aider à améliorer le projet et à planifier d'autres activités pour l'avenir de la communauté. Diverses méthodes ont été utilisées, notamment la boîte à outils du facilitateur avec des notes autocollantes, un tableau de conférence et autres.

      • Comment les résultats peuvent-ils être utilisés pour l'éducation non formelle des agriculteurs (par exemple, pour sensibiliser et/ou renforcer les capacités sur les moyens d'accroître la durabilité des exploitations) ?

      En principe, les résultats de l'évaluation doivent être traduits dans la langue des agriculteurs. Avec cela, ils peuvent être utilisés de nombreuses manières à travers des activités de renforcement des capacités. Les formes d'apprentissage par les pairs et par l'expérience sont, d'après mon expérience, les plus efficaces pour maximiser l'assimilation des résultats de l'évaluation au niveau de l'exploitation. Parfois, l'environnement plus large de l'évaluation doit également être pris en compte, par exemple, les agriculteurs peuvent ne pas être incités à changer leurs pratiques, malgré une sensibilisation accrue à la question. Il est important de choisir le bon moyen de communication, qui peut également être différent selon les pays et les régions et dépendre du niveau d'alphabétisation des agriculteurs et des dirigeants de leur communauté.

      Avec mes meilleurs vœux de Budapest,

      Anna Maria Augustyn

      https://www.linkedin.com/in/aniaaugustyn/

      LIAISON2020 | Optimising interactive innovation