Jean Providence [user:field_middlename] Nzabonimpa

Jean Providence Nzabonimpa

Regional Evaluation Officer
United Nations World Food Programme
Afrique du Sud

Jean Providence Nzabonimpa (PhD) is a social, behavioral, educational, and public health researcher and evaluator, a development and humanitarian practitioner with 16 years of experience in project design, implementation, performance monitoring, outcome and impact evaluation, social marketing, and applied research. Using behavior change theories and communication as an approach to achieve project outcomes and impact in public health, education, and other social development sectors, currently keen on human face in technology, he brings rigorous methodological approaches to development interventions, generating and using evidence for decision-making and impact.

With specialization in mixed methods research, he innovates methodologically when it comes to impact, behavior change, and user experience research and evaluation. With more than 30 research and evaluation studies, coupled with a strong background in education, language use, public health, and capacity development, he uses advanced social science evaluative, analytical, communicative, and programmatic knowledge and skills to generate evidence and insights to impact the lives of the poor and vulnerable people. Since 2009, he is an apt user and advocate of ICT in program monitoring and evaluation for real-time access to data and evidence. Expert user and trainer in data analysis using SPSS (expert level) and STATA (lesser extent) for quantitative data analysis, ATLAS.ti and MAXQDA for qualitative data analysis. He is SCRUMMaster certified, Core Humanitarian Certified, ATLAS.ti certified professional trainer, and a certified peer-reviewer.

My contributions

  • How are mixed methods used in programme evaluation?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Chers collègues, un grand merci pour avoir fait des efforts extraordinaires afin d'apporter des perspectives supplémentaires et nouvelles à cette discussion. Il s'agit notamment de méthodes mixtes (MM) séquentielles, concurrentes et parallèles. Certaines analyses sont effectuées séparément, tandis que d'autres font appel à l'analyse des données de l'une ou l'autre méthode pour corroborer les tendances ou les résultats émanant de l'autre méthode.

      L'une des dernières contributions comprend les points suivants :
      "Les évaluateurs doivent ensuite effectuer la triangulation des données en croisant les données de l'enquête avec les résultats tirés de la recherche qualitative et de la revue documentaire ou de toute autre méthode utilisée.[...] Parfois, un résultat tiré de la recherche qualitative sera accompagné de données quantitatives issues de l'enquête." Jackie.

      "Les méthodes mixtes sont excellentes, mais leur degré d'utilisation et leur séquence doivent être basés sur les circonstances du programme et de l'évaluation, sinon, au lieu de répondre aux questions d'évaluation d'un programme complexe ou compliqué, nous nous retrouvons avec une constipation des données. Il n'est peut-être pas très judicieux d'utiliser toutes sortes de méthodes qualitatives à la fois, c'est-à-dire des enquêtes ouvertes, des entretiens d'information clés, des réunions de réflexion communautaire, des observations, des examens de documents, etc. en plus des méthodes quantitatives." Gordon.

      Lal : Merci d'avoir partagé deux projets, l'un sur "un pont d'un milliard de dollars pour relier une île au continent dans un pays riche d'Europe du Nord, l'autre sur une autoroute de plusieurs millions de dollars dans un pays africain". Il s'agit là d'un excellent exemple de ce qui peut mal se passer en cas de mauvaise conception des projets et d'évaluation inappropriée de ces projets. Existe-t-il des rapports écrits ou des références à partager ? Cela semble être une bonne source d'informations pour enrichir nos discussions et, surtout, notre pratique professionnelle de l'évaluation à l'aide de méthodes mixtes. J'aime beaucoup le point que vous avez soulevé : "L'approche réductrice a fait en sorte que la qualité et la quantité aillent à l'encontre des objectifs du projet. En ce qui concerne les projets utilisés à titre d'illustration, vous l'avez très bien résumé : "Les fournitures alimentaires d'urgence à une zone sinistrée ne peuvent raisonnablement pas répondre aux mêmes normes de qualité ou de quantité, et elles devraient être ajustées pour que l'approvisionnement soit adéquat dans ces circonstances".

      Olivier : vous affirmez et convenez à juste titre que les modèles exploratoires séquentiels sont appropriés : "Vous ne pouvez pas mesurer ce que vous ne comprenez pas bien, c'est pourquoi un examen qualitatif est toujours nécessaire avant toute tentative de mesure". Mais vous reconnaissez également que : "il y a aussi de la place pour des approches qualitatives après un effort de quantification". Vous avez raison sur ce point : dans certains cas, une enquête peut donner des résultats qui semblent étranges, et une façon de les comprendre est de "zoomer" sur cette question particulière par le biais de quelques entretiens qualitatifs supplémentaires.

      Gordon : Mea culpa, j'aurais dû préciser que la discussion porte sur l'évaluation d'un programme, d'un projet ou de toute intervention humanitaire ou de développement. Vous soulignez à juste titre la complexité qui sous-tend les programmes : "Les programmes sont rarement simples (la plupart des choses sont connues) mais potentiellement compliqués (nous savons ce que nous ne savons pas) ou complexes (nous ne savons pas ce que nous ne savons pas)". Un de vos arguments semble contradictoire : "Lorsque quelque chose est trop compliqué ou complexe, la simplicité est la meilleure stratégie !" Quelques détails supplémentaires ajouteraient au contexte et aideraient les lecteurs à comprendre le point que vous avez soulevé. De même, qui, de l'évaluateur ou de l'équipe du programme, doit décider des méthodes à utiliser ?

      Bien que je demande à tous les collègues de lire toutes les contributions, celle de Jackie est différente, pleine de conseils pratiques et d'astuces utilisées dans les méthodes mixtes.
      Jackie : Merci beaucoup d'avoir pris le temps de nous faire part de vos commentaires perspicaces. Alors que nous réfléchissons à notre pratique d'évaluation, pourriez-vous nous expliquer comment "toutes les questions d'évaluation peuvent trouver une réponse en utilisant une approche de méthode mixte" ? Selon vous, les outils de collecte de données sont développés en parallèle ou simultanément. Et vous affirmez qu'il n'y a qu'UNE seule matrice de conception de l'évaluation, et que les deux méthodes tentent donc de répondre à la même question. En ce qui concerne l'échantillonnage, pourriez-vous préciser comment vous avez utilisé l'échantillonnage probabiliste ou non probabiliste, ou au moins décrire pour les lecteurs lequel vous avez appliqué, pourquoi et comment ? L'utilisation d'un échantillonnage raisonné pour une évaluation quantitative pose-t-elle un problème ?

      À l'exception de quelques exemples, la plupart des contributions sont jusqu'à présent plus théoriques et hypothétiques que pratiques et vécues. Je pense que ce qui peut nous aider tous en tant qu'évaluateurs, ce sont des conseils pratiques et des astuces, y compris des rapports d'évaluation ou des publications qui ont utilisé des méthodes mixtes (MM). N'hésitez pas à nous faire part de vos exemples pratiques et de vos références :

      • la phase de conception de l'évaluation MM
      • MM instruments de collecte de données
      • MM échantillonnage
      • MM collecte de données
      • MM l'analyse des données
      • MM interprétation, rapport et diffusion des résultats

      Nous attendons avec impatience d'autres contributions.

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Cette discussion est particulièrement intéressante et singulière, notamment en raison de l'expérience multidisciplinaire des intervenants. J'utiliserai l'abréviation MM pour désigner les méthodes mixtes au cours de cette discussion. Sans anticiper d'autres idées et de nouvelles perspectives que les collègues souhaiteraient partager, permettez-moi de demander des éclaircissements supplémentaires pour notre apprentissage commun. Mes questions ne s'adressent pas uniquement aux personnes nommées mais sont des questions ouvertes. Vous pouvez également partager le lien sur d'autres plates-formes ou réseaux.

      Tenez compte de ces réflexions avant de vous lancer dans les nouvelles questions. Continuez votre lecture, la cerise sur le gâteau arrive ensuite:

      «L'utilisation [des MM en évaluation] est réussie lorsque le processus d'intégration est bien défini ou lorsque les méthodes sont appliquées consécutivement (par exemple en mettant en œuvre des discussions de groupe pour définir les questions de l'enquête ou en sélectionnant des cas sur la base d'une enquête pour les entretiens approfondis)», selon Cristian Maneiro. «Cinq objectifs pour les évaluations recourant aux méthodes mixtes: triangulation, complémentarité, développement, initiation et élargissement (résumés également dans cet article)», selon les propos d'Anne Kepler. J'encourage tous les spécialistes et adeptes de MM à lire cet article.

      «Un bon plombier utilise différents outils, quand et comme il faut, et ne se demande pas quel type d'intervention ne nécessite qu'un seul outil... De même, un bon évaluateur doit savoir comment utiliser sa boîte à outils, qui contient de nombreux instruments, pas seulement une clef anglaise», pour Olivier Cossée.

      «L'évaluation a également analysé et expliqué les résultats quantitatifs en s'appuyant sur des informations issues des méthodes qualitatives, ce qui a permis non seulement de caractériser l'intervention, la politique éducative et le financement, mais aussi de formuler des recommandations politiques importantes», a déclaré Maria Pia Cebrian.

      Nouvelles questions:

      • Cristian: Merci d'avoir partagé votre expérience et votre préférence pour le modèle séquentiel exploratoire dans lequel les méthodes qualitatives précèdent les méthodes quantitatives. Une question supplémentaire: que pensez-vous d'une évaluation MM qui commence par une enquête et se termine par des entretiens qualitatifs ou des discussions de groupe – c'est-à-dire un modèle séquentiel explicatif. D'ailleurs, quelqu'un a-t-il déjà utilisé ou vu à l'œuvre un modèle séquentiel explicatif? De tels modèles d'évaluation recourant à des MM existent-ils? Continuons à recueillir des idées à partir des expériences et des diverses ressources écrites sur les modèles d'évaluations utilisant les MM et partageons-les!
      • Cristian a également soulevé un excellent point qui mérite d'être abordé. Certaines publications montrent que toutes les données non numériques sont qualitatives, comme par exemple les images, les cartes, les vidéos, etc., qu'en est-il de ces types de données? L'un de vous a-t-il expérimenté une combinaison de données numériques/quantitatives avec des données visuelles, spatiales et vidéo? Le cas échéant, merci de partager votre expérience. N'hésitez pas à partager vos idées sur la manière dont vous gérez ces données non numériques.
      • Emilia, vous avez illuminé ma journée (ou plutôt mon vol)! J'étais en avion lorsque j'ai lu les contributions des collègues. Un grand merci Emilia! Vous avez soulevé une question qui m'a rappelé que lorsque 1+1=2 en MM, c'est une perte. En MM, 1+1 doit être égal à 3, sinon c'est une perte, de manière réductrice. À ce propos, la perte est double. D'une part, découvrez cet article qui démontre avec éloquence que 1+1 devrait être égal à 3 dans les méthodes mixtes. La deuxième perte tien à ce que l'auteur de cet article, Michael Fetters, est décédé il y a quelques semaines et que certains universitaires partageant sa vision (Creswell, J. W., & Johnson, R. B. (2023) lui ont rendu hommage. Que son âme repose en paix!
      • Emilia, j'ai été ravi de lire votre article. Dans la littérature existante (rappelez-moi de la partager à un moment donné), on parle de MM lorsque les méthodes qualitatives et quantitatives sont combinées. Dans d'autres cas, lorsque des méthodes s'appuyant sur le même paradigme (par exemple qualitative) sont utilisées, elles ont été nommées multi-méthodes ou approches multiples.
      • « Puis – en allant un peu plus loin: ne pourrions-nous pas considérer que la combinaison des approches des «colonisateurs» avec celles des «autochtones» est également une méthode mixte»? « Ha ha ha ... dans le prochain African Evaluation Journal, un numéro spécial est consacré au traitement des asymétries de connaissances. Cette question pourrait être un excellent sujet pour nous interroger encore sur les combinaisons méthodologiques. Dans les faits, avons-nous des exemples dans lesquels les méthodologies occidentales (par exemple les enquêtes) sont combinées avec des méthodes orales ou visuelles du Sud. Je reste en attente de vos réponses et de celles d'autres collègues.
      • Lal, vous avez raison. Pourriez-vous fournir des exemples montrant comment la réflexion ou le fonctionnement compartimentés s'appliquent dans la mise en œuvre d'évaluation recourant aux MM?
      • «Margrieth, bien vu. Notre formation académique détermine dans une large mesure ce que nous intégrons dans notre pratique professionnelle. Comment comblons-nous cette lacune? Dans les méthodes mixtes, il est encouragé de pratiquer la «triangulation des chercheurs». Si je suis un dévoreur de chiffres, il faudrait idéalement que je travaille avec un chercheur qualitatif, un anthropologue par exemple, afin de nous compléter réciproquement, en combinant nos forces pour combler les lacunes de notre formation académique et de notre pratique professionnelle. Comment proposeriez-vous de mettre en œuvre une telle triangulation des chercheurs et des évaluateurs? L'un de vous a-t-il des exemples? Merci de les partager!
      • Pia: Impressionnant, différentes sources d'outils de collecte de données et d'analyses effectuées! Merci d'avoir partagé l'article publié. Cet article illustre bien la manière dont les chercheurs ou les évaluateurs peuvent être sélectifs ou biaisés selon leur formation académique comme l'a mentionné Margrieth dans son intervention. Cet article est entièrement dédié aux méthodes quantitatives et ne mentionne pas les méthodes qualitatives (sauf si cela m'a échappé en passant en revue rapidement l'article). Pourriez-vous contrôler sur la publication originale en espagnol, pour un meilleur apprentissage, comment les données des entretiens et des groupes de discussion ont été utilisées dans cette enquête? Merci d'avance!
      • Pia a clairement expliqué que le choix des méthodes quantitatives ou qualitatives ou des deux à la fois est en principe déterminé par notre formation professionnelle. La tendance des évaluateurs issus de certaines professions tels que les économistes, les ingénieurs ou les professions similaires consiste à utiliser des méthodes quantitatives, alors que les évaluateurs issus des disciplines artistiques ou des sciences humaines utilisent des méthodes qualitatives. Je suis tout à fait d'accord. Qu'en est-il des évaluateurs qui ont été formés comme dévoreurs de chiffres mais qui ont été réorientés par leur pratique professionnelle vers des méthodes qualitatives et inversement? J'en suis un exemple vivant, sans être enfermé dans aucune école de pensée.
      • Olivier: Votre article décrit très bien le modèle séquentiel exploratoire. Qu'en est-il des scénarios dans lesquels une évaluation débute par des méthodes quantitatives et engendre des résultats avec des conclusions contre-intuitives qui doivent être comprises et appréhendées?  Avez-vous observé dans votre pratique professionnelle de l'évaluation des cas où les méthodes quantitatives ont PRÉCÉDÉ les méthodes qualitatives, c'est-à-dire un modèle séquentiel explicatif?) Absolument, Olivier! Il n'existe pas de laboratoire pour les êtres sociaux comme c'est le cas dans les sciences naturelles.

       

      Bon apprentissage à tous!

       

       

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Chers évaluateurs et collegues, 

      Merci infiniment à ceux d'entre vous qui ont participé activement à cette discussion en répondant à mes questions et commentaires de suivi et à tous ceux qui ont lu les contributions à des fins d'apprentissage!

      La discussion a été riche et stimulante. Elle a attiré l'attention sur les raisons pour lesquelles les méthodes mixtes sont appliquées ainsi que sur certaines difficultés et lacunes persistantes dans les applications pratiques de ces méthodes.

      En conclusion, les méthodes mixtes sont sûrement appelées à durer. Cependant, il existe d'une part des instruments innovants et révolutionnaires tels que le Big Data, l'intelligence artificielle et l'apprentissage automatique qui ont commencé à dicter la manière de rassembler, traiter et présenter les données. D'autre part, certaines lacunes méthodologiques doivent être comblées. En tant qu'évaluateurs, nous avons un rôle à jouer pour veiller à ce que les méthodes mixtes ne soient pas simplement mentionnées dans les termes de référence et suivies superficiellement mais utilisées de manière appropriée en théorie comme en pratique.

      Je partagerai bientôt un résumé de la discussion avec quelques réflexions méthodologiques personnelles, donc merci de rester à l'écoute!

      JP

  • Reporting evaluation results or communicating evaluation results?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Excellent sujet, excellentes discussions !

      L'évaluation et la communication sont les deux faces d'une même pièce, essayant d'atteindre des objectifs similaires (diffuser les résultats de l'évaluation pour les utiliser dans la prise de décision). D'ailleurs, elles requièrent toutes deux des compétences différentes. Ce n'est pas grave.

      Passons au sujet. Supposons qu'en tant qu'évaluateurs, nous soyons tous des enseignants. Nous préparons des cours, prêts à enseigner, c'est-à-dire à faciliter le processus d'apprentissage. Devons-nous nous croiser les bras après la préparation et la finalisation de la leçon ? Pas du tout. Je ne suis pas le seul, je pense, à croire à juste titre que l'enseignant poursuivra son travail même après avoir enseigné, en facilitant le processus d'apprentissage. En s'appuyant sur la leçon précédente, l'enseignant récapitule généralement avant d'en commencer une nouvelle. Intéressant, il semble que nos évaluations devraient également informer les évaluations suivantes !

      Le scénario de l'enseignant s'applique également ici, du moins dans mon école de pratique de l'évaluation. L'essence de l'évaluation ne consiste pas à produire des rapports ou à communiquer des résultats. Alors quoi ? Pour qui et pourquoi ces résultats d'évaluation sont-ils rapportés ? Pas pour les classer, pas pour cocher la case. Il serait navrant qu'en tant qu'enseignants, après avoir investi du temps et des ressources, nous préparions des notes de cours et des conseils et que nos élèves ne les utilisent jamais. Quelqu'un serait-il motivé pour préparer des notes et des conseils pour le cours suivant ? Très peu le feraient. Aussi passionnés et professionnels que nous soyons (ou devrions être) en tant qu'évaluateurs, nous sommes des agents de changement. Dans le cadre de nos normes éthiques et professionnelles, nous ne devrions jamais nous contenter de communiquer les résultats d'une évaluation sans veiller à ce que les preuves qui en découlent soient utilisées autant que possible. Certains principes d'évaluation incluent l'utilité des évaluations.

      Pour répondre aux bonnes questions que vous avez soulevées, j'ai deux points de vue :

      • Chaque évaluation dispose (ou devrait disposer) d'un plan de diffusion et de communication (ou d'un plan de campagne pour l'utilisation des résultats de l'évaluation). Cela doit faire partie du budget global de l'évaluation. Les évaluateurs doivent continuer à plaider en faveur de la diffusion des résultats d'évaluation dans différents formats et pour différents types de public, même lorsque les évaluations sont terminées, même une ou plusieurs années auparavant.
      • S'il y a des personnes qui comprennent mieux les résultats d'évaluation, l'évaluateur est l'une d'entre elles. Avec les autres parties prenantes qui ont participé au processus d'évaluation, il/elle devrait faire partie des processus de communication afin d'éviter toute interprétation erronée des messages et de la signification par les communicateurs externes. Les communicateurs (certaines organisations ont des rôles spécifiques tels que les spécialistes de la communication pour le développement) sont des experts qui connaissent les ficelles du métier. Nos alliés.

      Bonne lecture des contributions des collègues.

      Jean Providence

  • Monitoring and evaluation: is this the perfect combination to meet the needs of decision-makers?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Cher Elias et chers collègues,

      Merci de partager et de discuter de ce sujet très important. Plus nous discutons, plus nous comprenons comment aborder les problèmes qui affectent la pratique de l'évaluation. Pour commencer, le suivi et l'évaluation, sont-ils différents ou sont-ils les deux faces d'une même pièce ? Une combinaison parfaite en théorie, mais largement inadaptée en pratique, comme l'a posé Elias.

      À l'aide d'une anecdote et de quelques points de vue qui suscitent la réflexion ou la controverse (j'espère que j'en obtiendrai plus d'un !), j'examinerai le suivi et l'évaluation, chacun à sa manière, et je terminerai par ma réflexion personnelle. Tout d'abord, j'encourage mes collègues à (continuer à) lire Ten Steps to a Results-Based Monitoring and Evaluation System de Kusek et Rist. Bien qu'il ait été publié en 2004, il éclaire toujours les liens entre le suivi et l'évaluation. Notez que je ne suis pas d'accord avec certaines propositions ou définitions faites dans ce manuel. Mais je vais les citer :

      "L'évaluation est un complément au suivi en ce sens que lorsqu'un système de suivi envoie des signaux indiquant que les efforts ne sont pas sur la bonne voie (par exemple, que la population cible n'utilise pas les services, que les coûts s'accélèrent, qu'il y a une réelle résistance à l'adoption d'une innovation, etc.), alors de bonnes informations d'évaluation peuvent aider à clarifier les réalités et les tendances constatées par le système de suivi". p. 13

      Le suivi comme fruit à peine cueilli. Anecdote. Un décideur me disait qu'il préférait les méthodes rapides et sales aux méthodes d'évaluation rigoureuses et qui prennent du temps. Pourquoi ? Pas étonnant qu'il soit facile et rapide de se faire une idée des activités mises en œuvre et des résultats qui en découlent. À propos, le suivi porte sur tout ce qui est sous le contrôle des exécutants (intrants, activités et résultats). Une discussion pour un autre jour. Avec le suivi, il s'agit généralement de vérifier la base de données (de nos jours, nous regardons des tableaux de bord visualisés) et d'être capable de dire où en est un projet dans sa mise en œuvre, sa progression vers les objectifs (produits/résultats ?).

      L'évaluation : les fruits les plus mûrs : Dans un sens traditionnel, l'évaluation tente d'établir si un changement a eu lieu, ce qui a entraîné ce changement et comment. C'est le domaine de la causalité, de la corrélation, de l'association, etc. entre ce qui est fait et ce qui est finalement réalisé. L'évaluation prend du temps et ses résultats prennent du temps. Peu de décideurs ont le temps de les attendre. En un rien de temps, leur mandat arrive à son terme, ou il y a un réaménagement du gouvernement. Certains ne sont peut-être plus en fonction au moment où les résultats de l'évaluation sont publiés. Nous nous demandons encore pourquoi les décideurs préfèrent les données de suivi ?

      Ma compréhension et mon expérience du S&E, telles que développées dans Kusek et Risk (2004), sont qu'un suivi bien conçu et réalisé alimente l'évaluation et que les résultats de l'évaluation montrent (lorsque le projet est toujours en cours) ce qu'il faut suivre de près. Un bon suivi recueille et fournit, par exemple, des données chronologiques utiles pour l'évaluation. L'évaluation alimente également le suivi. À propos, je suis personnellement moins enthousiaste à l'égard des évaluations de fin de projet. Cela semble contraire à la mission d'un praticien de l'évaluation, n'est-ce pas ? Parce que les communautés cibles pour lesquelles le projet est conçu ne bénéficient pas de telles évaluations finales. Bien sûr, lorsqu'il s'agit d'un projet pilote, il peut être étendu et les groupes cibles initiaux peuvent être atteints avec un projet amélioré, grâce aux leçons tirées de l'évaluation. Croyez-moi, je réalise des évaluations finales, mais elles sont moins utiles que les évaluations développementales, formatives, en temps réel/rapides. Un sujet pour un autre jour !

      Le suivi et l'évaluation forment un seul et même système, complémentaire et fécondant. Certains collègues des bureaux ou départements d'évaluation indépendants peuvent ne pas apprécier le lien et l'interdépendance du suivi et de l'évaluation. Tout simplement parce qu'ils sont étiquetés "indépendants". Cela me rappelle l'autre discussion sur l'indépendance, la neutralité et l'impartialité de l'évaluation. Oups, je n'ai pas pris part à cette discussion. Je suis d'accord pour dire que l'auto-évaluation et l'évaluation interne ne doivent pas être discréditées comme Elias l'a soutenu dans son blog. Les initiés de l'évaluation comprennent et connaissent le contexte que les évaluateurs externes et indépendants ont parfois du mal à saisir pour donner un sens aux résultats de l'évaluation. Mettons cela de côté pour l'instant.

      L'année dernière, un forum en ligne (lien vers le rapport préliminaire) a été organisé, rassemblant des jeunes de différents pays du Sahel. Grâce à ce forum, les rêves, les aspirations, les défis, les opportunités, etc. des jeunes ont été discutés et partagés. Une énorme quantité de données a été collectée par le biais de la plateforme virtuelle. Ces conversations avec les jeunes (une activité qui a touché des centaines de jeunes) ont permis d'établir non seulement la preuve d'un changement dans le récit, mais aussi ce qui favorise ou entrave le changement et les aspirations des jeunes. Une correspondance parfaite entre le suivi (atteindre x nombre de jeunes) et l'évaluation (facteurs favorisant ou inhibant le changement souhaité). Lorsqu'il existe des données issues de ces conversations de jeunes, il est moins utile de procéder à une évaluation pour déterminer les facteurs associés au changement au Sahel. Il suffit d'analyser ces données, en élaborant bien sûr un guide analytique pour aider à ce processus. L'utilisation des données de suivi est d'une grande aide pour l'évaluation. Il est prouvé que les décideurs de haut niveau sont très favorables aux idées issues de l'analyse des discussions des jeunes. Imaginez qu'il faille attendre que le moment soit venu de procéder à une évaluation en bonne et due forme ! Revenons à notre sujet.

      Dans l'ensemble, les décideurs sont prêts à utiliser les données du suivi car elles sont facilement disponibles. Le suivi semble simple et facile à utiliser. Tant que l'évaluation sera considérée comme une tour d'ivoire, une sorte de science infuse, elle sera moins utile pour les décideurs. Le jargon de l'évaluation lui-même, n'est-il pas problématique, n'est-il pas un obstacle à l'utilisation des preuves évaluatives ? Mes hypothèses : Les décideurs aiment utiliser les preuves du suivi lorsqu'ils prennent des décisions comme des pompiers, sans se préoccuper des méthodes rapides et sales mais pratiques. Ils utilisent moins les preuves évaluatives car ils n'ont pas le temps d'attendre.

      Un appel aux actions innovantes : des évaluations en temps réel, rapides mais rigoureuses, si nous voulons vraiment que les preuves évaluatives soient utilisées par les décideurs.

      Merci à tous. Continuons à apprendre et à trouver les meilleurs moyens d'apporter les preuves de S&E là où elles sont le plus nécessaires : la prise de décision à tous les niveaux.

      Jean Providence Nzabonimpa

       

       

  • Reporting and supporting evaluation use and influence

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Cher Gordon et collègues,

      Avant de partager mon point de vue, prenons l'exemple d'une expérience vécue. Avec une équipe de 4 évaluateurs, j'ai participé à l'évaluation d'un projet de cinq ans. En tant qu'évaluateurs, quelques collègues ont co-conçu l'évaluation et collecté les données. Nous avons uni nos forces lors de l'analyse et de l'élaboration du rapport et nous nous sommes retrouvés avec un gros rapport d'environ 180 pages. Je n'ai jamais connu d'adeptes de gros rapports, je ne le suis pas non plus. Pour être honnête, très peu de gens prendraient le temps de lire d'énormes rapports d'évaluation. Si un évaluateur est moins susceptible de lire (une fois finalisé) un rapport qu'il a produit, qui d'autre le lira ? Passons aux recommandations. Au stade du rapport, nous avons souligné les changements (ou l'absence de changements) ; nous avons signalé les résultats contre-intuitifs et les idées sur les indicateurs ou les variables d'intérêt. Nous avons laissé le soin à l'équipe de mise en œuvre du projet, qui a fait appel à un responsable politique, de rédiger conjointement des recommandations exploitables. Comme vous pouvez le constater, nous avons intentionnellement évité la pratique établie selon laquelle les évaluateurs rédigent toujours des recommandations.

      Notre rôle était de veiller à ce que toutes les conclusions ou résultats importants soient traduits en recommandations exploitables. Nous avons soutenu l'équipe de mise en œuvre du projet pour qu'elle reste aussi proche que possible des preuves et des idées de l'évaluation. Comment mettriez-vous à l'échelle un projet qui a produit ce changement (pour les résultats positifs) ? Que feriez-vous différemment pour atteindre le changement souhaité sur ce type d'indicateurs (domaines à améliorer) ? Attention, je n'utilise pas le mot "négatif" à côté des résultats. Comment vous y prendriez-vous pour obtenir les résultats souhaités ? Ces questions ont permis d'aboutir à des recommandations concrètes.

      Nous avons veillé au flux logique et aux liens empiriques de chaque recommandation avec les résultats de l'évaluation. En fin de compte, l'équipe était propriétaire des recommandations tandis que l'équipe d'évaluation était propriétaire des résultats empiriques. Les résultats de l'évaluation ont éclairé chaque recommandation. Dans l'ensemble, il s'agissait d'un rapport d'évaluation produit conjointement. C'est quelque chose que nous avons fait pour cette évaluation et qui s'est avéré efficace dans d'autres évaluations. Avec la participation des principales parties prenantes, les résultats de l'évaluation sont relativement faciles à vendre aux décideurs.

      Dans mon autre vie d'évaluateur, ces recommandations sont regroupées dans un suivi d'action - Action Tracker -  (en MS Excel ou tout autre format) afin de contrôler au fil du temps la manière dont elles sont mises en œuvre. C'est la pratique en vigueur dans les institutions qui sont très attachées à la responsabilité et à l'apprentissage ou qui demandent des comptes à leur personnel et aux projets qui ne respectent pas ces normes. Pour chaque recommandation, il y a un calendrier, la personne ou le service responsable, le statut (mis en œuvre, non mis en œuvre ou en cours) et la voie à suivre . Notez que l'une des recommandations concerne le partage et l'utilisation des résultats de l'évaluation, ce qui nécessite un travail supplémentaire après la rédaction du rapport d'évaluation. Simplifier le rapport dans un langage et un format adaptés au public, inspiré des notes politiques de deux pages, une note d'évaluation ou une brochure d'évaluation basée sur des thèmes spécifiques qui ont émergé de l'évaluation. J'ai vu une telle pratique relativement utile pour deux raisons :

      (i) les évaluateurs ne sont pas les seuls acteurs, il y a d'autres parties prenantes qui maîtrisent mieux les réalités programmatiques

      (ii) l'équipe de mise en œuvre dispose d'une opportunité pour aligner ses voix et ses connaissances de l'évaluation sur les résultats de l'évaluation.

      (iii) la fin d'une évaluation n'est pas, et ne devrait pas être la finalisation de l'évaluation, d'où la nécessité pour les institutions de suivre la manière dont les recommandations de l'évaluation sont mises en œuvre pour des actions correctives, des prises de décision ou des politiques, l'utilisation des preuves de l'évaluation dans de nouvelles interventions, etc.

      L'institutionnalisation de l'utilisation des données de l'évaluation prend du temps. Les changements structurels (au niveau supérieur) ne se produisent pas du jour au lendemain et ne surgissent pas du néant, mais il existe des étapes modestes mais sûres pour initier des changements à partir de la base. Si la direction générale soutient pleinement l'utilisation des données probantes, c'est une excellente occasion à ne pas manquer. Sinon, ne supposez pas, utilisez les faits et la culture de l'organisation. Créez de petites alliances et relations en faveur de l'utilisation des données probantes, et intégrez progressivement des parties prenantes plus "influentes". Mettez en évidence les avantages des données probantes et leur impact sur l'organisation chargée de la mise en œuvre, les décideurs et les communautés.

      Voilà ma contribition à cette discussion.

      Je laisse la parole à mes collègues pour qu'ils apportent leurs contributions et leurs commentaires à cette importante discussion.

      Jean Providence

  • Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Cher John,

      Bonne année 2021 à vous et à tous nos collègues de la plate-forme !

      Merci d'avoir soulevé une question critique et très intéressante qui mérite d'être examinée en tant qu'évaluateurs. Je suis sûr que je ne peux pas rendre justice aux points importants que vous avez soulevés, mais au moins je peux partager mes deux cents. J'espère que mes collègues continueront à venir pour une discussion plus riche.

      Il est vrai que nous partons du principe que nous comprenons les questions qui touchent les communautés locales. Nous concevons donc des interventions pour répondre à leurs besoins. Je suis tout à fait d'accord avec vous. Il y a des facteurs importants qui sont inconnus au stade de la conception des interventions de développement. Lorsque l'on sait peu de choses empiriquement et théoriquement sur une communauté, on ne peut pas faire grand-chose et on ne peut pas obtenir grand-chose. Idéalement, nous devons connaître les inconnues pour concevoir des interventions appropriées et mieux servir les communautés cibles. Mais il est regrettable que cela ne fonctionne pas tout le temps comme ça, ce n'est pas linéaire, surtout à l'époque de la pandémie. Nous nous basons sur ce que nous savons pour faire quelque chose. Dans ce processus, nous apprenons quelque chose de nouveau (c'est-à-dire des preuves) qui nous aide à redéfinir notre conception et notre mise en œuvre. La complexité de notre époque, aggravée par la COVID-19, a poussé tous les évaluateurs à repenser leurs conceptions et leurs méthodes d'évaluation. Ce serait un euphémisme de souligner que nous connaissons tous les implications de l'éloignement social (je préfère personnellement l'éloignement physique). Imaginez une intervention conçue par une chaîne de résultats en face à face comme hypothèse sous-jacente pour atteindre le changement souhaité ! Sans repenser sa théorie du changement (TdC), la logique qui sous-tend une telle intervention risque de ne pas tenir la route. Ce scénario peut s'appliquer et prouver à juste titre que nous avons besoin d'une TdC évolutive dans le temps. Selon mon point de vue et ma pratique professionnelle, ma réponse est affirmative. Nous avons besoin d'une TdC qui évolue dans le temps et qui soit fondée sur des preuves. Nous utilisons des hypothèses parce que nous n'avons pas de preuves, n'est-ce pas ?

      Pour que la TdC reste intacte pendant toute la durée de vie d'un projet, il faut que la plupart des hypothèses sous-jacentes et la chaîne logique soient connues à l'avance et restent constantes. C'est rarement le cas. Je crois que le changement des TdC ne nuit pas mais au contraire maximise ce que nous apprenons pour mieux faire et pour le bénéfice des communautés. Considérons ce scénario : supposons que X produits mènent à Y résultats. Plus tard, on découvre que les facteurs A et B contribuent également, et de manière plus significative, à Y que leurs hypothèses initiales sur les résultats X. Ne pas tenir compte des facteurs A et B saperait la logique de l'intervention ; cela nuit à notre capacité à mesurer les résultats. Je n'ai pas utilisé la cartographie des résultats dans la pratique, mais le sujet à l'étude nous rappelle son utilité. Peu de praticiens du développement croiraient que les parcours de "changement" sont imparfaits. En revanche, je suppose que beaucoup d'entre eux croiraient à l'histoire de l'échec de la TdC (d'ailleurs, je déteste utiliser le mot "échec"). Le manque d'appétit des praticiens du développement pour tenir compte d'autres facteurs dans la TdC qui évolue avec le temps, lorsque des preuves sont disponibles, est peut-être la cause de cet échec. En fin de compte, l'évaluation peut aboutir à des résultats positifs et/ou négatifs qui sont contre-intuitifs, ou qui ne peuvent être liés à aucune composante de l'intervention. Cela semble étrange, je suppose, simplement parce qu'il y a des éléments de preuve qui ont émergé et n'ont pas été intégrés dans la logique de l'intervention.

      • Avec ce qui précède, un projet localisé serait un projet aux couleurs locales. Avec des tailles et des formes différentes, tous venant jouer la place qui leur revient. Cela ne signifie pas qu'il faille être trop ambitieux (trop de couleurs peuvent brouiller la vision, je plaisante, mais peu importe, je porte des lunettes !) Un projet qui découvre de nouvelles preuves doit les intégrer dans le parcours d'apprentissage. Un tel projet a plus de chances d'atteindre les résultats souhaités. Compte tenu de l'évolution du contexte, un projet dont la TdC est statique a plus de chances de perdre sa pertinence avec le temps.
      • À mon avis, une TdC doit être dynamique ou flexible dans un contexte complexe et évolutif. Existe-t-il un contexte de développement qui peut être totalement statique pendant un certain temps ? Je pense que non. Cela me rappelle les théories des systèmes et les théories de la complexité sans lesquelles nous tomberions facilement dans le piège de la linéarité. À mon avis, il n'y a pas de mal à commencer par des hypothèses, mais lorsque des preuves apparaissent, nous devrions être en mesure d'intégrer de nouvelles preuves dans la théorie de la mise en œuvre et la théorie des programmes qui, si elles sont combinées, peuvent constituer la totalité des TdC pour les interventions de développement. Les projets ne sont plus examinés en vase clos (je suppose que nous avons vu la cohérence comme un nouveau critère d'évaluation du CAD de l'OCDE !) À mon avis, il est nécessaire de comprendre l'ensemble du tableau (c'est-à-dire les connaissances actuelles et futures) pour en tirer profit (c'est-à-dire les connaissances actuelles uniquement). Mais la compréhension d'une seule partie est moins susceptible de profiter à l'ensemble.
      • Les défis liés à l'évolution des TdC sont liés aux évaluations d'impact, principalement les essais de contrôle aléatoires. Avec l'évolution de la TdC, les composantes des essais de contrôle aléatoires ou des bras d'étude deviendront floues et la contamination incontrôlable. Dans le jargon statistique, la variance inexpliquée sera plus importante que nécessaire. Bien qu'il existe des laboratoires pour les sciences naturelles et physiques, je crois qu'il y a peu, voire aucun, laboratoire fiable pour les sciences sociales et comportementales. L'avantage de savoir comment naviguer dans des TdC complexes est que l'on peut en tirer les leçons appropriées et générer des preuves moins discutables sur l'impact des projets de développement.

      Je suppose que je fais partie de ceux qui s'intéressent à la compréhension de la complexité et de ses ramifications en matière de TdC et d'évaluation du développement. J'ai hâte d'apprendre comment le Big Data peut et va faire la lumière sur l'image généralement complexe du développement, en brisant les silos de linéarité. Comme nous avons de plus en plus besoin d'un mélange de méthodes pour comprendre et mesurer l'impact ou le changement résultant des interventions de développement, il en va de même pour la TdC. Linéaire, la TdC peut éventuellement trahir le contexte dans lequel une intervention a lieu. Multiligne ou curviligne et évoluant dans le temps, la TdC est plus susceptible de représenter l'image réelle mais changeante des communautés locales.

      Je voudrais terminer par une citation :

      "Les décideurs politiques du XXIe siècle au Royaume-Uni sont confrontés à un ensemble de défis impressionnants : une société vieillissante, les promesses et les menaces pour l'emploi et la création de richesse de l'intelligence artificielle, l'obésité et la santé publique, le changement climatique et la nécessité de préserver notre environnement naturel, et bien d'autres encore. Ce que ces types de défis politiques [et d'intervention en matière de développement] ont en commun, c'est la complexité". Source : Livre magenta 2020

      Tout évolue dans un contexte complexe qui doit être reconnu comme tel et pris en compte dans nos interventions de développement.

      Une fois de plus, merci à John et à ses collègues d'avoir apporté et discuté de ce sujet important.

      Restez en bonne santé et en sécurité.

      Jean Providence

  • Cohérence des interventions dans le secteur agricole

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Chers OUEDRAOGO et collègues,

      J'aime beaucoup le sujet en question. Envisageons un scénario. Imaginons que la main gauche soit en conflit avec la main droite. Ou qu'une main reproduise ce que l'autre fait. Résultat : tout le corps en souffrirait. Si cela devait se produire dans les interventions de développement, et c'est malheureusement le cas, c'est contre-productif et autodestructeur.

      Merci Serdar de partager votre réflexion qui, lorsqu'elle a été suivie, s'est avérée efficace pour lutter contre les doubles emplois dans le développement, le gaspillage des ressources et les effets négatifs sur la vie et les moyens de subsistance des communautés.

      J'aimerais partager mes deux sous :

      1.         Créer et travailler dans des groupes de travail techniques ou thématiques pour les examiner et se soutenir les uns les autres. J'ai trouvé cela efficace. Par exemple, j'encourage les partenaires de développement à planifier et à mener une évaluation multipartite et multi projets dans une communauté plutôt que de le faire chacun de son côté. Lorsqu'elle est réalisée en silos, cela nécessite plus de temps et de ressources supplémentaires de la part de toutes les parties prenantes, y compris les membres de la communauté. Lorsque l'évaluation est réalisée par plusieurs parties prenantes, elle permet d'économiser des ressources pour les deux parties. Elle ajoute de la crédibilité et un sentiment d'appropriation et d'appartenance parmi tous les acteurs. Il devient plus facile de plaider en faveur de l'utilisation des résultats d'évaluation générés conjointement. Elle permet de coordonner la programmation et d'améliorer les résultats en matière de développement. C'est là qu'intervient la responsabilité de sensibiliser non seulement les acteurs du développement mais aussi les communautés. Toute personne impliquée dans le désalignement et donc la mal utilisation de ressources limitées doit être tenue de rendre des comptes.

      2.         Plateformes d'échange et de partage pour l'apprentissage et la diffusion des résultats / preuves (légèrement une extension du point ci-dessus) : En cette ère axée sur les médias, aucun acteur du développement ne souhaite être à la traîne. Chacun veut être à la table haute pour présenter ce qu'il fait (cela me semble naturel et acceptable lorsqu'on le fait avec intégrité). En étant invité à un forum de partage par le partenaire x, le partenaire y peut être encouragé à faire de même à l'avenir. Certains acteurs du développement pensent à tort qu'en gardant l'information pour eux, ils auront un avantage concurrentiel sur les autres. Il est prouvé que les organisations de développement qui sont ouvertes et qui partagent les enseignements en tirent davantage profit, et deviennent finalement la puissante source de preuves sur ce qui fonctionne ou sur la façon de remédier à ce qui ne fonctionne pas. Elles attirent ainsi des opportunités de financement et de partenariat.

      3.         Sur un plan personnel, voire politique, j'ai vu ces interventions de développement conflictuelles et faisant double emploi, reflétant en quelque sorte l'absence ou le manque de leadership en matière de développement durable. La bonne gouvernance peut faire la différence. Il est de notoriété publique que la plupart (sinon toutes) les interventions de développement sont interconnectées, interdépendantes et s'enrichissent mutuellement. Nos collègues l'ont clairement souligné. Une très bonne leçon est cette pandémie de covid-19. Il s'est avéré difficile pour les interventions sociales, éducatives, économiques, agricoles, etc. d'obtenir des résultats lorsque la santé est menacée. Je suppose qu'aucun secteur ou acteur du développement ne peut naviguer seul dans le paysage actuel du développement et espérer des résultats durables. Il en va de même au sein d'un même secteur.

      En plus des forums et des lignes directrices de développement mentionnés par mes collègues, je pense que la participation des communautés à la conception et au suivi des projets par le biais de pratiques de responsabilisation peut contribuer à relever ce grave défi à terme.

      Restez en sécurité et en bonne santé en ces temps de folie !

      Avec mes salutations distinguées,

      Jean

      The African Capacity Building Foundation

  • How do we move forward on Evaluation Systems in the Agriculture Sector?

    Discussion

    • Jean Providence Nzabonimpa

      Regional Evaluation Officer United Nations World Food Programme
      Afrique du Sud

      Bonjour Judith,

      Merci de partager ce sujet pour obtenir des réflexions et des points de vue d'autres pays. Vous trouverez ci-dessous ma contribution (étant rwandais mais pratiquant le S&E ailleurs) :

      J'utilise généralement un tableau de bord de voiture pour illustrer la nature jumelée du suivi et de l'évaluation. Un système de suivi fonctionnel alimente le système d'évaluation. Un système d'évaluation fonctionnel alimente à son tour les processus de suivi.

      En tant que panneau de contrôle pour suivre les progrès et les conditions d'une voiture, un tableau de bord fonctionnel montre les conditions de la voiture. Le conducteur doit continuer à suivre ou à vérifier la progression pour atteindre sa destination. Imaginez que vous conduisiez une voiture sans tableau de bord ! Etrange, risqué, accidentogène, etc.

      Le conducteur utilise le même tableau de bord pour évaluer et décider quand il doit voir le mécanicien, s'arrêter à une station-service pour faire le plein ou pour obtenir un supplément de pression des pneus. Parfois, le conducteur (c'est-à-dire le chef de projet) peut prendre lui-même des mesures correctives grâce à son expérience et à sa connaissance du système automobile (c'est-à-dire du projet). Cela équivaut à utiliser les données de suivi ou l'évaluation des processus pour résoudre des problèmes. En utilisant les résultats du suivi, le conducteur (ou le chef de projet) peut tirer une leçon ici et là pour maintenir la voiture (ou le projet) sur la bonne voie.

      Mais en fin de compte, il y a des problèmes techniques qui échappent au contrôle du conducteur (ou du gestionnaire de projet/programme). Dans ce cas, le conducteur doit entretenir la voiture ou faire appel à des experts techniques pour obtenir des conseils avisés. Lorsque cela échappe au contrôle du conducteur, on parle de changement (niveau de résultat ou d'impact). À ce niveau, nous avons besoin d'un regard plus neuf afin d'ajouter une nouvelle perspective à la façon dont nous avons vu les conditions de notre voiture. Nous avons besoin d'une évaluation plus sûre, plus objective, plus proche du résultat souhaité.

      Le système de contrôle est un fruit à portée de main, c'est pourquoi la plupart des organisations et des pays trouvent qu'il est facile à mettre en place. L'évaluation est techniquement exigeante et c'est le but ultime d'un bon suivi. Nous surveillons pour nous assurer que nous obtenons les résultats du processus (sous notre contrôle). Nous évaluons pour prouver ou réfuter que nous avons atteint les résultats attendus au niveau du changement (hors de notre contrôle). Le suivi se limite à des "indicateurs de vanité" (un terme utilisé par un collègue sur les médias sociaux) tels que le nombre de personnes formées, le nombre de kilos distribués, etc. Sans système d'évaluation, ce qui fonctionne ou ne fonctionne pas ne serait pas logiquement et objectivement identifié avec des preuves. Sans système d'évaluation, ce qui fonctionne ou ne fonctionne pas ne serait pas identifié de manière logique et objective à l'aide de preuves. Le véritable changement ne serait pas récompensé par l'extension ou la reproduction de projets réussis, etc. Sans système d'évaluation, nous échouons ou réussissons à notre insu et nous ne pouvons pas en être fiers.

      Avoir un système de suivi, c'est comme avoir une capacité institutionnelle ou répondre à des exigences institutionnelles pour que nous puissions rendre compte à xyz. Mais avoir un système d'évaluation, c'est comme avoir la capacité humaine, l'expertise nécessaire pour naviguer dans un paysage de développement complexe afin que ce qui fonctionne soit conservé. Qu'est-ce que cela signifie pour le S&E dans la pratique ? Laissez-moi garder cela pour un autre jour.

      J'attends avec impatience d'autres réflexions de la part d'autres pays.

      Jean Providence