Gordon [user:field_middlename] Wanzare

Gordon Wanzare

Monitoring, Evaluation, & Learning Expert
Kenya

I am a Monitoring, Evaluation, and Learning (MEL) expert with over 15 years of related work experience gained in international and national Non-Governmental Organizations (NGOs) and Governments in East and West Africa. My MEL experience has been in the roles of management, advisory, consultancy, and volunteerism.

My contributions

  • How are mixed methods used in programme evaluation?

    Discussion

    • Gordon Wanzare

      Monitoring, Evaluation, & Learning Expert
      Kenya

      Chère Jean et chers collègues.

      Merci d'avoir précisé que la discussion ne se limite pas aux programmes, mais qu'elle englobe également les projets ou toute intervention humanitaire ou de développement. Cette discussion est très intéressante et riche en informations. J'apprends beaucoup dans ce processus !

      Lorsque je dis "lorsque quelque chose est trop compliqué ou complexe, la simplicité est la meilleure stratégie" dans le contexte des évaluations, je veux dire qu'il n'est pas nécessaire d'utiliser un ensemble ou plusieurs méthodologies et sources de données pour qu'une évaluation soit sensible à la complexité. Les données, tant quantitatives que qualitatives, peuvent rester légères et se concentrer sur les objectifs et les questions de l'évaluation. Par exemple, l'utilisation d'approches d'évaluation tenant compte de la complexité, telles que la récolte des résultats, la traçabilité des processus, l'analyse des contributions, l'analyse des réseaux sociaux, etc. ne signifie pas nécessairement qu'il faut appliquer plusieurs méthodes de collecte de données quantitatives et qualitatives. Par exemple, dans le cadre de l'Outcome Harvesting, il est possible d'utiliser l'analyse documentaire et les entretiens avec des informateurs clés pour élaborer des descripteurs de résultats, puis de réaliser une enquête et des entretiens avec des informateurs clés au cours de la phase de corroboration.  J'ai utilisé l'analyse des réseaux sociaux et les entretiens avec des informateurs clé our évaluer les changements dans les relations entre les acteurs d'un système de marché. J'ai utilisé l'analyse des réseaux sociaux suivie d'entretiens avec des informateurs clés dans le cadre d'une étude d'impact social d'un programme de développement de l'esprit d'entreprise chez les jeunes ruraux. En substance, vous pouvez limiter les méthodes de collecte de données à trois (le tabouret à trois pieds ou le concept du triangle) et atteindre vos objectifs d'évaluation avec des données légères et précises. On a beaucoup écrit sur la simplicité pour surmonter la complexité dans différents domaines de la vie, de la gestion, du leadership, etc.


      En ce qui concerne la question de savoir qui décide de la méthodologie, l'évaluateur ou l'équipe du programme ? D'après mon expérience, un plan MEL est très clair sur les mesures et les méthodes d'évaluation. De plus, les plans de MEL sont élaborés par l'équipe du programme. Les évaluateurs sont invités à proposer une méthodologie d'évaluation dans les offres techniques afin de répondre à deux objectifs : évaluer leur compétence technique et identifier la meilleure adéquation avec le plan d'évaluation. En principe, l'évaluateur et l'équipe du programme se consultent sur la méthodologie la mieux adaptée au cours de la phase initiale de l'évaluation et cela fait partie du rapport initial qui est normalement signé par l'équipe du programme.

      Voilà ce que j'en pense. 

      Gordon

       

    • Gordon Wanzare

      Monitoring, Evaluation, & Learning Expert
      Kenya

      Salutations à tous !

      La question de Jean est très intéressante et les contributions sont très perspicaces !

      Tout d'abord, je pense que la question de Jean est très spécifique - c'est la façon dont les méthodes mixtes sont utilisées non seulement dans les évaluations, mais aussi dans les évaluations de PROGRAMME, n'est-ce pas ? Ensuite, nous savons qu'un programme se compose de deux projets ou plus, c'est-à-dire d'un ensemble de projets. Par conséquent, les programmes sont rarement simples (où la plupart des choses sont connues) mais potentiellement compliqués (où nous savons ce que nous ne savons pas) ou complexes (où nous ne savons pas ce que nous ne savons pas). Le dictionnaire anglais Oxford nous dit qu'une méthode est une procédure particulière pour accomplir ou approcher quelque chose. Les outils sont utilisés dans les procédures. J'appartiens à l'école de pensée qui pense que lorsque quelque chose est trop compliquée ou complexe, la simplicité est la meilleure stratégie !

      En fonction du contexte, de la conception du programme, du plan d'évaluation du programme, des objectifs et des questions de l'évaluation, l'évaluateur et l'équipe du programme peuvent se mettre d'accord sur la ou les meilleures méthodes permettant d'atteindre les objectifs de l'évaluation et de répondre de manière exhaustive aux questions de l'évaluation. J'aime ce qui se passe dans le domaine médical, dans les hôpitaux où, sauf dans certaines situations d'urgence, un patient fait l'objet d'un triage, d'une évaluation clinique et d'un examen historique par le médecin, d'un examen de laboratoire, d'une radiologie, etc. En fonction des circonstances et des ressources, il juge si toutes ces sources d'information sont essentielles ou non.

      Les méthodes mixtes sont excellentes, mais leur degré d'utilisation et leur séquence doivent être basés sur les circonstances du programme et de l'évaluation, sinon, au lieu de répondre aux questions d'évaluation d'un programme complexe ou compliqué, nous nous retrouvons avec une constipation des données. Il n'est peut-être pas très judicieux d'utiliser toutes sortes de méthodes qualitatives à la fois, c'est-à-dire des enquêtes ouvertes, des entretiens d'information clés, des réunions de réflexion communautaire, des observations, des examens de documents, etc. en plus des méthodes quantitatives.

      Quoi qu'il en soit, les projets individuels du programme ont peut-être déjà fait l'objet d'une évaluation complète et leur contribution aux objectifs du programme a été documentée, et quelque chose de simple, comme un examen, est ce qui est nécessaire au niveau du programme.

      Quand c'est compliqué ou complexe, il faut faire simple. Données allégées.

      Ce que j'en pense.

      Je vous remercie.

      Gordon

  • Reporting evaluation results or communicating evaluation results?

    Discussion

    • Gordon Wanzare

      Monitoring, Evaluation, & Learning Expert
      Kenya

      Chers membres,

      C'est une discussion intéressante !

      Le rapport fait partie de la communication et le rapport est l'un des outils de communication. Idéalement, chaque projet, programme ou intervention devrait disposer d'un plan de communication clair fondé sur une analyse des parties prenantes ( ...qui identifie clairement les rôles, l'influence et la stratégie de gestion). Un plan de communication spécifique pour les évaluations peut également être élaboré. Un plan de communication comporte généralement des lignes d'activité et de budget, ainsi que des responsabilités, et doit faire partie du budget global du projet, du programme ou de l'intervention. Il n'est peut-être pas pratique pour l'évaluateur d'assumer toutes les responsabilités du plan de communication de l'évaluation, mais il peut en assumer certaines, en particulier les principales, car la communication peut être une affaire de longue haleine, surtout si elle vise à influencer la politique ou à modifier les comportements, et, comme nous le savons tous, les évaluateurs sont normalement limités par le temps. La communication secondaire de l'évaluation peut être prise en charge par les gestionnaires et les commissaires d'évaluation avec le soutien technique des partenaires de communication.

      C'est mon avis. 

  • Reporting and supporting evaluation use and influence: Tips from evaluators

    Blog

    J'ai récemment mené une enquête auprès des évaluateurs pour examiner le concept de l'utilisation de l'évaluation, la manière dont les praticiens de l'évaluation la conçoivent et comment cela se reflète dans leur travail – en d'autres mots, la manière dont les évaluateurs rendent compte et soutiennent l'utilisation et l'influence de l'évaluation.

    Aperçu de l'utilisation et de l'exploitation de l'évaluation

    L'approche de l'évaluation axée sur l'utilisation développée par Michael Quinn Patton (utilization-focused evaluation ou UFE) se fonde sur le principe que l'évaluation doit être jugée à l'aune de son utilité pour les utilisateurs visés. Ainsi, les évaluations doivent être programmées

    Posté par

  • Reporting and supporting evaluation use and influence

    Discussion

    • Gordon Wanzare

      Monitoring, Evaluation, & Learning Expert
      Kenya

      Chers tous,

      Merci pour les contributions pertinentes et très utiles à ce débat que j'ai lancé. Merci également d'avoir rempli l'enquête ; nous avons reçu 70 réponses d'évaluateurs. Ce débat a été très riche et, dans le cadre de l'échange continu de connaissances, nous synthétiserons les contributions, analyserons les réponses à l'enquête et publierons un blog dans les prochains jours, qui, je pense, vous sera utile. Ne manquez pas le blog sur le site web d'EvalForward.

      Thank you! Asante! Merci! Gracias! Grazie! शुक्रिया, ඔබට ස්තුතියි, நன்றி, Salamat, Takk skal du ha, Bedankt, Dankeschön ...

    • Gordon Wanzare

      Monitoring, Evaluation, & Learning Expert
      Kenya

      Chers tous,

      Les connaissances, expériences et réflexions partagées sur ce sujet sont très pertinentes et utiles. Merci pour vos contributions ! Voici quelques-uns des éléments que j'ai retenus jusqu'à présent. D'autres contributions/réflexions sont les bienvenues. N'oubliez pas non plus de répondre à l'enquête ici (en anglais).

      Un rapport d'évaluation concis

      Rédiger trop de pages, c'est-à-dire un rapport d'évaluation volumineux, risque d'ennuyer le lecteur/utilisateur, qui lirait des choses qu'il connaît déjà ou qui chercherait à aller droit au but. Très peu de personnes, y compris les utilisateurs de l'évaluation, prendraient le temps de lire d'énormes rapports d'évaluation. En fait, même les évaluateurs sont moins susceptibles de lire (une fois finalisé) un rapport qu'ils ont produit ! Voici quelques-unes des recommandations : 
      - Faire une page exécutive de moins de 4 pages (écriture recto-verso), soulignant les résultats et la conclusion et les recommandations basées sur les résultats.
      - Faire un résumé de moins de 10 pages, avec plus de tableaux, de diagrammes et de conclusions sous forme de puces.
      - Le rapport complet doit faire 50 pages.
      - Mettre en évidence les changements (ou l'absence de changements) et souligner les résultats contre-intuitifs et les idées sur les indicateurs ou les variables d'intérêt. 

      Au-delà du rapport d'évaluation : utilisation de supports visuels

      Tant que les évaluations ne seront pas principalement perçues comme des exigences et des rapports bureaucratiques, nous passerons à côté de possibilités fantastiques pour mieux apprendre. Il est regrettable que nous supposions que la seule "rédaction de rapports" soit la meilleure façon de saisir et de transmettre des preuves et des idées. Communiquer les résultats d'une évaluation de manière concise, compréhensible et significative est un défi. Nous avons besoin d'une pensée à la fois littérale et visuelle pour utiliser l'évaluation en résumant les résultats d'une manière plus visuelle grâce à l'utilisation de graphiques, de dessins et de multimédia. Par exemple, le PAM des Nations unies dans la région Asie-Pacifique associe l'évaluation à la facilitation visuelle grâce à une méthodologie appelée EvaluVision. Il est utile d'impliquer des personnes qui peuvent avoir de fantastiques capacités d'apprentissage, d'analyse et de communication, mais qui ne sont pas nécessairement des rédacteurs de rapports.
      Cependant, le défi est que les visuels sont souvent perçus comme "agréables" et "cool". Tout le monde les aime et les trouve utiles, mais il faut quand même élaborer un rapport normal, car c'est ce que veulent les commissaires d'évaluation, y compris les bailleurs de fonds. 

      Un changement de paradigme dans la formulation des recommandations

      Il y a souvent des écarts entre les résultats, les conclusions et les recommandations dans le rapport d'évaluation, ce qui peut nuire à la qualité et à l'utilisation des évaluations. Traditionnellement, les évaluateurs procèdent à la formulation de recommandations à partir des conclusions, mais le fait de permettre à l'équipe de mise en œuvre du projet de faire appel à un responsable politique pour rédiger conjointement des recommandations exploitables peut contribuer à améliorer l'utilisation de l'évaluation. Le rôle de l'évaluateur est de s'assurer que toutes les conclusions ou résultats importants sont traduits en recommandations exploitables en aidant l'équipe de mise en œuvre du projet et le décideur politique à rester aussi proches que possible des preuves et des idées de l'évaluation. Cela peut se faire en posant des questions qui permettent d'aboutir à des recommandations exploitables et en veillant au flux logique et aux liens empiriques de chaque recommandation avec les résultats de l'évaluation. L'objectif est que les utilisateurs de l'évaluation s'approprient les recommandations tandis que l'équipe d'évaluation s'approprie les résultats empiriques. Avec la participation des principales parties prenantes, les résultats de l'évaluation sont relativement faciles à vendre aux décideurs. L'analyse des parties prenantes est donc essentielle pour comprendre l'intérêt, l'influence et la catégorie des parties prenantes afin de mieux les aider à utiliser les évaluations.

      Leçons tirées de la pratique des audits : Le feedback/réponse de la direction peut-il être utile ?

      Doit-on attendre un retour d'information de la part des utilisateurs de l'évaluation ? Généralement, les projets de rapports d'évaluation sont partagés avec les responsables de la mise en œuvre pour examen et approbation. Dans le domaine de l'audit, le retour d'information est obligatoire dans un court laps de temps, de la part du client qui doit répondre aux observations de l'auditeur, tant positivement que négativement. Peut-être, comme mentionné ailleurs, le fait de travailler avec les utilisateurs des preuves générées par une évaluation sous la forme de résultats et de conclusions afin de formuler des recommandations exploitables peut servir de retour d'information/réponse de la direction. Cependant, la communication et la relation doivent être gérées avec soin afin que l'évaluation ne soit pas perçue comme un travail d'audit tout comme, dans certains cas, elle est perçue comme du "maintien de l'ordre".

      Le suivi des actions

      Un suivi d'action (en MS Excel ou tout autre format) peut être utilisé pour suivre dans le temps la mise en œuvre des recommandations. Simplifier le rapport d'évaluation dans un langage et un format adaptés au public, tels qu'une note de politique générale de deux pages, une note d'évaluation et une brochure d'évaluation, en fonction des thèmes spécifiques qui ont émergé de l'évaluation, est une pratique relativement utile pour deux raisons :
      - Les évaluateurs ne sont pas les seuls acteurs, il y a d'autres parties prenantes qui maîtrisent mieux les réalités programmatiques.
      - L'équipe de mise en œuvre dispose d'un espace pour aligner ses voix et ses connaissances sur les résultats de l'évaluation.
      - La fin d'une évaluation n'est pas, et ne devrait pas être, la fin de l'évaluation, d'où la nécessité pour les institutions de suivre la façon dont les recommandations de l'évaluation sont mises en œuvre pour des actions correctives, la prise de décision ou de politique, l'utilisation des preuves de l'évaluation dans de nouvelles interventions, etc.

      Création d'alliances et de relations pour l'utilisation des preuves

      Généralement, il existe des sous-groupes ou des équipes techniques et politiques. Dans certaines situations, les équipes techniques relèvent d'une équipe administrative qui assure l'interface avec la politique. Les évaluateurs travaillent souvent avec l'équipe technique et n'ont pas forcément accès aux autres équipes. Les parties rapport et recommandation sont banales, quel que soit le processus dans lequel elles sont faites. La question préoccupante est le délai entre la soumission du rapport et les actions politiques dans les pays en développement. L'institutionnalisation de l'utilisation des données probantes est essentielle pour renforcer l'utilisation et l'influence des évaluations, mais elle peut prendre du temps, en particulier les changements structurels (approche descendante). Si la direction générale soutient pleinement l'utilisation des données probantes, c'est une excellente occasion à ne pas manquer. Cependant, il est également très utile de prendre des mesures modestes mais sûres pour initier des changements à partir de la base, comme la création de petites alliances et de relations pour l'utilisation des données probantes, l'intégration progressive de parties prenantes plus "influentes" et la mise en évidence des avantages des données probantes et de leur impact sur l'organisation chargée de la mise en œuvre, les décideurs et les communautés.

      Évaluations en temps réel

      L'évaluation doit être rapide et opportune à l'ère des pandémies et des situations de crise. Nous devons "communiquer tout le temps". L'actualité est l'une des dimensions de la qualité des données. L'actualité reflète le temps qui s'écoule entre la disponibilité des données et les événements ou phénomènes qu'elles décrivent. La notion d'actualité est évaluée sur la période de temps qui permet à l'information d'avoir de la valeur et d'être encore exploitée. Les évaluations doivent être opportunes pour qu'elles aient de la valeur et qu'on y donne suite.

      Au-delà de l'utilisation des preuves

      La raison ultime de l'évaluation est de contribuer à l'amélioration ou à l'impact social. Cela inclut, mais en même temps va au-delà de la simple utilisation des résultats de l'évaluation pour changer les politiques ou les programmes. De cette façon, l'utilisation de l'évaluation en soi cesse d'être l'objectif final des évaluations, puisqu'elle vise des changements qui favorisent l'amélioration de la vie des gens. Démontrer comment une évaluation contribue à l'amélioration ou à l'impact socio-économique peut renforcer la valeur, l'influence et l'utilisation des évaluations.
       

      Gordon Wanzare