Les outils visuels peuvent-ils aider les évaluateurs à mieux communiquer et mobiliser?
Chers membres,
Je souhaiterais lancer une discussion sur le potentiel des outils visuels, tels que les animations de tableau blanc et les infographies, pour nous aider à mieux communiquer et mobiliser les parties prenantes de l'évaluation.
Au cours de ces dernières années, j'ai travaillé avec des équipes d'évaluation pour créer des outils visuels tels que des animations de tableau blanc (quelques exemples sont disponibles ici (https://www.harrietmatsaert.com/case-studies/sharing-research-and-evaluation-findings) ou des infographies (consultez un exemple ici https://www.harrietmatsaert.com/case-studies/explaining-a-process-or-idea), pour partager les résultats de l'évaluation.
Je crois que ces outils visuels peuvent nous aider à atteindre un public plus large.
Une fois ce public atteint, ces outils présentent des messages essentiels de manière accessible et remarquable, de sorte que nos évaluations ont plus de chance de déboucher sur un apprentissage et une prise de décision plus éclairée..
Je suis également enthousiaste à l'idée de pouvoir utiliser des outils visuels plus tôt lors du processus d'évaluation.
Le travail de l'Initiative Evaluvision du PAM qui utilise l'élaboration participative d'image dans les réunions de validation en est un exemple (voir https://www.youtube.com/watch?v=8OS9neGPHr4)
Cela donne aux parties prenantes la possibilité de voir l'«image d'ensemble» des résultats d'une évaluation et contribue à l'analyse générale (en veillant à ce que leur perspective et leurs données soient incorporées).
Je vous soumets donc les questions suivantes:
- Quelles sont vos réflexions et vos expériences en matière d'utilisation d'outils visuels dans les évaluations?
- Quels type/phase de l'évaluation sont selon vous les plus appropriés pour l'utilisation d'outils visuels?
- Avez-vous d'autres idées ou interrogations en ce qui concerne les outils visuels?
- Avez-vous des liens ou des ressources à partager pour l'utilisation d'outils visuels?
Je me réjouis de partager des idées avec vous!
Harriet
Pamela Dianne White
Senior Manager Cowater International Finland OyBonjour Harriet,
Je voulais juste vous féliciter - vous avez de très bons exemples. La vidéo sur la crise du criquet, en particulier, est un excellent produit.
Meilleurs vœux, Pamela
Harriet Maria Matsaert
FAOMerci encore pour toutes vos contributions inspirantes et stimulantes.
Je me rends compte que je n'ai encore rien dit sur la manière dont nous utilisons les outils visuels au Bureau de l'évaluation de la FAO (OED), où je travaille actuellement.
Notre mission à l'OED (visualisée ci-dessous) est de permettre des décisions bien informées. L'une des façons dont nous essayons d'atteindre cet objectif (un pilier du modèle de stratégie ci-dessous...) est de créer des produits de communication accessibles et utiles à nos principaux utilisateurs d'évaluation.
Pour ce faire, l'équipe de l'OED chargée de gestion des connaissances et de la communication rencontre les équipes d'évaluation afin d'identifier les principaux utilisateurs de l'évaluation et d'examiner quels enseignements de l'évaluation leur seront utiles. Sur la base de cette discussion, nous travaillons ensemble pour développer des produits de communication afin de partager des messages pertinents avec différents publics. Nous utilisons des outils visuels pour rendre ces messages plus accessibles à ceux qui n'ont pas le temps ou l'envie de lire un rapport d'évaluation complet, ou qui ne s'intéressent qu'à un aspect particulier des résultats.
Le bureau a un contrat avec un praticien visuel (moi !) pour créer des produits visuels au fur et à mesure de nos besoins. Cet accord permanent nous permet de répondre rapidement aux opportunités, de développer des visuels de manière itérative et d'affiner et de mettre à jour nos produits en fonction des besoins.
Les produits que nous avons testés jusqu'à présent sont les suivants :
Animations et vidéos de tableaux blancs :
courtes...
https://www.youtube.com/shorts/O33rOoVylSk
et plus longues..…
https://www.youtube.com/watch?v=8S3BeOtpn9k&t=245s
Infographies : celle-ci présente une étude de cas tirée de l'évaluation de l'ODD 14.
Aperçus visuels des rapports d'évaluation
https://www.fao.org/evaluation/list/country-programme-evaluation-of-fao-in-jordan/en
Icônes : celle-ci représente l'un des "quatre meilleurs" de la FAO, à savoir une meilleure production.
et des dessins animés
Cette bande dessinée a été utilisée lors d'un séminaire en ligne sur notre approche de la réalisation des objectifs de développement durable.
Pour l'avenir (et inspirée par les idées issues de cette discussion), j'aimerais voir notre équipe mettre en place des boucles de retour d'information pour contrôler et améliorer l'efficacité des différents produits et canaux que nous utilisons. J'espère que nous serons également en mesure d'intégrer des outils visuels plus profondément dans le travail de l'OED : non seulement pour communiquer les résultats, mais aussi pour s'engager avec les parties prenantes tout au long du processus d'évaluation, et pour soutenir les autres piliers de notre stratégie de certaines des manières décrites dans ce groupe de discussion.
À suivre donc ! Un résumé de notre discussion et un blog seront bientôt disponibles sur le site web d'Evalforward. Je me réjouis de continuer à partager des idées avec vous tous au cours des prochains mois.
Harriet
Keisuke Taketani
Graphic facilitator FreelanceBonjour à tous,
J'apprécie vraiment cette discussion très active. Il semble que nous réalisions qu'il existe de nombreux aspects de la visualisation en termes d'outils, de public et d'objectifs, et ce n'est que le début du début du début.
Par coïncidence, j'ai reçu ce matin un avis annonçant le lancement d'une formation en ligne spécialisée dans la visualisation et l'évaluation des données.
https://lovingvisuals.com/.
La personne à l'origine de cette formation est quelqu'un en qui je peux avoir confiance en matière d'évaluation et de visualisation. Cela pourrait être un bon moyen pour tous ceux qui souhaitent utiliser davantage la visualisation dans les rapports d'évaluation et autres.
Merci beaucoup,
Keisuke
Keisuke Taketani
Graphic Facilitation and Design
www.keisuketaketani.com
Aparajita Suman
Kaizen, a Tetra Tech CompanyObservations très utiles, Silva. Vous avez raison de dire que les éléments visuels sont généralement de jolis ajouts ou des réflexions après coup. Il est grand temps de nous former et de créer un vivier d'experts et de praticiens capables de communiquer dans d'autres langues et sur d'autres supports.
Cordialement
Aparajita
--
Dr. Aparajita Suman
Advisor- Knowledge Management
Coalition for Disaster Resilient Infrastructure
Dreni-Mi Mahamat Djimé
Assistant au Secrétaire Général du Ministère de l"Agriculture Ministère de l'Agriculture/Ancien Directeur des Etudes de la Planification et du SuiviBonjour Chers tous!
J'ai suivi avec beaucoup d'intérêts ces échanges sur l'utilisation des outils visuels pour améliorer la communication. Ceci est bien évident comme nous avions souvent l'habitude d'introduire des images et des dessins dans nos présentations et aussi utilisons ces outils dans le cadre d'élaboration des cartes sociales avec les communautés pour véhiculer au mieux nos messages. Cependant je voudrais aussi remarquer qu'il serait également difficile de partager les résultats d'une évaluation exclusivement avec des outils visuels comme nous faisons souvent face à des environnements multicuturels, multiethniques et multilinguistiques.
Silva Ferretti
Freelance consultantMerci Harriet de partager tous ces outils. Ils sont vraiment utiles !
Cependant... un avertissement amical.
L'utilisation de visuels n'est pas qu'une question d'outils. Les visuels sont une attitude ; ce sont des langages avec des règles et des défis.
Tout comme le fait d'avoir accès à "Word" (et à d'autres traitements de texte) ne garantit pas que vous puissiez écrire efficacement, l'utilisation d'outils visuels ne garantit pas une bonne communication visuelle.
Malheureusement, dans notre monde, les visuels ne sont qu'un ajout.
L'écriture est l'option par défaut ; ensuite, nous pouvons ajouter un joli visuel.
Et dans de nombreux cas, ces visuels sont mauvais, voire nuisibles.
Je me souviens avoir fait remarquer à certains collègues que leurs visuels posaient des problèmes et qu'ils pouvaient être mal interprétés.
Ils se sont limités à hausser les épaules, ne voyant pas le problème.
"Ce n'est qu'un graphique ; pourquoi vous préoccuper autant de détails insignifiants ?".
Ces collègues s'inquiéteraient d'une virgule erronée dans leur texte,
Pourtant, ils partageaient des visuels contredisant leurs messages sans s'en soucier, sans même en voir l'intérêt.
Alors... essayez de vous familiariser avec les visuels.
Mais prenez le temps d'apprendre la langue, demandez un retour d'information et faites preuve d'humilité.
Nous avons besoin de plus de langages - au-delà du seul langage écrit - dans le domaine de l'évaluation.
Mais il y a un cercle vicieux : parce qu'aujourd'hui l'écrit prédomine, les experts et les praticiens sont principalement des "écrivains et des lecteurs" et risquent de résister à d'autres languaes.
Les images sont jolies, mais ce qui compte, c'est le rapport écrit. Ce sont donc principalement les personnes qui écrivent qui seront recrutées.
Il s'agit d'un problème majeur, qui bloque l'appropriation par des personnes ayant des préférences différentes en matière de communication et conduisant à un partage inefficace de messages qui seraient mieux partagés visuellement, théâtralement, ou dans d'autres formes.
Et si vous pensez que "c'est bien, mais si ce n'est pas écrit avec des mots, ce n'est pas fiable, crédible, acceptable...", vous faites partie du problème :-)
Alors... inspirez-vous des excellents outils et ressources partagés par Harried (merci !),
et explorez les supports visuels. Mais n'oubliez pas qu'il ne s'agit pas d'un ajout.
Il s'agit d'un langage nécessaire à maîtriser, mais difficile à utiliser correctement ! :-)
Nicola Theunissen
Communications consultant World Food ProgrammeChère Harriet,
Quelle belle discussion, et tellement de réflexions intéressantes ! J'apprécie le point de vue de Kombate sur la capacité des outils visuels à accroître l'impact. Venant du monde des médias, je suis d'accord pour dire que l'utilisation d'outils visuels au cours du processus d'évaluation permet de raconter une histoire plus convaincante une fois l'évaluation terminée (et publiée) - ou pendant qu'elle est en cours.
En ce qui concerne l'apprentissage, le Bureau d'évaluation du PAM a mené une enquête auprès des parties prenantes de l'évaluation sur les produits de communication et l'utilisation des preuves. Quelques conclusions ci-dessous :
- Sur la question de savoir comment les éléments probants peuvent être mieux canalisés, rassemblés et présentés pour être utiles - 31% des participants ont indiqué des rapports plus courts avec un langage plus simple, 28% ont mis l'accent sur la portée, avec des questions et des résultats plus pertinents, 17% ont mis l'accent sur les processus, 10% sur l'accessibilité et la canalisation, 9% sur la variété avec des produits plus adaptés et 5% ont indiqué la rapidité.
- Dans l'ensemble, les produits d'évaluation plus courts (tels que les résumés de rapports d'évaluation) ont été jugés beaucoup plus utiles que les rapports d'évaluation complets (81 % contre 58 %).
- Les produits tels que les notes de synthèse et les infographies ont été jugés plus utiles par les directeurs et les cadres supérieurs.
- Bien que les résultats montrent clairement qu'il est nécessaire de rédiger des textes plus courts, lorsqu'on leur demande quel est le format préféré pour recevoir des informations sur l'évaluation, la majorité du public indique toujours la lecture (74 %), suivie de l'oral (65 %), de la vidéo (56 %) et de l'audio (39 %).
Traduire des informations d'évaluation dans un langage visuel nécessite des compétences spécifiques qui devraient être adaptées au contexte et à la culture. Je suis une fervente partisane de l'utilisation de la visualisation dans les processus et les produits d'évaluation ; cependant, il est important de prendre en compte le fait que des publics spécifiques peuvent encore avoir besoin d'informations textuelles (en utilisant la visualisation comme une aide au message), tandis que d'autres peuvent préférer recevoir l'ensemble du message dans un format visuel. Il est donc essentiel de comprendre les besoins d'information spécifiques des publics pour atteindre l'objectif et l'utilisation de l'évaluation.
Harriet Maria Matsaert
FAOMerci encore pour les excellentes contributions de chacun à cette discussion jusqu'à présent.
Pour aider ceux qui n'ont pas encore utilisé d'outils visuels et pour donner aux autres quelques idées sur ce que nous pourrions faire pour élargir et approfondir notre utilisation des outils visuels, il serait bon de partager toutes les ressources utiles que nous connaissons : outils, ressources, contacts... Nous pouvons les rassembler et les mettre à disposition sur EvalForward après la clôture de cette discussion.
Pour commencer, voici quelques ressources que j'ai trouvées utiles :
Lignes directrices (publications/vidéos/sites web) :
Outils
Videoscribe est un outil très convivial que vous pouvez utiliser pour créer de courtes animations de tableau blanc (il existe une version d'essai gratuite) https://www.videoscribe.co
Netmap - pour une analyse participative des réseaux sociaux Boîte à outils NetMap: https://netmap.wordpress.com/about
Services
Le Forum international des praticiens visuels dispose d'un réseau de praticiens travaillant sur tous les continents. Visitez le site https://ifvp.org pour trouver un praticien près de chez vous.
Shweta Anand
Assistant Professor Lady Irwin College, University of DelhiChers tous,
Comme l'a mentionné Harvey Garcia dans un commentaire précédent, l'analyse des réseaux sociaux (SNA) est un outil intéressant à utiliser dans les évaluations. Je fais actuellement partie d'une équipe qui travaille avec la fonction d'évaluation du CGIAR. Nous évaluons la plateforme Genebank du CGIAR et planifions une analyse des réseaux sociaux qui aiderait le CGIAR et les banques génétiques à identifier les principaux nœuds/acteurs/partenaires et à étudier leurs relations et modèles d'interaction afin d'explorer la pertinence et l'efficacité de la plateforme Genebank et la manière dont la plateforme a répondu aux besoins de ses utilisateurs et de ses partenaires.
La SNA est souvent utilisée pour analyser et améliorer les flux de communication au sein des organisations ou avec leur réseau de partenaires. Elle est utile pour la visualisation des données afin de découvrir des modèles de relations et d'interactions.
Pour cette évaluation spécifique, l'analyse fournira des informations utiles en termes d'évaluation des flux de communication existants et de la manière dont ces relations peuvent être utilisées pour renforcer le fonctionnement de l'organisation et/ou de l'initiative du CGIAR.
Dans le cadre de la présente évaluation, la SNA contribuera à
Les questions visant à analyser les modèles d'interaction et à identifier les forces des relations seront incorporées dans le questionnaire en ligne ou les entretiens utilisés pour l'évaluation et seront analysées à l'aide de Gephi ou de tout autre outil de SCN en ligne tel que Pajek ou UCINET.
Lillian De Bortoli
Court Services Victoria AustraliaChère Harriet
Merci beaucoup pour l'envoi de ce visuel.
Je travaille actuellement à l'établissement d'un cadre d'évaluation pour les tribunaux de l'État de Victoria, en Australie. Votre diagramme fournit une excellente vue d'ensemble de la manière dont je peux conceptualiser le cadre, alors que je considère les lacunes existantes, le renforcement des capacités et le développement d'une culture globale de l'évaluation et de la prise de décision fondée sur des données probantes. L'outil visuel m'a certainement permis de faire passer le message !
Je vous remercie encore une fois.
Dr Lillian De Bortoli (she/her)
Manager, Performance and Evaluation
User Experience, Data and Insights
Wurundjeri Woi-Wurrung Country
Maurice Otieno Mando
P.A Amref Health Africa in UK(Coast Region and Kajiado)Les outils visuels jouent un rôle essentiel dans l'amélioration de la communication et de l'engagement des évaluateurs. Ils apportent une aide précieuse en améliorant la clarté et la compréhension d'informations complexes. Les évaluations impliquent souvent de travailler avec des données étendues ou complexes, et les aides visuelles telles que les tableaux, les graphiques et les infographies permettent aux évaluateurs de présenter ces données dans un format plus accessible. En visualisant les données, les modèles, les tendances et les relations deviennent plus évidents, ce qui permet aux évaluateurs de communiquer efficacement leurs conclusions aux parties prenantes.
En outre, les évaluateurs analysent souvent des systèmes ou des processus complexes. Dans ce cas, les outils visuels tels que les diagrammes, les organigrammes et les modèles conceptuels s'avèrent inestimables. Ces représentations visuelles permettent de mieux comprendre les interdépendances entre les différents éléments du système, ce qui facilite les discussions et la collaboration entre les parties prenantes. En fournissant un langage commun et un point de référence visuel, ces outils permettent de transmettre des informations de manière efficace et d'impliquer les parties prenantes de manière plus active.
En outre, les outils visuels contribuent aux techniques de narration et de récit lors de l'élaboration des rapports d'évaluation. L'intégration d'éléments visuels tels que des images, des illustrations ou des vidéos dans les présentations et les rapports renforce leur impact, rendant les résultats plus attrayants et mémorables. En tirant parti de la narration visuelle, les évaluateurs peuvent faire passer efficacement leur message, susciter des émotions et capter l'attention des parties prenantes, ce qui se traduit par un meilleur engagement et une meilleure compréhension des résultats de l'évaluation.
Les processus d'évaluation participative peuvent bénéficier de manière significative des outils visuels. Des techniques telles que la cartographie mentale, la cartographie conceptuelle et les visualisations collaboratives favorisent l'engagement actif des parties prenantes. Ces outils facilitent les discussions de groupe, les séances de remue-méninges et les exercices de recherche de consensus. En encourageant l'expression de perspectives diverses et en favorisant un sentiment d'appropriation chez les participants, les outils visuels renforcent l'engagement et la collaboration.
En conclusion, les outils visuels constituent des aides essentielles pour les évaluateurs, leur permettant de communiquer plus efficacement des informations complexes et d'impliquer les parties prenantes. Grâce à la visualisation des données, aux modèles conceptuels, aux techniques de narration et aux approches participatives, les outils visuels améliorent la compréhension, favorisent la collaboration et augmentent l'impact des évaluations. En exploitant le pouvoir des visuels, les évaluateurs peuvent transmettre efficacement leurs résultats, capter l'attention des parties prenantes et faciliter des discussions et des processus de prise de décision significatifs.
Harriet Maria Matsaert
FAOJ'apprécie notre discussion jusqu'à présent !
Mustapha Malki
Independent consultantCher Ram,
Je vous remercie pour ce thème intéressant qui m'a ramené à la période entre 1996 et 2002 où j'ai accumulé une importante expérience pratique avec l'utilisation d'outils participatifs dans le développement communautaire et où j'ai découvert la philosophie de Robert Chambers sur la participation. Il n'a pas été facile d'impliquer les bénéficiaires du développement dans l'élaboration de cartes sociales et de cartes des ressources, de cartes historiques et de transects, etc., car nous étions une équipe de spécialistes en R&D communautaire et participative cherchant à appliquer la philosophie de Robert Chambers dans son sens le plus profond : CE N'EST PAS LE FAIT D'UTILISER DES OUTILS PARTICIPATIFS QUI NOUS REND "ORIENTÉS VERS LA PARTICIPATION", MAIS LA MANIÈRE DE LES UTILISER. Et cette façon, pour nous, ne consistait pas à faire parler les bénéficiaires du développement, puis à repérer leurs informations sur un outil participatif, mais plutôt à les former à l'utilisation de ces outils, puis à les assister dans l'exercice de terrain pendant qu'ils dessinent certains de ces outils. C'est ainsi que nous avons pu apprendre d'eux - OUI, nous avons appris d'eux avant qu'ils ne commencent à apprendre de nous - et comprendre très bien leur état d'esprit et leurs pensées. Par la suite, nous avons repéré toutes les informations nécessaires sur des cartes géographiques afin de rendre les choses plus claires et nous avons inclus tous les outils dessinés par les bénéficiaires dans des parties (ou annexes) de nos rapports.
Et pour conclure, il n'est pas inutile de répéter que les outils participatifs sont de bons outils de visualisation pour renforcer la participation des bénéficiaires et la communication dans toutes les activités de développement.
Salutations distinguées.
Mustapha Malki, PhD
Spécialiste MEL
ABLAYE GAYE
PRÉSIDENT Président comité local thies de RACINES (Réseau des Acteurs et Initiatives et Économiques , Écologiques et Solidaires)Bonjour chers collègues
Je crois que les outils visuels peuvent rendre les données plus accessibles et plus compréhensibles pour les parties prenantes qui ne sont pas des experts en la matière. Cela peut aider à promouvoir la transparence et l'engagement dans le processus d'évaluation.
Pourtant même si on parle de l'évaluation visuelle on a besoin des indicateurs définissant réellement c'est que c’est l'outil visuels et quell est sont rôle et son importance
Layepresi
ablayegaye462@gmail.com
Musa K. Sanoe
National M&E Specialist United Nations Food and Agriculture Organization (FAO)Cher Daniel,
Nous sommes d'accord sur plusieurs points concernant l'évaluation. Mais en ce qui concerne votre point, les "évaluations" commandées et payées par le gouvernement libérien qui évaluent les performances des donateurs, y compris la FAO dans le secteur de l'agriculture ?
Pour autant que je sache, je pense que notre gouvernement procède à une sorte d'évaluation des performances des donateurs. Ces évaluations couvrent tous les secteurs, y compris l'agriculture. La dernière en date est la "Joint Sectoral Portfolio Performance Review" qui s'est tenue du 19 au 29 juin 2023. L'examen fait le point sur toutes les interventions dans les différents secteurs par rapport aux priorités du gouvernement. Il s'agit d'une approche holistique de l'évaluation des performances sectorielles qui s'étend à tous les donateurs. (https://frontpageafricaonline.com/news/government-of-liberia-collaborates-with-united-nations-and-development-partners-for-sector-portfolio-review/)
En outre, le ministère des finances et de la planification du développement dispose d'un système d'évaluation des partenaires d'exécution au cours de leur réaccréditation. Les techniciens procèdent à une évaluation des interventions précédentes, comme condition préalable à l'obtention de l'accréditation, voire de l'autorisation sectorielle.
Silva Ferretti
Freelance consultantExcellente remarque Ram... Puis-je suggérer que les évaluations mécaniques servent à la conformité mécanique et non à la redevabilité ? (surtout si nous aspirons à rendre des comptes aux principales parties prenantes... et aux donateurs attentifs).
Ram Khanal
Advisor Community of Evaluator (COE) NepalChers tous,
De nombreux collègues ont mentionné l'utilité des outils visuels pour une meilleure communication.
Je partage l'utilité de cette approche. J'ai remarqué que les outils visuels - le langage avec une clarté universelle - aident à communiquer (pendant et après l'évaluation) facilement car les outils abordent les barrières linguistiques avec de multiples niveaux culturels et d'alphabétisation parmi les groupes. C'est d'autant plus utile lorsqu'il s'agit d'impliquer les bénéficiaires du développement. D'après mon expérience, les gens deviennent plus coopératifs, comprennent facilement le contexte et l'objectif et contribuent à une prise de conscience rapide, à une meilleure réponse et à un apprentissage croisé.
Mais ces évaluations, dans de nombreux cas, deviennent un processus mécanique avec un rapport longuement rédigé (avec un anglais soi-disant avancé qui n'est généralement pas compris par les nombreuses parties prenantes) qui sert l'objectif de la responsabilité mais pas de l'apprentissage. Dans le cadre de l'évaluation participative, j'ai une certaine expérience de l'utilisation d'outils visuels tels que les cartes des ressources sociales, les diagrammes de Venn, les cartes historiques et de mobilité et le tableau de bord de la communauté à des fins différentes. Les outils peuvent être développés en fonction des besoins et du contexte, mais une utilisation optimale des outils peut donner de meilleurs résultats.
Je vous prie d'agréer, Madame, Monsieur, l'expression de mes salutations distinguées,
Ram
Daniel Ticehurst
Monitoring > Evaluation Specialist freelanceCher Musa,
Votre point de vue sur l'évaluation menée par les donateurs et ses conséquences est largement correct - les machines d'évaluation de Dahler-Larsen.
"Le pilotage, le contrôle, la responsabilité et la prévisibilité reviennent sur le trône. L'objectif de l'évaluation n'est plus de stimuler des discussions sans fin dans la société, mais de les empêcher".
Le fait est que les donateurs financent et conçoivent ces machines. Qu'en est-il de la capacité d'évaluation des organismes donateurs ? Et je ne fais pas référence à l'expertise académique en matière de méthodologie (l'offre), mais plutôt à la politique de la demande.
Par exemple, la fonction d'évaluation du DFID, aujourd'hui FCDO, n'a jamais été indépendante - elle a été cachée sous la fonction plus large de recherche - avec les conséquences inévitables que l'on connaît. Tony Blair était fier de son manque d'adaptabilité, car il n'avait pas de marche arrière et ne pouvait pas changer de cap. Il n'est donc pas surprenant qu'une étude indépendante ait attribué au DFID une note rouge en matière d'apprentissage :
"Le personnel signale qu'on lui demande parfois d'utiliser les preuves de manière sélective afin de justifier ses décisions.
Ce sont souvent les organisations les plus rigides et les plus bureaucratiques qui se félicitent d'être une organisation apprenante. Cela s'est produit, non pas parce que le DFID ne disposait pas de personnel excellent et compétent, mais plutôt parce que les puissants impératifs politiques et institutionnels empêchent de prendre le temps de penser, de réfléchir et d'être honnête.
Soit dit en passant, avez-vous ou connaissez-vous des "évaluations" commandées et payées par le gouvernement libérien qui évaluent les performances des donateurs, y compris la FAO, dans le secteur agricole ?
Musa K. Sanoe
National M&E Specialist United Nations Food and Agriculture Organization (FAO)Je suis d'accord avec Silva Ferretti sur le fait que les évaluations ne sont pas les longs rapports que nous écrivons. Malheureusement, les longs rapports sont toujours les principaux produits attendus. Je pense que c'est parce que nous utilisons les évaluations comme une exigence des donateurs plutôt que pour nos propres besoins d'apprentissage et comme un outil d'amélioration. Dès que nous cesserons de considérer les évaluations comme des exigences des donateurs, nous commencerons à être plus inclusifs et participatifs dans tous nos processus d'évaluation, y compris dans l'élaboration de processus plus inclusifs pour tous. J'insiste en fait sur les gens qui ne comprennent pas la signification des 25 % et des 40 %.
Daniel Ticehurst
Monitoring > Evaluation Specialist freelanceChère Harriet,
Merci beaucoup d'avoir suscité cette discussion et, comme Paul l'a dit, pour les liens vers des exemples spécifiques. C'est très utile.
J'ai aimé l'exemple du travail avec Financial Services Deepening Kenya (FSD) Kenya à Marsabit et la façon dont FSD Kenya a négocié des partenariats avec CARE et Equity Bank [lien ici] (Il serait intéressant de savoir, étant donné que tout cela a commencé en 2016, dans quelle mesure les groupes de Marsabit s'en sortent et s'ils restent dépendants du contrat de sous-traitance de CARE avec FSD Kenya. Quant à Equity Bank, je me demande si les produits d'épargne qu'elle a vendus aux groupes ont trouvé des "marchés" au-delà de Marsabit).
Par ailleurs, je voulais partager ma première expérience de l'utilisation d'outils visuels au début des années 1990 au Bangladesh, dans le cadre d'un projet d'irrigation, et les leçons que j'en tire encore aujourd'hui. Ils répondent à vos deux premières questions.
Je le fais pour deux raisons. Premièrement, je suis d'accord avec Silva Ferretti pour dire que l'utilisation d'outils visuels ne se limite pas à la communication du "résultat" d'une évaluation, mais qu'elle fait également partie intégrante du processus - comme le dit Kombate à propos de la collecte et de l'analyse des données. Deuxièmement, la référence faite par Harvey sur l'utilisation des SIG et de l'imagerie Landsat TM.
Nous avons "mesuré" la superficie des terres irriguées dans des communautés spécifiques à l'aide d'images Landsat du pays sur une période de trois ans. Nous avons constaté que les superficies irriguées variaient considérablement d'une communauté à l'autre au cours d'une même année et au fil du temps pour une même communauté. Nous voulions savoir pourquoi. Plutôt que de rester au bureau, nous avons dessiné à la main des cartes pour chaque communauté à partir des images Landsat et nous les avons emportées avec nous. Nous avons présenté ces cartes à chacune des communautés dans le cadre de groupes de discussion. Les discussions se sont concentrées sur l'écoute des groupes pour comprendre pourquoi et comment la demande en eau d'irrigation variait autant. Les "résultats" de ces discussions ont permis de tirer des leçons non seulement pour la communauté en matière de gestion des installations d'irrigation, mais aussi pour le soutien du gouvernement local de l'upazilla et les implications pour la politique nationale. Pour moi, c'était une leçon sur le fait que si vous voulez savoir pourquoi et comment les gens réagissent aux interventions au niveau national, il suffit d'aller leur demander et d'apprendre d'eux comment ils prennent des décisions et pourquoi. C'est bien mieux que de rester au bureau et de continuer à manipuler des données.
J'espère que ce qui précède n'est pas une contribution trop laconique et crue, et je vous remercie encore.
Meilleurs vœux,
Daniel
Silva Ferretti
Freelance consultantLes évaluations ne sont pas des "rapports écrits".
Les évaluations sont des processus visant à comprendre si, comment et dans quelle mesure le programme produit des changements (attendus et inattendus).
Si l'on adhère à ce point de vue, la communication est clairement au cœur du processus : communiquer l'objectif, susciter des idées, formuler et partager les résultats.
Malheureusement, les évaluateurs se contentent le plus souvent de mots écrits et ne maîtrisent pas d'autres formes de communication.
Cela limite considérablement l'engagement des parties prenantes et le partage des résultats, car d'autres personnes pourraient préférer d'autres méthodes de communication.
D'après mon expérience, presque tout fonctionne mieux que les rapports : dessins animés, graphiques, infographies, théâtre, musique, multimédia, etc.
(oui, je les ai tous essayés et ils ont été bien accueillis par toutes sortes de parties prenantes, y compris les donateurs).
Les évaluateurs ne doivent pas se contenter de penser "rapport". Ils doivent réfléchir à la meilleure combinaison des différents moyens de communication.
Les analphabètes peuvent parfaitement comprendre les supports visuels - à condition qu'ils soient correctement présentés -.
Les boîtes à outils participatives contiennent des idées pour montrer et discuter des pourcentages à l'aide de supports visuels. Il est certain qu'ils sont plus susceptibles de comprendre des supports visuels que des rapports rédigés en anglais...
Bien entendu, si nous entendons par "visuels" uniquement les graphiques Excel, nous passons à côté de tout un monde de possibilités.
Et les visuels ne s'improvisent pas : de même qu'il existe une grammaire pour écrire des mots, il existe une grammaire et un style pour produire des visuels.
Même en ce qui concerne les graphiques de données, il existe des livres entiers sur la visualisation des données, qui offrent des exemples (et soulignent également les problèmes potentiels de mauvaise communication). Un simple visuel peut être très utile. Mais un bon visuel n'est pas simple à réaliser.
Il est clair qu'il faut aller au-delà de l'écrit. Mais n'oublions pas que cela ne s'improvise pas.
Thierno Diouf
Strategic planning, Monitoring, Evaluation and Research, Learning and Adaptation Founder and Executive Director 3DLabMerci d'avoir partagé des outils et des exemples de rapports.
J'aimerais partager mon expérience en matière d'utilisation de supports visuels dans le cadre de programmes, que ce soit lors de l'élaboration ou de la rédaction de rapports.
En tant que spécialiste du suivi et de l'évaluation pour le programme conjoint UNFPA-UNICEF sur l'élimination des mutilations génitales féminines, j'ai tenté d'utiliser des supports visuels pour illustrer la théorie du changement pour la phase IV (Theory of change - Draft Mockup), mais aussi pour le développement d'une série de documents dans le cadre du rapport annuel 2020 : UNFPA-UNICEF Joint Program on FGM - 2020 Annual Report.
Rgds
Lal - Manavado
Consultant Independent analyst/synthesistJe vous salue !
J'ai lu avec intérêt le premier courriel sur ce sujet et les premières réponses. Cependant, je suis un peu perplexe : il est évident que toute évaluation ne peut être entreprise que par rapport à un certain objectif donné. Pour moi, le seul objectif justifiable d'une évaluation est de vérifier si un projet, un programme, etc. peut atteindre ou a atteint l'objectif prévu pour le groupe cible. Ce groupe peut être un groupe de stratèges, de concepteurs d'opérations ou de travaux sur le terrain.
Pour autant que je sache, il est difficile de comprendre comment un tel objectif - atteindre la population cible - peut être visualisé. Sans ce point d'ancrage, les visualisations seraient laissées à la dérive, comme un navire en panne de moteur dans une mer déchaînée.
A la vôtre !
Lal Manavado.
Musa K. Sanoe
National M&E Specialist United Nations Food and Agriculture Organization (FAO)Je suis un nouveau membre de cet important forum et de ce groupe de professionnels. Point de discussion intéressant : les outils visuels peuvent-ils aider les évaluateurs à mieux communiquer et à s'engager ?
Je ne doute pas que les visualisations soient des outils importants pour mieux communiquer et s'engager, en particulier avec les parties prenantes. Mes seules préoccupations sont les suivantes : quel type de visualisation et quelles parties prenantes ? Par exemple, dans mon pays, le Liberia, la grande majorité des parties prenantes et plus particulièrement des bénéficiaires sont analphabètes. Bien sûr, présenter des diagrammes/graphiques sophistiqués, des tableaux avec des pourcentages, n'a vraiment aucun sens et ne leur communiquera rien du tout. Une évaluation est censée promouvoir la redevabilité. Il nous incombe donc explicitement, en tant que praticiens de l'évaluation, de partager avec nos bénéficiaires (ceux qui sont analphabètes) les résultats de l'évaluation. Les graphiques, tableaux et autres aides visuelles peuvent ne rien communiquer de substantiel à ces personnes. Par exemple, 25 % et 40 % sur les graphiques et les tableaux n'ont aucune signification pour eux. Des innovations en matière d'extraction sont nécessaires pour tenir compte de ces personnes parmi les parties prenantes qui doivent participer au partage des résultats de l'évaluation. J'ai testé le partage des résultats de l'évaluation avec ce groupe de personnes sans utiliser de beaux graphiques et tableaux.
Harriet Maria Matsaert
FAOMerci Kombate pour cet excellent résumé des avantages de l'utilisation d'outils visuels. Il est très intéressant d'apprendre comment les membres de notre communauté utilisent ces outils pour améliorer le processus d'évaluation et communiquer les résultats. J'ai trouvé la cartographie des réseaux sociaux très utile pour travailler avec les parties prenantes afin de comprendre et d'obtenir des informations sur les partenariats et les flux de communication. Les cartes de réseaux sociaux peuvent également être utilisées pour communiquer ces informations de manière efficace. Les cartes figurant dans le rapport partagé par Harvey méritent d'être consultées.
Je suis intéressé d'apprendre que le PNUD et la JICA intègrent tous deux les GIS (cartographie et données satellitaires) dans les évaluations et constatent que cela améliore la qualité de l'évaluation (pour la planification, en tant que couche supplémentaire de preuves et pour la communication des résultats). Peut-être y a-t-il là des implications pour la formation et les ressources que nous devons mettre à la disposition de nos équipes d'évaluation pour leur permettre de bénéficier de ces approches ?
Si quelqu'un est intéressé par des conseils et des outils pratiques pour la cartographie des réseaux sociaux dans ses évaluations, il peut consulter la boîte à outils Net-Map https://netmap.wordpress.com/about/
Quelqu'un du groupe l'a-t-il utilisée ?
Merci Isha de nous avoir parlé de l'utilisation croissante d'images dans les rapports de la JICA. J'ai trouvé un bel exemple de résumé visuel de leurs évaluations de projets ici https://www.jica.go.jp/Resource/english/our_work/evaluation/reports/2021/iu2gj8000000ompj-att/glance_2021.pdf
Keisuke, votre travail continue d'être une source d'inspiration pour moi ! C'est tellement bien de voir ce que représente le succès du PAM aux Philippines. J'aime l'idée de créer un concours de coloriage pour que beaucoup de gens (et d'enfants aussi) l'examinent de près. Impliquer des artistes locaux dans le processus de visualisation de l'évaluation est également une excellente idée. N'hésitez pas à partager la vidéo avec nous lorsqu'elle sera prête.
J'ai hâte d'entendre d'autres expériences du groupe !
Harriet
Keisuke Taketani
Graphic facilitator FreelanceChère Harriet,
Merci beaucoup d'avoir lancé une discussion qui me passionne !
Permettez-moi de vous faire part des derniers développements d'EvaluVision au sein du PAM, que vous avez eu la gentillesse de citer en exemple. Après avoir tenté de poser les bases d'une méthodologie, EvaluVision se concentre désormais sur la recherche et le renforcement des talents locaux. Le PAM Népal a organisé un atelier avec les parties prenantes pour discuter d'une étude de base concernant un programme d'alimentation scolaire. J'ai travaillé avec un artiste local pour partager la méthodologie globale d'EvaluVision. Une vidéo documentaire est actuellement en cours de montage, et je pourrai peut-être la partager avant la fin de la discussion.
Outre EvaluVision, j'ai récemment été sollicité pour aider plusieurs bureaux nationaux du PAM à visualiser la théorie du changement. Après avoir participé à plusieurs ateliers techniques pour formuler la TdC, il a été suggéré de faire un visuel d'une page sans aucun terme technique. J'ai proposé, après avoir rédigé une illustration, d'organiser un concours de coloriage auquel tous les membres du personnel ou leur famille pourraient participer. La gagnante a été la fille d'un employé du PAM. Je me rends compte qu'il s'agit davantage d'un tableau de vision que d'une théorie du changement, mais cela permet d'expliquer l'objectif global (à quoi ressemble le succès) et la manière dont nous y parvenons. Pour plus de détails et pour connaître l'œuvre gagnante, cliquez ici.
Une autre utilisation, comme l'a judicieusement souligné Harvey Garcia dans des messages précédents, est le croisement de l'évaluation et de l'analyse des données. Je vois un grand potentiel dans l'utilisation des big data pour l'évaluation. Je ne suis pas un data scientist qui peut partager de nombreuses idées, mais permettez-moi de partager un résumé graphique d'une discussion très intéressante sur l'évaluation et l'intelligence artificielle organisée par la BERD l'année dernière. Je suppose que l'avenir n'est pas si lointain lorsque l'intelligence artificielle créera un résumé graphique si vous téléchargez un rapport d'évaluation de 100 pages. (ou peut-être existe-t-il déjà un tel outil ?)
Cordialement
Keisuke
Isha Miranda
Visiting Lecturer and Independent Evaluator Independent ConsultantL'utilisation d'outils visuels a de nombreux effets positifs
Les éléments les plus importants sont les suivants
Les défis sont les suivants : Les enquêtes en ligne nécessitent la transparence des données et l'identification de l'enquêteur et du destinataire de l'enquête.
Harvey Garcia
Senior Evaluation Specialist United Nations Development Programme, Independent Evaluation OfficeBonjour chers collègues,
Sujet très intéressant. J'ai le sensation que les outils visuels sont sous-utilisés dans la pratique de l'évaluation et qu'ils sont surtout utilisés après que le rapport d'évaluation a été produit, ce qui ne devrait pas être le cas. Je pense qu'il y a maintenant un regain d'intérêt pour l'utilisation de la visualisation des données afin de communiquer non seulement les résultats de l'évaluation mais aussi le processus. La visualisation est également utilisée pour planifier, rassembler et ajouter une autre couche de preuves dans une évaluation. Je me souviens que lorsque j'étais au Bureau de l'évaluation de la FAO, nous utilisions l'analyse des réseaux sociaux (SNA, selon l'acronyme anglais) comme outil de visualisation pour identifier et prioriser les parties prenantes pour les entretiens avec les informateurs clés et aussi pour évaluer le positionnement de la FAO https://www.fao.org/3/i8564en/I8564EN.pdf. Au bureau d'évaluation indépendant du PNUD, nous avons également commencé à utiliser la SNA pour les pays en situation de crise humanitaire, car l'accès et le temps sur le terrain sont limités pour mener des activités d'évaluation.
Le GIS est également une forme d'outil visuel. Son utilisation dans l'évaluation est plutôt limitée et surtout observée dans les évaluations de projets et certaines évaluations thématiques (principalement liées à la sylviculture et à l'infrastructure). Dans l'évaluation de programmes multithématiques (c'est-à-dire l'évaluation de programmes nationaux), son application n'a pas été pleinement optimisée. Au sein du Bureau indépendant d'évaluation du PNUD, nous avons commencé à intégrer l'utilisation du GIS en tant qu'outil de visualisation des données pour planifier les évaluations, fournir des preuves et communiquer nos conclusions aux parties prenantes. Notre dernier programme national indépendant au Cambodge met en évidence l'utilisation du SIG. Nous avons publié notre expérience dans la première édition du Asia Pacific Evaluation Journal. Voici le lien vers l'article :
https://drive.google.com/file/d/10LeQeCEC8ee2Kn6FTGAbLaau7cEphknQ/view
Harvey John D. Garcia, spécialiste principal de l'évaluation
Bureau de l'évaluation indépendante, PNUD
Kombate Yendoukoa Nawanti
Agricultural Economist | Monitoring and Evaluation Specialist University Of KaraBonjour Harriet,
Je suis Kombate, une jeune évaluateur du Togo (un pays d'Afrique de l'Ouest).
J'ai lu attentivement votre courrier dans le groupe evalforward, et j'aimerais partager avec vous mes réflexions sur les outils visuels dans l'évaluation (je ne suis pas un expert, je partage simplement mon opinion, compte tenu de ma passion pour la visualisation des données).
1- L'utilisation d'outils visuels dans les évaluations comme un plus peut:
Les outils visuels peuvent aider les gens à comprendre des informations complexes plus facilement et à s'y intéresser plus profondément. En effet, ils font appel à notre tendance naturelle à traiter l'information de manière visuelle.
Les outils visuels peuvent aider à communiquer les résultats d'une évaluation de manière plus claire, plus concise et plus attrayante. Cela peut s'avérer particulièrement utile lorsque l'on communique avec des parties prenantes qui ne sont peut-être pas familiarisées avec la terminologie ou les concepts de l'évaluation.
Les outils visuels peuvent être utilisés pour faciliter la collaboration entre les parties prenantes de l'évaluation. En effet, ils fournissent un langage et un cadre communs pour discuter des résultats de l'évaluation.
Les outils visuels peuvent contribuer à accroître l'impact des évaluations en les rendant plus accessibles et plus mémorables. Cela peut conduire à une meilleure prise de décision et à de meilleurs résultats.
2- Types d'évaluation/étapes de l'évaluation les plus propices à l'utilisation d'outils visuels
Les outils visuels peuvent être utilisés efficacement à tous les stades du processus d'évaluation, de la planification et de la conception à la mise en œuvre et à l'établissement de rapports. Toutefois, ils sont particulièrement bien adaptés aux étapes suivantes :
Les outils visuels peuvent être utilisés pour clarifier les questions d'évaluation, identifier le public cible et élaborer le plan d'évaluation.
Les outils visuels peuvent être utilisés pour collecter des données auprès des parties prenantes, par exemple par le biais d'entretiens, de groupes de discussion et d'enquêtes.
Les outils visuels peuvent être utilisés pour aider à analyser et à visualiser les données. Cela peut permettre d'identifier des modèles et des tendances et de communiquer les résultats aux parties prenantes.
Les outils visuels peuvent être utilisés pour créer des rapports plus attrayants et plus faciles à comprendre. Cela peut contribuer à accroître l'impact de l'évaluation.
3- Autres idées ou préoccupations concernant l'utilisation d'outils visuels
Il existe de nombreux types d'outils visuels, et chacun d'entre eux a ses propres forces et faiblesses. Il est important de choisir le bon outil pour l'objectif de l'évaluation.
Cela signifie qu'il faut utiliser un langage clair et simple et éviter le jargon. Il est également important de tenir compte du contexte culturel des parties prenantes.
Les outils visuels peuvent être un moyen puissant de communiquer des informations, mais ils ne peuvent pas remplacer un texte écrit clair et concis.
Cordialement
Kombate Nawanti
Project analyst at ShARE
Master Degree in Monitoring and Evaluation
Republic of Togo