Silva Ferretti is a freelance consultant with extensive international experience in both development and humanitarian work. She has been working with diverse organizations, committees, networks and consortia (e.g. Agire, ActionAid, CDAC, DEC, ECB project, Handicap International, HAP, Plan International, Save the Children, SPHERE, Unicef, WorldVision amongst many others).
Her work is mainly focused on looking at the quality of programs and on improving their accountability and responsiveness to the needs, capacities and aspirations of the affected populations.
Her work has included impact evaluations / documentation of programs; set up of toolkits, methodologies, standards, frameworks and guidelines; coaching, training and facilitation; field research and assessments.
Within all her work Silva emphasizes participatory approaches and learning. She has a solid academic background, and also collaborated with academic and research institutions in short workshops on a broad range of topics (including: innovations in impact evaluation, Disaster Risk Management, participatory methodologies, protection, communication with affected populations).
She emphasizes innovation in her work, such as the use of visuals and videos in gathering and presenting information.
Silva Ferretti
Freelance consultantStanding ovation, Musa. Je suis tout à fait d'accord avec vous.
Aujourd'hui, la plupart des projets sont déjà très structurés et intègrent tous les éléments que vous avez mentionnés, au point de les enfermer dans une camisole de force (mais c'est un débat pour un autre jour !).
Si des problèmes importants continuent d'apparaître malgré ces investissements considérables en matière de suivi et d'évaluation, peut-être devrions-nous réévaluer nos approches en matière de gestion et de suivi et d'évaluation plutôt que d'introduire encore un autre processus externe.
Permettez-moi de réitérer mon point de vue : les ressources consacrées aux processus d'évaluabilité - qui ne font que révéler des lacunes qui devraient déjà être apparentes - ne constituent pas l'utilisation la plus efficace de nos ressources limitées en matière d'évaluation. Un meilleur investissement consisterait à renforcer les capacités organisationnelles et à localiser les efforts d'évaluation, plutôt que de payer continuellement des consultants externes.
Ou, au lieu d'investir perpétuellement dans des processus qui nous enferment davantage dans les mêmes cadres, nous pourrions utiliser les ressources pour nous assurer que les évaluations et les processus d'évaluation sont adaptés, significatifs et localisés - et pas seulement des exercices de « copier-coller » recyclant les mêmes TdR encore et encore.
---
POINT DE BONUS : une touche d'intelligence artificielle (IA) :
J'ai demandé à l'IA de prendre la position d'un partisan de l'évaluation de l'évaluabilité et de critiquer ma réponse. Vous savez quoi ? Je vois les points de la réponse générée par l'IA et je suis conscient que les partisans de l'évaluation sont motivés par des aspirations fortes et authentiques. Cependant, je vois aussi à quel point ils sont ambitieux. La réalité, telle qu'elle est apparue dans certains messages de cette conversation, est que l'évaluation de l'évaluabilité risque de devenir une nouvelle couche de bureaucratie ou de contrôles étroits plutôt que l'outil de transformation auquel elle aspire. Et elle est susceptible d'impliquer des actions à court terme menées par des consultants externes. L'investissement dans l'engagement, la capacité et le soutien qu'impliquerait cette approche ambitieuse ne sera probablement pas au rendez-vous : si les projets ne sont pas évaluables, il n'y a pas souvent de solution rapide pour les rendre tels. Appelez-moi pessimiste, mais je reste sceptique. Et j'ai beaucoup d'idées sur la manière dont l'argent pourrait être dépensé à la place.
[Ci-dessous la réponse de l'IA]
« Bien que je comprenne les préoccupations soulevées au sujet de la redondance potentielle des évaluations de l'évaluabilité (EE) dans des projets bien structurés, je pense qu'il est important de considérer la valeur unique que l'EE apporte à la table - au-delà du simple fait de combler les lacunes dans les cadres de S&E existants.
Tout d'abord, l'évaluation environnementale est plus qu'une simple liste de contrôle ou un audit de ce qui devrait déjà être en place ; elle permet de tester rigoureusement la logique et la faisabilité d'un projet avant que des ressources importantes ne soient dépensées. Même avec un cadre logique et un cadre de suivi et d'évaluation solides, les projets peuvent parfois ne pas tenir compte d'hypothèses essentielles ou négliger des risques potentiels qui ne deviennent apparents que dans le cadre d'un processus d'évaluabilité spécifique. L'évaluation environnementale offre une protection, garantissant que les projets sont réellement prêts pour l'évaluation et que les données collectées seront significatives et exploitables.
En outre, s'il est vrai que la plupart des projets sont aujourd'hui très structurés, la complexité et l'ampleur de nombreuses interventions signifient que des lacunes peuvent encore apparaître malgré les plans les mieux conçus. L'évaluation environnementale permet un examen ciblé de ces lacunes potentielles, offrant une approche proactive de la résolution des problèmes plutôt que d'attendre qu'ils surviennent au cours de la phase d'évaluation. Cette attitude proactive permet en fin de compte d'économiser du temps et des ressources en identifiant et en traitant les problèmes dès le début, plutôt que de se précipiter pour les résoudre après coup.
Tout d'abord, l'évaluation de l'évaluabilité est plus qu'une simple liste de contrôle ou un audit de ce qui devrait déjà être en place ; elle permet de tester rigoureusement la logique et la faisabilité d'un projet avant que des ressources importantes ne soient dépensées. Même avec un cadre logique et un cadre de suivi et d'évaluation solides, les projets peuvent parfois ne pas tenir compte d'hypothèses essentielles ou négliger des risques potentiels qui ne deviennent apparents que dans le cadre d'un processus d'évaluabilité spécifique. L'évaluation environnementale offre une protection, garantissant que les projets sont réellement prêts pour l'évaluation et que les données collectées seront significatives et exploitables.
En outre, s'il est vrai que la plupart des projets sont aujourd'hui très structurés, la complexité et l'ampleur de nombreuses interventions signifient que des lacunes peuvent encore apparaître malgré les plans les mieux conçus. L'évaluation de l'évaluabilité permet un examen ciblé de ces lacunes potentielles, offrant une approche proactive de la résolution des problèmes plutôt que d'attendre que ceux-ci surviennent au cours de la phase d'évaluation. Cette attitude proactive permet en fin de compte d'économiser du temps et des ressources en identifiant et en traitant les problèmes dès le début, plutôt que de se précipiter pour les résoudre après coup.
En ce qui concerne l'investissement dans des consultants externes, il convient de noter que l'évaluation de l'évaluabilité peut également être localisée et intégrée dans les capacités existantes des organisations. Plutôt que de considérer l'évaluation environnementale comme un processus externe supplémentaire, elle peut être l'occasion de renforcer les capacités internes et de favoriser une culture d'amélioration continue.
En conclusion, si le renforcement des systèmes de suivi et d'évaluation est incontestablement important, l'évaluation de l'évaluabilité ne doit pas être considérée comme redondante ou inutile. Au contraire, elle doit être considérée comme un investissement stratégique visant à garantir que les évaluations sont efficaces, pertinentes et capables de fournir des informations réelles permettant d'obtenir de meilleurs résultats ».
Silva Ferretti
Freelance consultantBonjour encore...
L'évaluabilité consiste-t-elle vraiment à vérifier
« les exigences managériales peuvent-elles être satisfaites » ou plutôt de
« Comprendre quelle approche d'évaluation convient au projet et à son contexte » ?
Je constate que cette tendance à utiliser l'évaluabilité comme une évaluation descendante
refaire surface encore et encore -
réduisant encore le champ d'application de l'évaluation au lieu de l'élargir.
Silva Ferretti
Freelance consultantJe suis d'accord avec vous [contribution de Rick Davies ci-dessous] sur de nombreux points, et oui, il est essentiel de vérifier la réalité de ce qu'une évaluation doit et peut faire.
1.
Je suis d'accord avec vous sur ce point. Et trop d'évaluations sont en pilotage automatique (c'est-à-dire qu'elles copient et collent un modèle avec de petites adaptations à la fin du projet). J'accueille favorablement l'évaluabilité en tant qu'occasion d'élargir les possibilités, par exemple en suggérant des évaluations en temps réel, en promouvant des approches participatives ou en soulignant les questions importantes qui doivent être abordées ou les priorités à traiter. Mais soyons réalistes : la plupart des documents d'évaluabilité que j'ai vus vérifient si le programme a collecté des indicateurs prédéfinis sur un cadre logique/une théorie du changement convenu(e) et demandent de vérifier quels critères de l'OCDE⁄DAC peuvent être évalués. L'Agence autrichienne de développement présente des points intéressants sur l'utilité de l'évaluation telle qu'elle est perçue par les différentes parties prenantes - mais l'annexe est manquante :-( (s'agit-il toujours d'un document de travail ?)
Je rêve d'un document sur l'évaluabilité qui fournisse un catalogue de possibilités plutôt que de se limiter aux approches conventionnelles. Il devrait suggérer qu'une évaluation du développement est possible, par exemple, plutôt que de demander des théories de changement prédéfinies. Sinon, l'évaluabilité étouffera l'innovation au lieu de la promouvoir.
2.
Bien sûr, nous devons dépenser les ressources d'évaluation de manière judicieuse. Et, bien sûr, une bonne évaluation de l'évaluabilité peut déboucher sur des évaluations plus efficaces (et de nombreux gestionnaires d'évaluation savent déjà le faire)
Réflexion sur le rapport coût-efficacité.... est-il vraiment justifié de dépenser beaucoup d'argent pour comprendre seulement si un programme peut être évalué sans apporter d'apprentissage supplémentaire ? Je ne rejette pas cette idée, et oui, elle peut être utile.
Mais, pour les programmes appropriés, il est possible d'avoir une évaluation par étapes où la première phase évalue le programme et fournit quelques enseignements préliminaires tout en comprenant les meilleures options pour les phases suivantes. Bien sûr, il faut un évaluateur ou une équipe qui maîtrise les différentes méthodologies, qui soit adaptable et proche de la direction, mais c'est tout à fait possible. Une évaluation par étapes ne conviendra pas toujours, mais il s'agit d'une possibilité réelle qui peut être occultée par les approches conventionnelles de l'évaluabilité.
3.
Comme je l'ai déjà écrit, la liste de contrôle confirme une compréhension très conventionnelle d'un programme. Je répète ici que j'ai travaillé sur des programmes qui n'avaient pas de cadre logique, ou qui ne fixaient pas d'indicateurs et de points de référence (pensez, par exemple, à l'évolution des modèles de travail), et où l'évaluation a contribué à systématiser les approches. Ces programmes n'auraient tout simplement pas passé les listes de contrôle proposées. Et dans quelle mesure ils auraient pu atteindre des parties prenantes importantes qui n'ont été identifiées qu'en faisant boule de neige. Oui. Je fais référence à des cas particuliers, car j'ai tendance à travailler davantage à la base et sur des projets novateurs. Mais ce sont ces projets qui risquent le plus de passer inaperçus dans le cadre d'une conception conventionnelle de l'évaluabilité.
Je vois donc comment l'évaluabilité telle qu'elle est peut fonctionner pour de grands projets relativement standardisés. Mais telle qu'elle est aujourd'hui, elle n'est pas encore en mesure de devenir une possibilité pour des approches nouvelles et pour libérer des idées et des possibilités, ce dont notre secteur a grandement besoin.
Silva Ferretti
Freelance consultantLa question que je me pose à propos de l'« évaluabilité » est que tous les programmes peuvent (et doivent) être évalués.
Certains programmes se prêtent à des approches plus « rigoureuses » et plus courantes, tandis que d'autres, en raison de leur complexité inhérente, requièrent des méthodologies différentes.
Ces approches alternatives peuvent aider à comprendre des dynamiques qui n'existaient pas auparavant... ce qui est une BONNE chose. Tous les programmes n'ont pas besoin d'être préformatés. Cela peut être particulièrement bénéfique pour les programmes participatifs et innovants/adaptatifs qui doivent déterminer la meilleure façon d'aller de l'avant au fur et à mesure qu'ils progressent.
Il est essentiel que nous n'utilisions pas l'évaluabilité comme une nouvelle brique dans le mur pour faire des évaluations une simple question de conformité aux résultats ou un processus moins coûteux de recherche standard appliquée à des théories de changement arbitraires.
Au contraire, nous devrions considérer l'évaluation comme une opportunité d'évaluer les changements de manière cohérente avec l'intention et le contexte du programme. La question n'est donc pas de savoir si le programme peut être évalué à l'aide d'une boîte à outils standard (ce que l'évaluabilité risque de devenir), mais plutôt de savoir quelle est l'approche évaluative la mieux adaptée à ce contexte.
Lorsque je lis « *Certaines conceptions de projet sont manifestement non évaluables et certains cadres de suivi et d'évaluation sont manifestement inadéquats à première vue. Dans ces circonstances, une évaluation de l'évaluabilité n'est pas nécessaire pour décider s'il y a lieu de procéder à une évaluation. Les efforts doivent se concentrer sur les tâches plus immédiates d'amélioration de la conception du projet et/ou du cadre de suivi et d'évaluation*. » (https://www.betterevaluation.org/methods-approaches/themes/evaluability…)
J'ai vraiment envie de pleurer....
Nous confondons la documentation du projet avec la réalité du travail. D'après mon expérience, de nombreux projets avaient des logogrammes ou des théories du changement sommaires, mais ils étaient formidables. L'évaluation a permis de les systématiser et de mettre en évidence l'apprentissage et la valeur. Si nous continuons à nous intéresser uniquement à ce qui est préformaté, nous manquons la chance d'une véritable transformation.