Utiliser davantage les institutions locales dans l'évaluation

Chers collègues,

Merci beaucoup d'avoir pris le temps de répondre et d'avoir envoyé vos commentaires et votre expérience.

Ca va sans dire que j'avais espéré entendre une expérience réussie impliquant une université, mais peut-être était-ce un optimisme irréaliste.    

Le commentaire de Lewis N. Kisuku en République démocratique du Congo donnent une bonne idée de la situation dans ce pays. Les problèmes décrits seraient communs à de nombreux pays, tant en Afrique qu'ailleurs. Ses observations sur les contributions du personnel universitaire rejoignent celles d'Isha Miranda du Sri Lanka. Pourquoi le travail des universités ou de leurs membres est-il souvent qualifié de théorique et leurs rapports de longs et souvent tardifs ? Peut-être est-ce dû à un manque de sens commercial, à un manque de pression et au désir fatal de perfection.

Je suis très heureux d'entendre un résultat positif et  de la Gambie envoyé par Paul L. Mendy.  Cela semble montrer ce qui peut être fait avec une collaboration étroite entre les consultants locaux et le personnel de l'agence de financement. Le problème fondamental et le point de départ est de savoir comment acquérir de bonnes données. Cela devrait être une responsabilité locale, et non pas le résultat de quelques visites précipitées d'un spécialiste international qui vient d'arriver par avion.

Si les données sont collectées localement, comment peut-on s'assurer qu'elles sont impartiales, non biaisées et objectives ? Il est probable que des pressions soient exercées pour que les résultats soient sous-estimés ou surestimés. De même, les énumérateurs seront tentés d'imaginer des résultats pour les participants au projet, non pas dans leurs fermes, mais dans un café au bord de la route. Les pressions pour "améliorer" ou modifier les résultats et l'évaluation subséquente se poursuivront jusqu'à et au-delà de la remise du rapport d'évaluation à l'agence qui l'a financé. Il est clairement difficile pour une société commerciale privée ou un individu de résister à toutes ces pressions - et beaucoup plus facile pour une institution.  

Espérons qu'en raison de l'augmentation de la pression pour une implication locale dans l'évaluation suite au Covid, les universités pourraient s'y intéresser davantage.
Un tel intérêt serait bon pour l'évaluation, mais aussi très bon pour les universités et leurs étudiants.

Merci encore d'avoir participé à la discussion

John Weatherhogg   

Au Yémen, les six derniers mois ont été marqués par une forte demande d'évaluateurs nationaux suite à la campagne covid-19. 

Un nombre considérable de sociétés de surveillance tierce ont communiqué avec les évaluateurs nationaux pour les affecter à leurs activités au Yémen.

Cette tendance est un changement significatif qui améliorera le professionnalisme du suivi et de l'évaluation au Yémen et qui contribuera au renforcement des capacités des experts nationaux.

Salut John,

Merci d'avoir abordé ce sujet.

En effet, je suis d'accord avec vous que l'un des points positifs de la pandémie de Covid-19 est qu'elle permet une participation accrue des consultants locaux à l'évaluation, étant donné les restrictions de voyage imposées aux consultants internationaux. Le recours à des consultants locaux est sans aucun doute moins coûteux financièrement. L'augmentation des possibilités offertes aux consultants locaux contribue à renforcer les capacités locales en matière d'évaluation. 

Dans mon cas, en Gambie, la mission d'achèvement du projet national de développement de la gestion des terres agricoles et de l'eau financé par le FIDA (appelé localement Nema Chosso) s'est déroulée avec une combinaison de consultants locaux et internationaux, où ces derniers ont effectué le travail de terrain sur place et les consultations directes avec les bénéficiaires du projet, le personnel et les parties prenantes, tandis que les consultants internationaux (à l'exception d'un couple de Dakar (Sénégal)) ont effectué leurs missions (principalement une revue documentaire et des échanges virtuels avec l'équipe du projet et les consultants locaux). L'arrangement a permis à au moins trois experts locaux, qui n'auraient pas eu cette possibilité autrement, d'effectuer des missions de conseil. La qualité des résultats a été jugée très bonne, enrichie par le mélange d'expertise locale et internationale. Je dois m'empresser d'ajouter que cette opportunité a grandement contribué à enrichir les capacités/compétences des consultants locaux grâce à un mécanisme de retour d'information amical mis en place par le chef d'équipe. Cela est apparu clairement dans les commentaires/observations assez nombreux faits sur certains des rapports préparés par les consultants locaux.

Le directeur de pays et l'équipe du FIDA ont directement géré la mission par l'intermédiaire du chef d'équipe des consultants, qui, heureusement, était basé à Dakar comme l'équipe du FIDA pour la Gambie. Le directeur de pays a passé en revue les étapes convenues de la mission et a recommandé au projet la date d'échéance des paiements. Les paiements ont été effectués localement sur le compte spécial du projet par le biais de chèques bancaires (pour les consultants locaux) et de transferts (pour les consultants internationaux).

Merci,

Paul

Au début de ce siècle, les partenariats Nord-Sud et Sud-Sud ont été encouragés. Si cela s'est produit dans certains endroits, cela n'a pas fonctionné dans d'autres. Les défis de la pandémie de COVID pour l'évaluation n'ont pas été ressentis là où les partenariats ont été établis et les capacités des acteurs locaux renforcées. Dans le cas de la première question, il n'y a pas eu de changement dans ces domaines du fait de la pandémie. Cela s'explique par le fait que les institutions ont travaillé au renforcement de l'inclusion et des partenariats. Nos associations d'évaluation locales, régionales et internationales devraient encourager les collaborations (Sud-Sud et Nord-Sud) qui visent à former des partenariats durables, dans lesquels la capacité des évaluateurs locaux et leur participation à la fois à la conception et à la mise en œuvre des études d'évaluation.

Remarque pertinente par Léa. 
Nous notons tout de même que la mise en oeuvre d'un système de suivi et évaluation dans les pays en voie de développement reste encore un mythe.

A mon humble avis, la Covid-19 a réduit la mobilité des évaluateurs internationaux. Il serait probable que les spécialistes nationaux assument cette tâche mais cela n'est pas effective sur terrain, je me demande la tâche est  désormais attribuée à qui. Il est très surprenant que dans certaines institutions, on considère le même personnel chargé de mise en oeuvre de projet comme évaluateur en leur associant une équipe de vérificateurs. c'est scandaleux.

Je reviens vers LEWIS! concernat la RDC, moi même je pensais que le ministère du plan avait un service de suivi-évaluation. Il est inadmissible que le montant global des financements externes reçu par le pays ne soit pas connu et prétendre faire le suivi de son usage. 

La rédevabilité serait une démarche conséquente d'un suivi rigoureux de gouvernance des projets.

Cher Isha,

Salutations d'Indonésie.

Je suis d'accord avec Lewis et Abubakar, 

1-2. La plupart des évaluations dans les projets de développement sont effectuées par un individu ou une équipe, une équipe représentant généralement un organisme de conseil en évaluation. Pendant la pandémie de Covid19, l'évaluation devient plus flexible en termes de externalisation de certaines activités d'évaluation à la personne ou à l'équipe locale en raison d'une mobilisation limitée. Par exemple, la collecte et la saisie des données sur le terrain, après une formation intensive en ligne sur la façon de mener les travaux sur le terrain. Ainsi, la principale responsabilité, telle que la gestion de l'évaluation, l'analyse et l'établissement de rapports, reste entre les mains des consultants ou des organismes de conseil engagés. 

3. Pour l'évaluation, le financement reste le même, en fonction de qui a besoin de l'évaluation et dans quel but. Dans le cadre du projet, les fonds alloués à l'évaluation sont généralement très faibles (moins de 5 % du budget total du projet), de sorte que le processus d'évaluation implique généralement aussi la collecte de données à partir du système de suivi interne du projet évalué et l'utilisation de méthodologies moins rigoureuses ou d'activités coûteuses.

4. Le défi de l'externalisation de certaines des activités d'évaluation était 1). comment assurer la qualité des collectes de données et des apports, 2). comment équilibrer les attentes du client et la réalité sur place, également 3). Pendant la pandémie, la région isolée ciblée est devenue un autre défi pour accéder aux répondants cibles avec une infrastructure de communication limitée.   

À la vôtre, 

Hiswaty 

1. Comment ce changement de responsabilité est-il géré ? Quelles sont les institutions concernées - gouvernement, universités, ONG, sociétés de conseil privées ou particuliers ?

• Tout d'abord dans mon pays il n'y a pas une instance ou institution qui a le mandat ou la responsabilité de faire les Suivi et évaluation ni des actions du gouvernement, ni celles des ONG ou autres institution internationales à l’instar de l’Afrique du sud (Monitoring and Evaluation, Office of the Public Service Commission of South Africa ) ou encore en Colombie (SINERGIA). Le Ministère du Plan est, en République Démocratique du Congo, le ministère responsable de la planification et de la programmation de la politique de développement économique et social du pays. Il a en son sein 9 directions dont une des « études et planification » et plus de 7 comites et 4 cellules dont une en charge des projets et marches publics et une autre de contrôle et Suivi, etc. mais le mandat ni le rôle n*a jamais été clarifié et ni joue.
• Aucune de nos universités ou instituions de formation dispense un cursus sanctionné par un diplôme en Suivi et évaluation, sauf notre institut supérieur en développement rural qui a une filiale au niveau  « Licence » master2 qui a une option de « Planification régionale ». C’est la qu'’on dispense quelque cours en rapport avec le suivi et évaluation. Ceci pour conclure qu'’il y a un manque criant des compétences de carriers en suivi et évaluation.
• La plupart des évaluations indépendante sont organisées par des individualités : ils peuvent de présenter comme individu seul, duo ou responsable d’une maison ou association d’étude. Leurs profil : (i) souvent des anciens employés des ONGI (qui se sont converti en consultant indépendant ou qui sont encore en service, mais agissant durant leur temps libre en indépendant) ; (ii) parfois des professeurs ou assistants d’université agissant en titre autonome, sans l’implication directe de leurs universités respectives. Des grands projets de la banque mondiale, BAD et quelques institutions des nations unies font très souvent à ces académiciens compares aux ONGI qui eux font appel à ce premier profil. Actuellement même les projets de la banque mondiale font recourt à ce premier profil, car le second s’est trouvé trop théorique, des très longs rapports (mais bien rédigés) et souvent remis avec retard car leurs auteurs trop pris par d’autres priorité.
• Les évaluations au sein et/en cours du projet sont souvent l’œuvre d’un ou des staffs employés par le projet ou ONG en question (avec comme conséquence la question de l’indépendance réelle de ces staffs sous autorités hiérarchique, très souvent expatrier).

2. Dans quelle mesure cette responsabilité est-elle assumée ? Se limite-t-elle toujours à la collecte et à l'analyse des données ou inclut-elle une plus grande responsabilité dans la gestion de l'évaluation ?

• Pour le premier profil des professionnels de suivi et évaluation, très souvent leur responsabilité se limite aux collectes des données et/ou accompagnement des consultants internationaux. Aucun transfert réel des compétences, ni autorité décisionnelle en amont ou en aval de l’évaluation. À titre illustratif : une fois le rapport rédigé par le consultant et validé par la hiérarchie administrative de l’ONG, même si les approche ou avis divergent entre le consultant et le staff responsable de Suivi et évaluation au sein du projet, il est très rare qu'’on donne raison au staff local.
• Pour le second profil, très souvent ils jouissent d’un crédit de confiance initiale, par conséquent ils sont souvent sollicités pour les évaluations de base ou finale. On leur laisse champs libre pour la conception et la planification des outils des enquêtes. Très souvent maitre de la rédaction des rapports finaux. Il arrive que les données soient par d’autres sous l’autorité du projet, et on laisse l’interprétation, analyse des données et la rédaction du rapport.

3. Comment ce travail est-il financé ? Les coûts sont-ils uniquement supportés par les gouvernements ou les donateurs contribuent-ils avec des fonds précédemment alloués pour le personnel ou les consultants des donateurs ?

• À 95% les couts des évaluations sont supportés par les bailleurs de fond. Avec la question de redevabilité en vogue : l’existence d’un système de suivi ou mécanisme de rédévabilité fait désormais partie des conditions ou critères de sélection d’un projet. Le vrai challenge reste sur l’allocation du budget, normalement 3%-7% du budget total du projet devrait être disponibiliser pour le suivi et évaluation, mais rare sont les projets qui respectent cette proportion, surtout l’aspect lie au renforcement des capacités des staffs en rapporta avec le suivi et évaluation.

4. Quelles sont les difficultés rencontrées ? 

• (i) manque de personnel formé ; La pandémie de Covid19 vient accentuée cette lacune. Avec la restriction des mouvements, les professionnels de suivi et évaluation doivent se rabattre soit à l’utilisation des ressources locale (localizing), soit la technologie. Les deux font grandement défaut dans mon pays.
• (ii) manque de financement ; comme la culture organisationnelle de suivi et évaluation est encore balbutiante dans beaucoup d’organisation ; alors les staffs des départements de suivi et évaluations doivent souvent secouer pour attirer l’attention des décideurs budgétaire. Comme conséquence directe les visites sont réduites à leurs stricts minimums. La formation appuyée par le projet est quasi inexistante.
• (iii) problèmes de pression des pairs conduisant à des rapports optimistes ; Par manque de cette culture et de formation, beaucoup des collègues perçoivent les personnels de suivi et évaluation comme des policier et/ou des pessimistes qui ne voient que le ver a moitié vide. Malheureusement si la hiérarchie est peu ouverte aux critiques, cette attitude peut exacerber la tension interrelationnelle et voire même mettre l’intégrité morale et/ou physique de certains agents (j’ai été moi-même victime au Tanganyika)
• (iv) autres problèmes ? l’insécurité ou l’instabilité des zones de travail. À titre illustratif : l’actualité de la mort de l’ambassadeur d’Italie a l’Est de la RD Congo lors d’une mission de suivi sur terrain.

Avec Covid-19, je vois les consultants nationaux de mon pays plus impliqués dans l'évaluation. Voici quelques réponses aux questions proposées :

1. Comment ce changement de responsabilité est-il géré ? Quelles sont les institutions impliquées - gouvernement, universités, ONG, sociétés de conseil privées ou particuliers ? 

Dans mon contexte, je vois trois entités principalement impliquées dans l'évaluation : les sociétés de conseil privées (pour la plupart), les universités et les ONG. Les universités sont très théoriques et recherchent des détails qu'elles ne peuvent pas trouver sur le terrain ; elles rédigent généralement des rapports longs et difficiles. 

2. Dans quelle mesure cette responsabilité est-elle assumée ? Se limite-t-elle encore à la collecte et à l'analyse des données, ou inclut-elle une plus grande responsabilité dans la gestion de l'évaluation ?

Je vois les deux. Certaines sociétés d'évaluation sont chargées de l'organisation complète, de la coordination et de la collaboration du processus d'évaluation au nom de l'unité d'évaluation. D'autres ne s'occupent que de la collecte et de l'analyse des données. 

Les deux sont désignées comme consultants nationaux ou consultants nationaux en évaluation. 

3. Comment ce travail est-il financé ?

Je crois que les contributions des donateurs prévalent toujours et que la plupart des budgets des programmes intègrent le budget de l'évaluation.

Je pense qu'en raison de Covid19 il n'y a pas beaucoup d'effets sur les coûts car les consultants internationaux sont moins impliqués dans les coûts. Dans mon cas, je suis principalement engagée sur une base journalière ou avec un montant forfaitaire avec perdiem.

4. Quelles sont les difficultés rencontrées ? 

Sur la formation : les collecteurs de données doivent être formés à cette tâche même s'ils sont déjà formés.

En ce qui concerne les rapports : il s'agit généralement de la tâche du consultant national. C'est très difficile et c'est là que l'expérience entre en jeu. Si vous avez de l'expérience dans l'évaluation de programmes nationaux, vous obtenez les choses correctement.  Vous devez surtout identifier le processus, sélectionner les documents et identifier les parties prenantes.  Dans la plupart des cas, les questions et les méthodes doivent être repensées pour s'adapter au contexte local. 

Les défis auxquels les évaluateurs sont confrontés en raison du Covid 19 sont également les suivants :

• davantage d'entretiens et de reunions zoom sur la base des questions préalablement posées. Les deux parties doivent cependant avoir une bonne compréhension de la tâche et du programme en détail. 
• les réunions d'entretien : beaucoup ne se sentent pas à l'aise (secteurs gouvernementaux et base) avec les entretiens zoom. 
• les reportages, sauf si vous parvenez à bien organiser votre modèle, ce sera un peu difficile. 

Bonjour

Je n'ai pas encore observé de passage des équipes internationales aux spécialistes locaux.  Les équipes internationales ont le plus souvent des partenaires locaux et je pense donc que ce changement ne se produit pas dans tous les pays

Merci

Abubakar Muhammad Moki