Purquoi des systèmes censés être conçus pour nous aider à tirer des leçons de l'expérience se sont montrés si réticents à tirer des leçons de leur propre expérience?
Le suivi et évaluation (M&E), le suivi, évaluation, redevabilité et apprentissage (MEAL), le suivi, évaluation et apprentissage (MEL), le suivi, évaluation, rapportage et apprentissage (MERL), le suivi et la gestion des résultats (MRM) ou quel que soit le nom que vous choisissez de lui (ou de leur?) donner devraient nous aider à tirer des leçons de l'expérience. Malheureusement, ce n'est pas toujours le cas.
Il y a une ironie apparente dans le fait que des systèmes qui étaient censés être conçus pour nous aider à tirer des leçons de l'expérience se sont montrés si réticents à tirer des leçons de leur propre expérience. Cela est lié selon moi, en grande partie, à l'isolement du suivi et évaluation au sein des programmes et projets, au travail cloisonné et à la collecte des données qui ne concourent pas ou ne contribuent pas aux décisions de gestion. Il est en outre faux de considérer que les responsables peuvent toujours prévoir exactement quelles sont les questions qui nécessitent une réponse et pourquoi. C'est une discussion qui doit avoir lieu avant, et non pas après, le choix d'indicateurs dans un cadre de suivi ou de résultats.
J'écoutais récemment la chanson Here we go again des Isley Brothers. Cela m'a fait penser à un rapport de la Banque mondiale sur le suivi et évaluation de l'agriculture[i], qui soulignait les limites et les conséquences des mesures des résultats de haut niveau ‒ tels que les bénéfices en termes de rendement et de production agricole. Il s'agissait d'un élément bien documenté dans les années 1980 et au début des années 1990.
Le décalage entre le suivi et la gestion
Je pense qu'il existe un consensus général sur le fait que le suivi est une fonction de la gestion à part entière. Ceci étant, l'une des principales conclusions de la Banque mondiale montrait à quel point le suivi était déconnecté de la gestion ‒ presqu'à la dérive. Elle mettait en perspective des conversations distrayantes sur les différences et la relation (synergique) entre le suivi et l'évaluation, en laissant la gestion en dehors de l'équation.
Cette séparation reste assez commune aujourd'hui. Les experts ou les fonctions internes de suivi et évaluation travaillent souvent de manière cloisonnée. Les processus de développement d'une théorie du changement et/ou d'un cadre de résultats par exemple sont généralement dissociés des autres processus (par exemple d'apprentissage, financiers, opérationnels et décisionnels) et personnes. Le suivi et évaluation est resté une profession dissociée de la gestion, aspect exacerbé dernièrement par le suivi par des tiers, contradiction même dans les termes, et par l'externalisation de l'une des principales responsabilités de gestion, l'apprentissage, aux «partenaires» d'apprentissage ou d'évaluation.
Prenons l'agriculture comme exemple. Il y a trente ans, un consensus existait autour de l'idée selon laquelle le suivi devait être motivé par la nécessité de mesurer des indicateurs de performance des cultures. Examiner et analyser cette donnée a consommé la totalité ou la majeure partie des ressources allouées au suivi et évaluation et s'est avéré une entreprise assez compliquée et exigeante. Peu de choses ont changé. Je me suis souvent demandé comment un tel élément de preuve descriptif pouvait éclairer des décisions de gestion. Mais cela est évidemment impossible: son objectif est de valider la décision d'investissement initiale du donateur.
Dépasser le suivi par les chiffres …
Il n'y a rien de mal à projeter des résultats numériques dans un diagramme ou une matrice. Toutefois, les activités de suivi devraient les traiter comme des projections et non comme des «vérités». La plupart des résultats défient les prévisions. Les projets agricoles ont lieu dans des environnements très incertains. Le contexte est important. Le grand penseur en matière de gestion du siècle dernier, W. Edwards Deming, déclarait que «la gestion par objectif numérique est une tentative de gérer sans savoir ce qu'il faut faire et est souvent en réalité une gestion par la peur»[i]. Il observait également que les éléments les plus importants à connaître sont souvent les inconnues. Comme il ajoutait dans The New Economics, «il est faux de penser que si vous ne pouvez pas le mesurer, vous ne pouvez pas le gérer – c'est un mythe qui coûte cher»[ii]. Ce à quoi Deming fait référence est ce que la communauté du suivi et évaluation appelle les «hypothèses». Pour les finalités du suivi et évaluation, les hypothèses comptent tout autant, si ce n'est plus, que les résultats en eux-mêmes. Il est donc regrettable que l'obsession de la communauté pour les indicateurs, qualitatifs ou quantitatifs, accorde généralement peu d'importance aux hypothèses.
Le constat de Deming rejoint mon expérience en tant que dirigeant d'un département de suivi et évaluation au sein de la division du développement agricole de N'gabu, dans la basse vallée du Shire au Malawi pendant trois ans, à la fin des années 1980. La principale fonction du département était de collecter des séries de données annuelles sur la production agricole, les principaux produits étant les estimations en termes de production et de productivité agricoles, ventilées par culture, circonscription, sexe du chef de ménage et pratique agricole. Les données étaient largement utilisées pour évaluer la performance agricole dans les deux circonscriptions de la vallée, Chikwasa et Nsanje.
J'ai remarqué, après avoir présenté la première série de résultats de l'enquête, que les cadres dirigeants utilisaient très peu ces données. Très peu de cadres dirigeants venaient dans mon bureau; la plupart de ceux qui y venaient effectuaient une mission pour le donateur, travaillaient pour des organisations non gouvernementales ou étaient des chercheurs ou des fonctionnaires du Ministère de l'agriculture ou du Bureau central des statistiques. Les enquêteurs sur le terrain avaient un contact limité avec leurs pairs des services de vulgarisation. Je souhaitais comprendre pourquoi mes collègues montraient si peu d'intérêt. Après tout, la mesure de tous ces indicateurs avait demandé beaucoup de temps et était ardue en termes de méthodologie. J'ai rencontré le Directeur des services de vulgarisation agricole pour en examiner les raisons. Il m'a répondu que les résultats des enquêtes étaient intéressants mais qu'ils contribuaient peu à éclairer les actions de son département ou d'autres départements (par exemple en ce qui concerne la recherche, les cultures et le programme pour les femmes).
Lorsque nous avons discuté des questions auxquelles mon équipe pouvait l'aider à répondre, il m'a donné quatre exemples:
- Quelles sont les impressions des agriculteurs sur la performance des agents des services de vulgarisation?
- Combien d'agriculteurs adoptent leurs messages et comment cela varie-t-il selon le message, la culture et le sexe du chef de ménage?
- Pourquoi certains agriculteurs adoptent-ils le message x? Sur combien de leurs parcelles ont-il adopté le message et pendant combien de saisons?
- Pourquoi les autres n'ont-ils pas adopté le même message et quels sont les effets multiplicateurs de ce rejet parmi les agriculteurs voisins?
J'ai discuté de cela avec mon chef – un statisticien de la Banque mondiale. Il m'a conseillé de préparer une enquête révisée axée sur l'interaction entre les agents des services de vulgarisation et leurs clients agriculteurs, en veillant à ce que l'enquête traite les agriculteurs comme les sujets des conversations sur les questions qui les intéressent et non comme les objets d'une enquête qui intéresserait l'enquêteur. Il m'a également rappelé l'impossibilité mathématique reconnue d'établir statistiquement des tendances significatives dans les rendements agricoles des systèmes d'agriculture pluviale sur la période d'un programme de cinq ans, et a fortiori de les attribuer à une intervention. Il est possible de les mesurer, me dit-il, mais «l'ignorance de celui qui agit ainsi n'est dépassée que par celle de ceux qui croient au résultat.»
Ce fut une leçon salutaire pour un jeune professionnel en suivi et évaluation. Pour que mon équipe et moi-même puissions collaborer avec nos collègues, nous devions leur fournir des éléments concrets qui leur étaient utiles, des informations qui examinaient les réponses des agriculteurs au soutien des services de vulgarisation et la manière dont elles variaient. Comprendre cela nous a fourni une base permettant de remédier au rejet par les agriculteurs et de répliquer les réussites de ceux qui avaient adopté et retenu les conseils qu'ils avaient reçus.
… puis y revenir
Revenons à aujourd'hui. De nombreux programmes de développement de systèmes de marché dans le secteur agricole sont conçus pour augmenter les revenus agricoles de ceux qui sont mal desservis ou exclus des systèmes de marché dont les agriculteurs et leurs familles dépendent. Ces programmes visent à faciliter ou déclencher un changement dans les comportements et les relations entre les «participants au système» ou les «acteurs» ‒ ceux auprès desquels les agriculteurs achètent (dans les marchés d'intrants) et vendent (dans les marchés de produits); ceux qui établissent et font appliquer les règles, qu'il s'agisse des gouvernements locaux et/ou nationaux ou des règles et valeurs autochtones; et ceux qui offrent des services de soutien, tels que les informations, les compétences, la technologie et l'argent.
En d'autres mots, les programmes de développement de systèmes de marché n'offrent pas de services directement à l'agriculteur, mais visent à stimuler le changement dans des fonctions spécifiques du système de marché qui déçoivent les agriculteurs. Toutefois, quasiment la totalité des cadres de résultats ou des théories du changement que j'ai observés pour de tels programmes mettent l'accent sur la production ou la productivité et non sur le changement systémique, au niveau des réalisations.
Cela a souvent des conséquences néfastes pour le suivi et évaluation. La logique systémique des programmes de développement des systèmes de marché est fréquemment compromise par l'accent mis davantage sur la mesure de la conséquence supposée du changement de système de marché au niveau de l'exploitation et de l'agriculteur, plutôt que sur le changement du système de marché lui-même. Les coûts d'opportunité ne sont pas négligeables; apporter des preuves qui testent effectivement, plutôt qu'elles ne l'ignorent, la principale hypothèse – selon laquelle les acteurs du système sont sensibles et en phase avec les nécessités du nombre croissant d'agriculteurs démunis. Des preuves qui montrent, ou pas, si les marchés fonctionnent pour les plus démunis.
Alors, pourquoi les systèmes de suivi et évaluation, qui sont censés être conçus pour générer des leçons tirées de l'expérience, ont-ils été si lents ou réticents à tirer eux-mêmes des leçons? Qu'en pensez-vous? Je serais heureux de connaître votre expérience.
ABLAYE GAYE
PRÉSIDENT Président comité local thies de RACINES (Réseau des Acteurs et Initiatives et Économiques , Écologiques et Solidaires)D'apres nos annalyse est notre expériences on peut dire que l'évaluation est une forme d'etude tres sérieux qui demande une serieuse etude avec des hypothèse suivi d'une confirmation pour confirmé le résultat exact .
De ce faite on peut dire l'évaluation du résultat agricole a toujours montré des résultats découragent par rapport au l'exploitation familiale agricole vu la plupart de ses exploitations agricoles familials est géré par des personnes qui ne connais rien sur l'agriculture.
Sabrina Ihuoma Nwonye
Knowledge Management and Learning Lead UKNIAFThank you for this thought-provoking piece, Daniel! These are the kinds of questions that MEL practitioners, programme managers, and donors should be answering. Unfortunately, as aid/donor budgets shrink due to competing demands, other factors other than decades of learning appear to drive the agenda. Real change will remain a distant dream until learning becomes an integral part of programme design and implementation that considers the beneficiaries’ needs.
Johanna Wong
Monitoring and Learning Outreach Officer SEBI-LivestockThanks for this interesting post Daniel. It really hits the nail on the head of why data is not used for decision making. It also brings up the role of qualitative data in M&E - most indicators and targets tend to be quantitative, so "trends" can be "measured". I agree that the four examples listed in your post are much more insightful but 3/4 of the questions can only be answered through collecting qualitative data. How can we raise the profile of qualitative information in the eyes of managers and leaders who only want to see numbers?
Vicente Plata
ConsultantBonjour Daniel, merci d'avoir soulevé un sujet aussi stimulant et intéressant. Le S&E est un travail très "amer" car il nécessite d'être planifié à l'avance (au moment où le reste de l'équipe, lorsqu'elle est au complet, est impatient de commencer le travail sur le terrain), nécessite d'être clair sur les causes et les effets (donc, une théorie du changement convaincante), de l'élaborer avec une méthodologie participative, puis de mesurer, et juste après de commencer à avoir des résultats qui peuvent être analysés et (avec un peu de chance) d'avoir assez de matériel pour faire l'évaluation.
Les projets de pure "production agricole" ont plus de chances de mener des évaluations solides et d'aboutir à des résultats significatifs. Les projets de "développement" présentent des défis plus vastes et la théorie du changement est généralement plus complexe. Dans ce cas, il est plus important d'obtenir la participation réelle de tous les acteurs impliqués dans le processus de développement. Cependant, il existe un compromis entre le système de suivi et d'évaluation "parfait" et "possible". Dans ce cas, la participation de toutes les parties prenantes concernées peut être un bon moyen de trouver un système de suivi et d'évaluation possible et utile.
Silva Ferretti
Freelance consultantMerci beaucoup pour cet article. En plus de ce que vous dites, pour avoir des données significatives, chaque petit agriculteur devrait avoir des données exactes sur sa production - en tenant compte de la variété des cultures, de la qualité et des prix actuels du marché. Obtenir ces données et les systèmes nécessaires pour les collecter est un travail en soi, qui requiert des capacités techniques, de la discipline et des outils. Pour bien faire, nous devrions transformer chaque petit agriculteur ou agent de vulgarisation en un mini responsable de la collecte et de la gestion des données, et il en faut davantage (qu'en est-il des maladies des cultures, du type de sol, de la main-d'œuvre familiale et des conditions météorologiques, pour n'en citer que quelques-unes ?)
Ce qui est triste dans le suivi et l'évaluation, c'est que nous imposons le fardeau des mesures (non pertinentes) aux bénéficiaires, aux acteurs locaux et aux petits intermédiaires. Et à un certain niveau, nous ne nous posons pas la question. Tout cela pour rien, sans impact pratique sur le changement. Un jour, quelqu'un devrait dénoncer le coût d'opportunité et la distorsion causés par la demande de données non pertinentes juste parce que nous avons besoin d'un indicateur à placer dans le cadre logique.
De plus, nous confondons le suivi et l'évaluation avec la recherche. Nous avons donc un S&E non pertinent pour la prise de décision. Et les tentatives d'obtenir des données et des preuves, qui devraient être obtenues par d'autres moyens et compétences pour être utiles et crédibles, sont médiocres.