Intérêt accru pour le suivi, évaluation, apprentissage
Le suivi, évaluation et apprentissage (Monitoring, Evaluation and Learning, MEL) a gagné en importance récemment dans le contexte des projets d'innovation et de développement agricole.
Le MEL fournit un cadre et des outils qui contribuent à accompagner la mise en œuvre d'interventions ciblées en vue d'améliorer la durabilité agricole.
Le système MEL encourage l'évaluation et l'apprentissage continus permettant la gestion adaptative des projets transformationnels. Il nécessite un effort systématique pour mesurer la progression de la mise en œuvre tout en encourageant l'apprentissage continu et en temps réel des parties prenantes impliquées, qu'ils s'agisse des agriculteurs et autres ruraux, des représentants de la société civile, des chercheurs, des décideurs politiques ou des praticiens de l'évaluation. Il s'appuie sur différents instruments, approches et indicateurs pour évaluer les résultats, intégrer les leçons et améliorer l'impact. Il soutient ainsi des améliorations dans la performance du projet[1].
Pourtant, la pratique du MEL est moins prioritaire par rapport aux exigences typiques des commissaires d'évaluation, qui donnent la priorité à des rapports d'évaluation conformes aux théories du changement et au cadre logique. Développer une culture MEL est un processus et il est essentiel, à cette fin, de mobiliser les capacités nécessaires.
Certaines expériences visant à maximiser les capacités MEL ont fait l'objet des discussions du récent webinaire organisé conjointement par EvalForward et le projet LIAISON.
Qu'a révélé le projet LIAISON en ce qui concerne l'évaluation de l'innovation agricole?
Le projet LIAISON (financé par le programme Horizon 2020 de l'Union européenne de mai 2018 à octobre 2021) a réuni des universitaires et des praticiens de 15 pays européens avec pour objectif de libérer le potentiel de travail en partenariat pour l'innovation dans le secteur agricole, les forêts et les activités rurales. Parmi ses différents axes de travail, l'un d'eux était entièrement dédié au test et à la validation d'approches d'évaluation de l'innovation agricole dans des contextes multi-acteurs.
Avec l'équipe de projet, j'ai contribué à l'élaboration d'un ensemble d'outils en collaboration avec d'autres projets et réseaux qui serviraient de "cas d'étude". Les principes essentiels du travail d'évaluation de LIAISON consistaient en la pratique de l'évaluation développementale, la co-conception participative et l'apprentissage. Nous avons examiné les instruments quantitatifs et qualitatifs largement utilisés tout comme les instruments moins connus. Nous avons étudié les indices de mesure de l'innovation établis, tels que ceux élaborés par l'Union européenne dans le cadre du suivi et évaluation (S&E) de la Politique agricole commune, ceux de l'Organisation pour la coopération et le développement économique, les indicateurs relatifs aux sciences et technologies agricoles de l’institut de recherche sur les politiques alimentaires (IFPRI-ASTI) et des indicateurs de performance scientifique (scientométrie et altmetrics). Nous avons remarqué toutefois qu'ils n’étaient pas suffisamment axés sur l'interactivité de l'innovation et qu'ils la mesuraient du point de vue des donateurs plutôt que de celui des bénéficiaires.
L'évaluation est nécessaire, mais pas prioritaire
Les preuves recueillies durant le projet LIAISON ont souligné le rôle de l'évaluation dans l'optimisation de l'innovation agricole. Entre autres, les partenaires des cas d'étude ont observé la nécessité d'amplifier les approches participatives alors que les membres du groupe MEL. LIAISON ont entrepris des études de cas de projets, couvrant des projets d'innovation agricole au niveau national, régional et international (le plus souvent soutenus à travers des financements de l'Union européenne). Dans le cadre de notre approche, nous avons mis l'accent sur les besoins au niveau du projet plutôt qu'au niveau du donateur.
La plupart des projets avec lesquels nous avons travaillé ne disposaient pas de ressources internes pouvant être dédiées à un processus d'évaluation organisé. Les projets manquaient également de capacités financières ou d'autres types (temps ou personnel par exemple) alors que leurs besoins d’évaluation étaient nombreux. En plus de la mesure de la progression des projets, ils souhaitaient examiner, en particulier, la collaboration de l'équipe de projet avec les parties prenantes externes (interactivité). Les évaluations formelles ne sont souvent pas parvenues à examiner cette interactivité ou cet aspect était totalement absent des projets.
Simultanément, nous avons réalisé que l'interactivité prenait différentes formes dans chaque projet. Elle pouvait par exemple être orientée spécifiquement vers une réalité virtuelle ou vers des interactions en face-à-face. Les projets ont accueilli favorablement l'idée d'un tel travail volontaire d'évaluation et ont confirmé qu'il contribuait à optimiser la mise en œuvre de projets en cours, à tirer des enseignements des projets achevés et à former une base solide pour les futures interventions. Les réseaux de parties prenantes et les thèmes de chaque projet différaient, de sorte que les indicateurs ont dû être personnalisés selon le contexte propre à chacun. Dans les environnements complexes dans lesquels les projets intervenaient, le MEL a été considéré crucial pour soutenir la qualité des projets à chaque étape du cycle de vie de projet.
Comment développer des capacités MEL avec des ressources limitées?
Au cours de notre travail avec les projets cas d'études, nous avons été confrontés à des ressources disponibles limitées au niveau de chaque projet. Pour combler ce manque et augmenter les capacités du projet, nous avons élaboré un système de renforcement des capacités en cascade. Les évaluateurs expérimentés ont formé les chercheurs LIAISON, les fournisseurs de services de conseil et les partenaires organisationnels non gouvernementaux (évaluateurs non professionnels) sur les éléments de base en matière de S&E. Les participants aux formations sont restés en contact avec leurs partenaires respectifs des cas d'étude et ont élaboré avec eux les principales composantes du système MEL. Dans un court délai (ne dépassant pas cinq jours de travail), l'équipe de chaque cas d'étude a été à même de concevoir conjointement son plan d'évaluation, comprenant les principales composantes de l'évaluation telles que sa portée, ses questions, ses indicateurs et ses méthodes de collecte des données.
Les évaluateurs expérimentés ont également fourni des conseils pour clarifier toute nouvelle problématique, notamment en relation avec la définition de la portée de l'évaluation et le nombre d'indicateurs prévus, qui ont été les questions les plus difficiles. Les projets cas d'étude ont souvent identifié plus de questions et de besoins d'évaluation que ceux que l'équipe était capable d'affronter compte tenu de ses ressources. Un projet relatif au développement de chaînes de valeurs et un projet axé sur l'agro-écologie ont par exemple souhaité porter leur attention spécifiquement sur leur performance dans le domaine agricole en question. Par conséquent, l'évaluation générale a dû être rationalisée pour optimiser les capacités existantes.
Simultanément, nous avons appris que lorsqu'il est question de l'évaluation de l'innovation agricole, il n'existe pas d'approche unique adaptée à tous les projets en matière de méthodologie, de questions ou d'indicateurs d'évaluation. Ces projets présentent également une nature très interactive qui rend les approches standards telles que la théorie du changement et le cadre logique insuffisantes pour mesurer les changements intervenus.
Pouvons-nous donc réaliser des évaluations sans théorie du changement? L'interactivité des interventions exige des indicateurs spécifiques (que nous avons élaborés dans nos cas d'étude) et des alternatives à la théorie du changement, comme les approches de systèmes, l'analyse des réseaux sociaux ou l'analyse participative des cheminements d'impact. Pour répondre à cette nécessité, nous avons testé et validé différents outils et approches, dont un résumé est disponible dans la Boîte à outils LIAISON[2]. Ils ont montré leur utilité pour dépeindre des réalités complexes du projet et soutenir le processus d'apprentissage aux différentes étapes du projet. Les outils qualitatifs et quantitatifs ont été utiles pour observer les changements provoqués par les projets, notamment en mettant l'accent sur les interactions entre les acteurs. Nous avons également développé un ensemble d'"indicateurs de l'interactivité" avec les différents projets cas d'étude ‒ créant un ensemble unique d'indicateurs pour chacun d'eux.
Le rôle des évaluateurs expérimentés pour soutenir les pratiques MEL
L'une des conclusions essentielles du travail d'évaluation LIAISON est que les évaluateurs non professionnels peuvent jouer un rôle très actif dans le cadre du MEL. Même avec des ressources limitées, des contraintes temporelles et l'hésitation initiale de certains membres de l'équipe, nous sommes parvenus à créer des capacités d'évaluation de base et à susciter l'enthousiasme.
Nous avons constaté le potentiel et l'attraction énormes du MEL pour faire avancer aussi bien l'évaluation que la mise en œuvre de projet. Les personnes qui travaillent sur des projets, notamment celles chargées d'apporter des changements positifs, montrent souvent un intérêt et une capacité à apporter une réflexion sur ce qui se passe, mais ne disposent parfois pas des outils pour le faire. Les évaluateurs expérimentés pourraient intervenir davantage dans ce domaine en fournissant des conseils et des orientations aux autres membres de l'équipe de projet, dans la mesure où ils sont souvent capables, et heureux en réalité, de développer la réflexion en matière d'évaluation.
Dans les prochains mois, des instruments supplémentaires seront disponibles sur le site LIAISON à l'adresse:https://liaison2020.eu/your-material/?language=english.