Intelligence artificielle dans le contexte des évaluations
Chers tous et toutes,
Aujourd'hui, nous entrons de plain-pied dans l'ère de l'Intelligence Artificielle (IA). En tant qu'évaluateurs, comment pouvons-nous tirer parti de cette avancée dans nos activités professionnelles ? Auriez-vous des modèles d'IA à partager et sur quels types d'activités peuvent-ils être appliqués ? Comment pouvons-nous nous approprier cette technologie de manière efficace ?
En outre, quelles nouvelles compétences les évaluateurs devraient-ils développer pour rester compétitifs et répondre aux attentes grandissantes du domaine ? Vos expériences et conseils à ce sujet seraient grandement appréciés.
Je vous remercie par avance de partager vos connaissances et expériences sur ce sujet passionnant.
Muriel KOUAM
Cette discussion est terminée. Veuillez contacter info@evalforward.org pour plus d'informations.
Ram Khanal
Advisor Community of Evaluator (COE) NepalI have not used in evaluation per se but used for literature review and other purposes. I am aware this will be a useful tool but not sure whether the information available or used by chat gpt is adequately represent the context and information for the developing countries like Nepal. I do hope - colleagues who have used the tool will be in position to share their experience.
Sada Hussain Shah Syed
EvaluatorI have been conducting simple thematic analysis in Chat-Gpt. I found it simple and supportive as compared to nVivo.
Dushyant Mahadik
Assistant Professor National Institute of Technology RourkelaJ'ai utilisé des algorithmes de regroupement pour séparer les données satellitaires et étiqueter les différentes régions avec les cultures qui y sont pratiquées. Le plus grand défi auquel j'ai été confronté dans l'application de l'IA est la disponibilité de données fiables sur le terrain. Les enquêtes d'évaluation classiques ne sont pas suffisantes pour mettre en œuvre l'IA. À mon avis, des ensembles de données "ouvertes" à grande échelle sont nécessaires pour que l'IA prenne tout son sens.
Khalid NADIFI
CEO Waman consulingNous utilisons des algorithmes d'IA pour la détection des fuites dans les réseaux de distribution.
Cela inclut la télédétection et l'analyse.
Muriel Kouam
MEAL Manager OXFAMBonjour á tous et á toutes,
Comme témoignent les différentes interventions, éviter l’IA est très difficile à cette époque, en particulier pour les communautés MEL. Ainsi, je vous remercie pour vos enrichissantes contributions!
Pour ceux qui seraient intéressés de passer á l'action , Ann Murray organisera en Avril prochain une master class sur l'analyse des données qualitatives, le reporting et bien d'autres á l'aide de CHATGPT, Perplexity.ai et claude.ai. Bref comment tirer le meilleur parti de ces IA dans le cadre d'une évaluation de façon pratique. Cette formation est payante et ci -contre le lien d´inscription Ann-Murray Brown 🇯🇲🇳🇱’s Post
agusdin pulungan
President WAMTIJe suis d'accord avec vous, Lendsey.
Chat GPT n'est toujours pas suffisant pour donner une réponse appropriée. Dans certains cas, il est très limité avec des données numériques.
ABLAYE GAYE
PRÉSIDENT Président comité local thies de RACINES (Réseau des Acteurs et Initiatives et Économiques , Écologiques et Solidaires)Bonsoir,
Je peux donner un exemple concret de notre initiative sur l'agriculture dans le sud du Sénégal, où nous utilisons des drones pour évaluer les pratiques agroécologiques.
Grâce à l'IA, nous pouvons analyser ces pratiques de manière approfondie : le drone équipé de caméras qu’on a utilisé collecte des données précieuses sur les cultures lorsqu'il survole les champs. Cette approche permet une évaluation précise des activités agricoles, en mettant l'accent sur l'agroécologie. En observant les exploitations familiales depuis les airs, les drones fournissent des informations cruciales sur les cultures, l'irrigation, la gestion des sols, et bien d'autres aspects. Cela nous a permis d'évaluer de manière précise les différentes activités agricoles dans la zone sud du Sénégal, qui met l'accent sur l'agroécologie. Les drones offrent une perspective aérienne qui peut confirmer si les pratiques agricoles respectent réellement cette approche. Les drones jouent donc un rôle essentiel dans l'évaluation des exploitations familiales et dans la promotion de l'agroécologie.
Il existe aussi des applications très efficaces qui utilisent des algorithmes pour programmer. Par exemple au Sénégal dans des exploitations agricoles que je suivais, les moments de fertilisation et de traitement dans les exploitations agricolesétaient programmés via une application algorithme très efficace qui te communique même quelle type de fertilisation tu dois faire est ensuite pendant la phase de récolte elle te fait savoir avec une évaluation précise les possibilités de quantité de récolte est toutes les dépenses à utiliser pendant la période d'exploitation. Elles envoient des rappels sur nos ordinateurs et nos téléphones portables. C'est vraiment pratique pour optimiser les pratiques agricoles et améliorer l'efficacité. C'est pourquoi moi je me suis inscrit dans une université informatique (développement d'application web gaming) virtuelle du Sénégal en t'en agronomie de métiers depuis 2022 ! Dans quelques années, lorsque j'aurai les connaissances nécessaires, je pourrais participer en tant qu'agronome au développement d'applications agricoles.
C'est vraiment passionnant de voir comment la technologie peut soutenir l'agriculture durable !
ABLAYE GAYE
PRÉSIDENT Président comité local thies de RACINES (Réseau des Acteurs et Initiatives et Économiques , Écologiques et Solidaires)L'avancée de l'intelligence artificielle offre de nombreuses opportunités pour améliorer nos activités professionnelles, y compris dans le domaine de l'évaluation. Voici quelques modèles d'IA couramment utilisés et leurs applications potentielles :
1. L'apprentissage automatique (machine learning) : Ce modèle permet à l'IA d'apprendre à partir de données et de prendre des décisions ou de fournir des prédictions. Il peut être utilisé dans l'évaluation des risques, la prédiction des performances, l'analyse des données d'enquête, etc.
2. Le traitement du langage naturel (natural language processing) : Ce modèle permet à l'IA de comprendre et d'analyser le langage humain. Il peut être utilisé pour l'analyse des commentaires, l'extraction d'informations à partir de documents, la classification automatique des réponses, etc.
3. La vision par ordinateur (computer vision) : Ce modèle permet à l'IA de comprendre et d'analyser les images et les vidéos. Il peut être utilisé pour l'analyse d'images satellites, la détection d'anomalies, l'inspection de la qualité, etc.
Pour tirer parti efficacement de ces avancées, voici quelques conseils :
1. Comprendre les besoins : Identifiez les domaines de votre activité professionnelle où l'IA peut apporter une valeur ajoutée. Identifiez les tâches répétitives, les processus de collecte et d'analyse de données, et les domaines où l'IA peut aider à prendre des décisions plus éclairées.
2. Acquérir des compétences : Développez vos compétences dans les domaines de l'apprentissage automatique, du traitement du langage naturel et de la vision par ordinateur. Il existe de nombreuses ressources en ligne, des formations et des communautés pour vous aider à acquérir ces compétences.
3. Collaborer avec des experts en IA : Travaillez en collaboration avec des experts en IA pour développer des solutions adaptées à vos besoins spécifiques. Ils peuvent vous aider à construire des modèles d'IA, à collecter et à analyser les données nécessaires, et à interpréter les résultats.
Lindsey Moore
DevelopMetricsChers collègues,
Je vous remercie, Muriel, d'avoir lancé cette discussion intéressante et j'apprécie beaucoup toutes les contributions précieuses de chacun.
Chez DevelopMetrics, nous travaillons beaucoup avec USAID et d'autres donateurs pour construire de grands modèles linguistiques afin d'analyser des évaluations et d'autres documents pour la prise de décision. Nous avons mené de nombreuses études comparatives et constaté que l'IA généralisée comme ChatGPT n'est pas efficace pour comprendre les nuances de la terminologie du développement. Par exemple, si vous demandez à ChatGPT quelles sont les interventions qui ont historiquement le mieux réussi à autonomiser les femmes au Pakistan, vous vous fiez à un modèle formé à partir de toutes les données disponibles sur Internet et construit sur la base d'une architecture de données de la Silicon Valley - en d'autres termes, vous perpétuez les préjugés existants. C'est pourquoi les modèles spécifiques à un domaine et validés par des experts techniques sont si importants.
J'espère que cela vous a été utile.
salutations distinguées,
Lindsey
Lindsey Moore
CEO & Founder
+1 646-593-4568
www.developmetrics.com
Anna Maria Augustyn
International consultantChère Muriel, chers collègues,
Merci pour vos questions et vos idées. Je souhaiterais partager quelques expériences vécues lors d'un travail sur une importante base de données (comprenant des milliers de projets) dont il fallait extraire un portefeuille pour une évaluation de l'impact. La méthodologie s'appuyait sur des algorithmes automatiques, qui constituent une branche de l'IA.
L'approche était double: 1) Un algorithme d'apprentissage automatique a été développé par des experts; 2) une recherche semi-manuelle a été réalisée. Dans le premier cas, le portefeuille a été plus petit que prévu, mais les projets étaient très précis et concernaient ce qui nous intéressait. Néanmoins, le portefeuille était trop restreint pour en extraire des statistiques solides. Dans la seconde approche, le portefeuille était beaucoup plus grand mais beaucoup de projets ont dû être retirés de l'ensemble des données car ils correspondaient de manière marginale à ce qui nous intéressait. Il a été nécessaire de recourir à un expert pour définir les mots clés et affiner le portefeuille ainsi qu'à un expert en programmation pour développer une application personnalisée. Les activités ultérieures qui se sont basées sur un traitement linguistique des projets et des preuves disponibles sur internet (mise au rebut du web, y compris les médias) se sont montrées très fructueuses.
Les difficultés méthodologiques suivantes ont été observées:
En conclusion, j'ai trouvé l'IA très utile là où des ensembles de données et des portefeuilles importants étaient disponibles pour l'analyse et où les données sur internet étaient abondantes. Elle peut apporter une aide considérable, mais elle nécessite également une bonne assurance de la qualité et une expertise spécialisée.
Je suis préoccupée par les questions de confidentialité et de sécurité dans l'utilisation de l'IA. Il est déjà difficile d'harmoniser l'approche dans la coopération internationale, en particulier pour des projets de différents donateurs et dans différents systèmes juridiques aux niveaux international, national voire institutionnel. Mais nous devrions essayer!
Bien à vous
Anna Maria Augustyn
Maya Zahabi
Country M&E Officer UNFAOChère Muriel,
Merci d'avoir soulevé ce sujet particulièrement intéressant. J'ai beaucoup de choses à dire mais je vais m'efforcer de rester synthétique.
Je souhaiterais traiter quelques points que je trouve très intéressants et j'espère qu'il en est de même pour vous. Il y a un manque de consensus parmi les praticiens sur la définition de l'intelligence artificielle (IA). Il existe des définitions générales et vagues mais pas une définition claire utilisée par tous. Selon certaines définitions, une calculatrice pourrait être définie comme de l'IA; pourtant, pour la plupart des gens, elle n'en est pas.
Un autre point que je souhaiterais aborder est que l'IA s'appuie sur des modèles d'apprentissage, la capacité à apprendre et à appliquer ces apprentissages. En affirmant ceci, nous convenons qu'il doit y avoir une mémoire d'apprentissage. Dans notre domaine, cela devient délicat car la plupart des données que nous utilisons sont classées comme très sensibles, le partage des données est peu clair ou mal défini ou, pour certaines, la propriété des données n'est pas précise, ce qui est particulièrement vrai pour les organisations/agences qui travaillent avec les gouvernements.
Je souhaiterais également souligner qu'il n'y a pas actuellement de réglementation concernant l'IA, ce qui signifie qu'elle comporte un risque substantiel. Cela nous amène à certaines considérations éthiques pour introduire l'IA dans le domaine:
Nous devons de plus nous demander ce que nous espérons réellement obtenir de l'IA et si cela est absolument nécessaire.
À ce jour, il y a eu de nombreuses tentatives réussies au sein des organisations pour adopter certaines formes d'IA en toute sécurité. Je crois qu'il y a aussi beaucoup à apprendre de ces expériences, dont voici certains liens ci-dessous:
https://www.fao.org/agroinformatics/news/news-detail/fao--ai-and-digital-tools-for-climate-resilient-agri-food-systems--on-the-spotlight-at-the-science-and-innovation-forum-2023/en
https://www.fao.org/vietnam/news/detail-events/en/c/1187477/
https://dref.ifrc.org/fba/
https://jetson.unhcr.org
https://hungermap.wfp.org
En complément, voici quelques articles que j'ai trouvés très précieux pour favoriser une réflexion critique et j'espère qu'ils vous seront utiles également.
https://www.humanitarianstudies.no/resource/data-sharing-between-humanitarian-organisations-and-donors/
https://gh.bmj.com/content/7/Suppl_8/e007249
https://onezero.medium.com/are-aid-agencies-abetting-surveillance-humanitarianism-5bc2b5a78ff6
https://journals.sagepub.com/doi/full/10.1177/2056305119863146
https://international-review.icrc.org/sites/default/files/reviews-pdf/2022-02/biometric-data-flows-and-unintended-consequences-of-counterterrorism-916.pdf
https://journals.sagepub.com/doi/full/10.1177/2056305119863146#fn1-2056305119863146
https://www.thenewhumanitarian.org/news/2019/02/05/un-palantir-deal-data-mining-protection-concerns-wfp
Mes meilleurs encouragements pour vous accompagner dans votre courageuse démarche!
Pantaleon Shoki
Dear Aurelie,
My name is Pantaleon Shoki, and I have the honor of serving as the Executive Secretary of the Tanzania Evaluation Association (TanEA). I would like to share exciting developments in the realm of evaluation, particularly regarding the integration of Artificial Intelligence (AI) in our field.
The African Evaluation Association (AfrEA), a premier pan-African non-profit dedicated to enhancing evaluation practices continent-wide, is hosting an international conference. I am thrilled to announce that I will be presenting a paper titled "Revolutionizing Monitoring, Evaluation, and Learning (MEL) Systems Through Artificial Intelligence" at this prestigious event. The conference, themed “Technology and Innovation in Evaluation Practice in Africa: The Last Nail on the Coffin of Participatory Approaches?” promises to be a groundbreaking forum for professionals in our field.
As I prepare for this significant opportunity, I am in the process of seeking sponsorship to support my participation in the conference. Additionally, I am looking for avenues for future publication and partnership possibilities that align with our shared interest in leveraging AI for evaluation. To this end, I would be grateful for your assistance in identifying potential funding opportunities that could sponsor my paper presentation and mark the beginning of a promising collaboration in AI for Evaluation.
For colleagues and industry professionals interested in this innovative conference, I am pleased to share the registration link https://afrea.org/conference/ . Your support in exploring sponsorship possibilities would not only contribute to the success of my presentation but also pave the way for future collaborative endeavors in this dynamic field.
I look forward to the possibility of working together to advance the integration of AI in evaluation practices.
Warm regards,
Pantaleon Shoki, Executive Secretary of the Tanzania Evaluation Association
Aurelie Larmoyer
Senior Evaluation officer WFPChère Muriel,
Je suis d'accord que l'I.A. apporte tant de potentiel à l'évaluation, et beaucoup de questions à la fois !
Au sein du Bureau de l'évaluation du PAM, alors que nous cherchions à accroître notre capacité à mieux répondre aux besoins de nos collègues en matière de données probantes, les progrès récents de l'intelligence artificielle (IA) nous sont apparus comme une solution évidente à explorer. C'est pourquoi je suis heureuse de partager avec vous l'expérience et les réflexions que nous avons accumulées depuis que nous avons commencé à nous intéresser à ce domaine.
Notre point de départ pour nous intéresser à l'IA a été de reconnaître que nous étions limités dans notre capacité à tirer le meilleur parti de la richesse des connaissances contenues dans nos évaluations, pour répondre aux besoins d'apprentissage de nos collègues. Cela s'explique principalement par le fait que la localisation et l'extraction manuelles d'éléments probants sur un sujet d'intérêt donné, afin de les synthétiser ou de les résumer pour eux, demandent beaucoup de temps et d'efforts.
Nous travaillons donc au développement d'une solution basée sur l'IA pour automatiser la recherche d'informations à l'aide d'outils de traitement du langage naturel (NLP), permettant d'interroger nos informations à l'aide de questions en langage naturel, un peu comme nous le faisons avec n'importe quel moteur de recherche sur le web. Ensuite, en tirant le meilleur parti des avancées technologiques récentes dans le domaine de l'IA générative, comme le Chat GPT, la solution pourrait également fournir du texte nouvellement généré à partir des passages de texte extraits, tels que des résumés de connaissances.
Nous nous attendons également à ce que l'automatisation de la recherche de texte présente d'autres avantages, tels que l'étiquetage automatique et plus systématique des documents que ne le font les humains, afin de faciliter l'analyse et l'établissement de rapports, et à ce que l'IA donne également la possibilité d'adresser directement des informations pertinentes à des publics en fonction de leur rôle, de leurs intérêts et de leur localisation, tout comme le font Spotify ou Netflix.
Comme nous parvenons à avoir une solution qui offre une bonne performance dans les résultats de recherche proposés, nous espérons qu'elle pourra ensuite être reproduite pour répondre à d'autres besoins similaires.
Au-delà de ces utilisations que nous explorons spécifiquement au sein du Bureau d'évaluation du PAM, je vois d'autres avantages de l'IA pour les évaluations, tels que :
J'espère que ces contributions seront utiles et j'attends avec impatience les expériences des autres, car nous apprenons tous au fur et à mesure, et ce processus est en effet plein de promesses, de risques et nous fait certainement sortir de nos zones de confort.
Cordialement
Aurelie
Cristian Maneiro
Senior Consultant Maestral International, PLAN EvalSalutations, chers collègues,
Je vous remercie, Muriel, d'avoir abordé ce sujet et j'apprécie toutes les contributions. Je pense que l'IA présente des aspects prometteurs pour les évaluateurs, et il est essentiel que nous en soyons conscients. Personnellement, la perspective d'effectuer des analyses quantitatives rapides et interactives sans avoir besoin d'une expertise dans un logiciel de codage (par exemple, R ou Python) changerait la donne pour des professionnels comme moi qui ont une formation en sciences humaines.
En outre, la possibilité de résumer des textes bruts volumineux, tels que des entretiens ou des transcriptions de discussions de groupe, et de faciliter l'analyse précise des points clés, pourrait permettre de gagner un temps considérable. Toutefois, il est essentiel de souligner que l'expérience de l'évaluateur, sa connaissance préalable du domaine, les points de vue des parties prenantes et le sens de la finalité de l'évaluation continueront d'être cruciaux et appréciés.
En outre, les dilemmes éthiques et les décisions relatives à la présentation des résultats ne seront pas résolus par l'IA, quelle que soit sa puissance.
J'aimerais beaucoup voir des exemples d'IA utilisée dans des approches quantitatives et qualitatives.
Vicente Plata
ConsultantChère Muriel,
Merci pour ce sujet très stimulant et intéressant que vous posez au groupe !
Je vais vous faire part de mes réflexions sur la deuxième question. Avec le développement de l'IA, nous sommes tous (les évaluateurs comme tous les autres travailleurs) mis au défi d'apporter une valeur pertinente par le biais de contributions intelligentes à la tâche. Ainsi, de mon point de vue, nous devrons affiner nos contributions à un processus d'évaluation qui sera peut-être, au moins en partie, réalisé par l'IA.
Je serai attentif aux contributions de nos collègues sur les modèles d'IA, les types d'activités à appliquer et les expériences.
Mes salutations distinguées.
Vicente
Consultant senior en évaluation
Lal - Manavado
Consultant Independent analyst/synthesistJe vous salue !
Tout d'abord, la prudence et le bon sens exigent que l'on s'assure soigneusement des points suivants avant d'appliquer une nouvelle technologie à un domaine donné, en l'occurrence l'évaluation :
A la vôtre !
Lal Manavado.
Mohammed Al-Mussaabi
L'IA s'est révélée être un assistant puissant pour les évaluateurs professionnels. Toutefois, il est essentiel de reconnaître que l'IA est un assistant plutôt qu'une solution autonome. Certains utilisateurs de l'IA ont tendance à trop s'y fier sans faire preuve d'esprit critique et de jugement humain, ce qui conduit à des résultats médiocres. Lorsqu'elle est utilisée de manière appropriée, l'IA peut considérablement améliorer le processus d'évaluation en automatisant des tâches, en analysant de grands volumes de données et en fournissant des informations précieuses. Elle peut aider les évaluateurs dans la collecte, l'organisation, l'analyse et la visualisation des données, ce qui permet de gagner du temps et d'améliorer l'efficacité. Les capacités de l'IA en matière d'analyse de texte et d'analyse prédictive permettent aux évaluateurs de découvrir des modèles, des sentiments et des tendances, ce qui favorise la formulation de recommandations et la prise de décisions plus précises. Néanmoins, il est essentiel que les évaluateurs fassent preuve de prudence et maintiennent une approche équilibrée. L'expertise humaine, l'esprit critique et la compréhension du contexte restent essentiels pour interpréter les informations générées par l'IA et garantir leur validité. Les évaluateurs doivent filtrer et valider les résultats générés par l'IA, en tenant compte des limites et des biais potentiels des algorithmes.
Adéléké Oguniyi
MERL ExpertAlors que débute l'ère de l'intelligence artificielle (IA), les évaluateurs ont une occasion unique de tirer parti de cette technologie pour améliorer leurs activités professionnelles de plusieurs manières :
Automatisation des tâches routinières: L'IA peut automatiser des tâches répétitives telles que le nettoyage des données, la production de rapports ou la programmation, libérant ainsi le temps des évaluateurs pour qu'ils se concentrent sur des aspects plus stratégiques et analytiques de leur travail. En rationalisant les flux de travail, les évaluateurs peuvent accroître leur productivité et leur efficacité.
Pour exploiter efficacement l'IA, les évaluateurs devraient envisager les stratégies suivantes :
En plus de leurs compétences techniques en matière d'IA, les évaluateurs doivent cultiver un éventail de compétences complémentaires pour rester compétitifs et répondre aux attentes en constante évolution du secteur :