Silva Ferretti is a freelance consultant with extensive international experience in both development and humanitarian work. She has been working with diverse organizations, committees, networks and consortia (e.g. Agire, ActionAid, CDAC, DEC, ECB project, Handicap International, HAP, Plan International, Save the Children, SPHERE, Unicef, WorldVision amongst many others).
Her work is mainly focused on looking at the quality of programs and on improving their accountability and responsiveness to the needs, capacities and aspirations of the affected populations.
Her work has included impact evaluations / documentation of programs; set up of toolkits, methodologies, standards, frameworks and guidelines; coaching, training and facilitation; field research and assessments.
Within all her work Silva emphasizes participatory approaches and learning. She has a solid academic background, and also collaborated with academic and research institutions in short workshops on a broad range of topics (including: innovations in impact evaluation, Disaster Risk Management, participatory methodologies, protection, communication with affected populations).
She emphasizes innovation in her work, such as the use of visuals and videos in gathering and presenting information.
Silva Ferretti
Freelance consultantOvación de pie, Musa. Estoy totalmente de acuerdo contigo.
Hoy en día, la mayoría de los proyectos ya están muy estructurados e incorporan todos los elementos que has mencionado, hasta el punto de encorsetarlos (¡pero ese es un debate para otro día!).
Si siguen surgiendo problemas importantes a pesar de estas importantes inversiones en seguimiento y evaluación, quizás debamos reevaluar nuestros planteamientos de gestión y seguimiento y evaluación en lugar de introducir otro proceso externo más.
Permítanme reiterar mi punto de vista: los recursos gastados en procesos de evaluabilidad -que simplemente descubren lagunas, que ya deberían ser evidentes- no son el uso más eficaz de nuestros limitados recursos de evaluación. Sería mejor invertir en el fortalecimiento de la capacidad organizativa y la localización de los esfuerzos de evaluación, en lugar de pagar continuamente a consultores externos.
O, en lugar de invertir continuamente en procesos que nos enjaulan aún más dentro de los mismos marcos, podríamos utilizar los recursos para garantizar que las evaluaciones y los procesos evaluativos estén adaptados, sean significativos y estén localizados, y no se limiten a ejercicios de «cortar y pegar» reciclando los mismos términos de referencia una y otra vez.
---
PPUNTO EXTRA: un giro impulsado por la Inteligencia Artificial (IA):
Le pedí a la IA que adoptara la postura de un defensor de la evaluación de la evaluabilidad y criticara mi respuesta. ¿Saben qué? Veo los puntos de la respuesta generada por la IA y soy consciente de que los defensores están motivados por aspiraciones fuertes y genuinas. Sin embargo, también veo hasta qué punto son aspiraciones. La realidad, como también se desprende de algunos mensajes de esta conversación, es que la evaluación de la evaluabilidad corre el riesgo de convertirse en una capa más de burocracia o de controles estrechos, en lugar de la herramienta transformadora a la que aspira. Y es probable que implique maniobras a corto plazo por parte de consultores externos. Es probable que no se invierta en el compromiso, la capacidad y el apoyo que supondría este enfoque ambicioso: si los proyectos no son evaluables, no suele haber una solución rápida que lo haga. Llámenme pesimista, pero sigo siendo escéptico. Y tengo muchas ideas sobre dónde podría gastarse el dinero en su lugar.
[A continuación, la respuesta de AI a mi petición mencionada anteriormente].
«Aunque aprecio las preocupaciones planteadas sobre la posible redundancia de las evaluaciones de evaluabilidad (EA) en proyectos bien estructurados, creo que es importante tener en cuenta el valor único que aporta la EA, más allá de llenar las lagunas de los marcos de seguimiento y evaluación existentes.
En primer lugar, la EA es algo más que una lista de control o una auditoría de lo que ya debería estar en marcha; ofrece la oportunidad de probar rigurosamente la lógica y la viabilidad de un proyecto antes de que se gasten recursos importantes. Incluso con un marco lógico y de seguimiento y evaluación sólidos, a veces los proyectos pueden pasar por alto supuestos críticos o riesgos potenciales que sólo se ponen de manifiesto mediante un proceso de evaluabilidad específico. La EA ofrece una salvaguarda, garantizando que los proyectos estén realmente preparados para la evaluación y que los datos recopilados sean significativos y procesables.
Además, si bien es cierto que la mayoría de los proyectos actuales están muy estructurados, la complejidad y la escala de muchas intervenciones hacen que puedan surgir lagunas a pesar de los planes mejor trazados. La EA permite un examen centrado de estas posibles deficiencias, ofreciendo un enfoque proactivo para la resolución de problemas en lugar de esperar a que surjan durante la fase de evaluación. Esta actitud proactiva puede, en última instancia, ahorrar tiempo y recursos al identificar y abordar los problemas desde el principio, en lugar de luchar por solucionarlos a posteriori.
En cuanto a la inversión en consultores externos, cabe señalar que la EA también puede localizarse e integrarse en las capacidades existentes de las organizaciones. En lugar de considerar la EA como un proceso externo adicional, puede ser una oportunidad para desarrollar la capacidad interna y fomentar una cultura de mejora continua. Al integrar la evaluabilidad dentro de la organización, no sólo reducimos la dependencia de consultores externos, sino que también garantizamos que las evaluaciones estén adaptadas, matizadas y reflejen realmente el contexto del proyecto.
En conclusión, aunque el fortalecimiento de los sistemas de seguimiento y evaluación es indudablemente importante, la EA no debe descartarse por redundante o innecesaria. Por el contrario, debe considerarse una inversión estratégica para garantizar que las evaluaciones sean eficaces, pertinentes y capaces de aportar conocimientos reales que impulsen mejores resultados.»
Silva Ferretti
Freelance consultantHola de nuevo...
¿La evaluabilidad consiste realmente en comprobar
'¿Pueden cumplirse los requisitos de gestión?
¿Comprender qué enfoque de evaluación es el adecuado para el proyecto y su contexto?
Me he dado cuenta de que esta tendencia a utilizar la evaluabilidad como una valoración descendente
resurge una y otra vez
reduciendo aún más el alcance de la evaluación en lugar de ampliarlo.
Silva Ferretti
Freelance consultantEstoy de acuerdo contigo [contribución de Rick Davies más abajo] en muchas cosas, y sí, es clave tener una visión realista de lo que una evaluación debe y puede hacer.
1.
Estoy de acuerdo. Y demasiadas evaluaciones van con el piloto automático (es decir, cortar y pegar una plantilla con pequeñas adaptaciones al final del proyecto). Sin duda, acojo con satisfacción la evaluabilidad como una oportunidad para ampliar las posibilidades, como sugerir evaluaciones en tiempo real, promover enfoques participativos o destacar cuestiones importantes que deben abordarse o prioridades que hay que atender. Pero seamos realistas: la mayoría de los documentos de evaluabilidad que he visto comprueban si el programa ha recogido indicadores preestablecidos en un marco lógico/teoría del cambio acordado y exigen comprobar qué criterios OCDE⁄DAC pueden evaluarse. La Agencia Austriaca de Desarrollo tiene puntos interesantes sobre la utilidad de la evaluación tal y como la perciben las diferentes partes interesadas - pero luego falta el anexo :-( (¿todavía es un documento de trabajo?)
Sueño con un documento de evaluabilidad que ofrezca un catálogo de posibilidades en lugar de limitarse a los enfoques convencionales. Debería sugerir que es posible una evaluación del desarrollo, por ejemplo, en lugar de pedir teorías del cambio preestablecidas. De lo contrario, la evaluabilidad ahogará la innovación en lugar de promoverla.
2.
Por supuesto, debemos gastar los recursos de evaluación con sensatez. Y, por supuesto, un buen análisis de evaluabilidad puede dar lugar a evaluaciones más eficientes (y muchos gestores de evaluación ya son buenos en eso).
Pensando en la relación coste-eficacia.... ¿realmente podemos justificar gastar mucho dinero para entender sólo si un programa puede evaluarse sin aportar ningún aprendizaje adicional? No lo descarto, y sí, puede ser útil.
Pero, en el caso de los programas adecuados, es posible realizar una evaluación por fases en la que la primera valore el programa y aporte algún aprendizaje preliminar mientras se comprenden las mejores opciones para las fases siguientes. Por supuesto, se necesita un evaluador o un equipo que conozca diferentes metodologías, sea adaptable y esté cerca de la dirección, pero es muy posible hacerlo. Una evaluación por fases no siempre será adecuada, pero es una posibilidad real que puede quedar eclipsada por los enfoques convencionales de evaluabilidad.
3.
Como he escrito antes, la lista de control confirma una concepción muy convencional de un programa. Reitero aquí que trabajé en programas que no tenían un marco lógico, ni establecían indicadores y líneas de base (piénsese, por ejemplo, en modelos de trabajo en evolución), y en los que la evaluación ayudó a sistematizar enfoques. Esos programas sencillamente no habrían pasado las listas de control propuestas. Y en qué medida podrían haber llegado a partes interesadas importantes que sólo se identificaron a través de la bola de nieve. Sí. Me refiero a casos especiales, ya que suelo trabajar más a nivel de base y en proyectos innovadores. Pero estos son los que corren más riesgo de pasar desapercibidos para una interpretación convencional de la evaluabilidad.
Así que veo cómo la evaluabilidad, tal y como está, puede funcionar para proyectos grandes y relativamente estandarizados. Pero tal y como está ahora, aún se queda corta para convertirse en una posibilidad de enfoques novedosos y de liberar ideas y posibilidades, algo que nuestro sector necesita urgentemente.
Silva Ferretti
Freelance consultantEl problema que tengo con la «evaluabilidad» es que todos los programas pueden (y deben) evaluarse.
Algunos programas se prestan a enfoques más «rigurosos» y convencionales, mientras que otros, debido a su complejidad inherente, requieren metodologías diferentes.
Estos enfoques alternativos pueden ayudar a comprender dinámicas que antes no existían... lo cual es BUENO. No todos los programas necesitan un formato previo. Esto puede ser especialmente beneficioso para los programas participativos e innovadores/adaptativos que necesitan determinar el mejor camino a seguir a medida que avanzan.
Es crucial que no utilicemos la evaluabilidad como otro ladrillo en el muro para hacer que las evaluaciones se limiten al cumplimiento de los resultados o a un proceso más barato de investigación estándar aplicado a teorías arbitrarias del cambio.
Por el contrario, debemos reclamar la evaluación como una oportunidad para valorar los cambios de forma coherente con la intención y el contexto del programa. Así que la pregunta no es «¿Puede evaluarse el programa con una caja de herramientas estándar?» (que es en lo que corre el riesgo de convertirse la evaluabilidad) sino «¿Qué enfoque evaluativo se adapta mejor a este contexto?».
Cuando leo: «*Algunos diseños de proyectos son manifiestamente no evaluables, y algunos marcos de SyE son manifiestamente inadecuados a primera vista. En estas circunstancias, no se necesitaría un análisis de evaluabilidad para decidir si seguir adelante con una evaluación. Los esfuerzos deben centrarse en las tareas más inmediatas de mejorar el diseño del proyecto y/o el marco de seguimiento y evaluación*"(https://www.betterevaluation.org/methods-approaches/themes/evaluability…).
Tengo muchas ganas de llorar....
Estamos confundiendo la documentación del proyecto con la realidad del trabajo. En mi experiencia, muchos proyectos tenían logogramas o teorías del cambio incompletos, y sin embargo eran estupendos. La evaluación ayudó a sistematizarlos y a desgranar el aprendizaje y el valor.Si seguimos fijándonos sólo en lo que está preformateado, perdemos la oportunidad de una transformación real.