Cómo evaluar la ciencia, la tecnología y la innovación en un contexto de desarrollo ?
Estimados miembros de EvalForward,
Dirijo el Departamento de Evaluación del Grupo Consultivo sobre Investigaciones Agrícolas Internacionales (CGIAR), una asociación mundial de investigación encargada de impulsar la transformación de los sistemas alimentarios, de tierras y agua en una crisis climática por medio de la ciencia y la innovación. Hoy me acompaña Nanae Yabuki, Oficial superior de evaluación de la Oficina de Evaluación (OED) de la Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO), que lidera los esfuerzos internacionales para acabar con el hambre y lograr la seguridad alimentaria para todos.
El CGIAR y la FAO difunden sus conocimientos por medio de productos de conocimiento como publicaciones y bases de datos. Sin embargo, evaluar la calidad de la ciencia, la tecnología y/o la innovación (CTI) de estos esfuerzos de divulgación no es siempre sencillo.
Se trata de un proceso que debería abarcar los conocimientos normativos en las sedes y la labor operacional sobre el terreno. Requiere criterios y metodologías adecuados, como análisis bibliométricos, entrevistas, encuestas, estudios de casos y síntesis.
Basándose en las experiencias de evaluación de la calidad de la ciencia y, con el fin de mejorar la armonización con la calidad de la investigación para el desarrollo y las prácticas de la industria, el Departamento de Evaluación del CGIAR ha publicado recientemente una nota técnica sobre el uso de la bibliometría para medir y evaluar la calidad de la ciencia, con vistas a elaborar directrices sobre este tema.
Asimismo, la OED ha estado diseñando una evaluación de la calidad de la ciencia, a fin de satisfacer mejor las necesidades de los usuarios en el contexto del desarrollo.
Nos gustaría conocer sus puntos de vista y experiencias sobre las siguientes cuestiones:
- ¿Qué desafíos plantea la evaluación de la calidad de la ciencia y la investigación?
a. ¿Qué criterios de evaluación ha utilizado —o considera mejores— para evaluar intervenciones que vinculan la ciencia, la investigación y la innovación y el desarrollo? ¿Por qué?
b. ¿Cree que disponer de un criterio para evaluar la calidad de la ciencia podría ayudar a captar los aspectos científicos utilizados en la investigación y el desarrollo? - ¿Qué métodos e indicadores podrían ser adecuados para evaluar la ciencia y la investigación?
- ¿Conoce alguna práctica de seguimiento, evaluación y aprendizaje (SEA) que podría facilitar la evaluación de la ciencia, la tecnología y la innovación?
Dada la experiencia específica de la comunidad EvalForward en materia de seguimiento y evaluación, estaremos encantadas de recibir sus comentarios para aprender juntos sobre este tema.
Documentación de referencia:
- Blog: Cómo evaluar la ciencia, la tecnología y la innovación en un contexto de desarrollo | Eval Forward
- Nota técnica: Science-Metrix & CGIAR Advisory Services Secretariat Evaluation Function (2022). Bibliometric Analysis to Evaluate Quality of Science in the Context of One CGIAR. Technical Note. Rome.
- Artículo: Rünzel, M., Sarfatti, P. & Negroustoueva (2021), Evaluating quality of science in CGIAR research programs: Use of bibliometrics
Esperamos que sus comentarios y experiencias contribuyan a una discusión enriquecedora.
Svetlana Negroustoueva
Responsable del Departamento de Evaluación, Servicios de Asesoramiento del CGIAR
Svetlana I Negroustoueva
Lead, Evaluation Function CGIAREstimados colegas:
Nos ha encantado leer los comentarios y experiencias de 23 participantes de diferentes ámbitos. La calidad de la discusión entre una amplia variedad de expertos —incluidos profesionales que no se dedican a la evaluación— pone de manifiesto un consenso general sobre la importancia de formular y utilizar criterios específicos para contextualizar la evaluación de la ciencia, la tecnología y la innovación (CTI). A continuación, encontrarán un resumen del debate. Les invitamos a leer las contribuciones de los diferentes participantes en caso de que no lo hayan hecho aún.
Marco de referencia
Se presentaron los siguientes marcos: el Marco de referencia de la calidad de la investigación para el desarrollo, el Marco de excelencia de la investigación y el instrumento de evaluación Calidad de investigación plus.
El debate principal se centró en los elementos del Marco de referencia de la calidad de la investigación para el desarrollo, vinculados —de manera directa o indirecta— a los criterios de evaluación: pertinencia, legitimidad, eficacia y credibilidad científica.
Para Serdar Bayryyev y Lennart Raetzell, el contexto en el que se utilizan los productos es fundamental para determinar su pertinencia. A la hora de evaluar la eficacia (o la calidad), Serdar Bayryyev sugirió: (1) evaluar la influencia de las actividades y la medida en que los productos de la ciencia, la innovación y la investigación han influido en las políticas, enfoques o procesos; y (2) evaluar el grado de “interconexión” (es decir, la medida en que investigadores e instituciones científicas han interactuado con todas las partes interesadas pertinentes). Lennart Raetzell compartió su experiencia reciente con una evaluación de impacto temática para la Oficina de Cooperación Universitaria al Desarrollo del Consejo Interuniversitario Flamenco (VLIR-UOS, por sus siglas en flamenco) (https://www.vliruos.be) sobre vías para incorporar la investigación, principalmente en el ámbito de la agricultura.
Nanae Yabuki y Serdar Bayryyev coincidieron en la importancia de evaluar el carácter transformador de las actividades de investigación para determinar si producen un cambio verdaderamente transformador, o al menos desencadenan un debate político importante para avanzar hacia dicho cambio. La pertinencia de la CTI es específica del contexto, así como la forma en que desencadena un cambio transformador.
Sonal D Zaveri afirmó que los investigadores del hemisferio sur coinciden en que la investigación debe ser pertinente para las preocupaciones actuales, los usuarios y las comunidades que buscan un cambio. En un contexto de desarrollo, la aceptación y la influencia son tan importantes como la calidad de la investigación. Es por ello que las evaluaciones deben medir qué es importante para las comunidades y las personas. Numerosas evaluaciones se diseñan a distancia y dan preferencia a determinadas opciones en función del poder de la experiencia, la posición o los recursos. Resultaría difícil aceptar la calidad de la ciencia si careciera de cualquier valor relacionado con los derechos humanos, la inclusión y la equidad. Si los hallazgos de las evaluaciones no son utilizados e identificados como propios por sus usuarios —y en especial por quienes tienen poca voz en el programa— no se podrá afirmar que han dado lugar a un bien público o se han utilizado para beneficiar a toda la población. En relación con este tema, Richard Tinsley destacó la importancia de tener en cuenta a los beneficiarios finales de los resultados científicos. Hizo hincapié en la necesidad de identificar con claridad a los clientes principales (los sistemas nacionales de investigaciones agronómicas de los países anfitriones) del Grupo Consultivo sobre Investigaciones Agrícolas Internacionales (CGIAR) y a los beneficiarios finales (un gran número de pequeños agricultores, por lo general anónimos), que continúan estando un poco alejados.
Desde el punto de vista de los donantes, Raphael Nawrotzki sostuvo que los subcomponentes del marco de referencia de la calidad de la investigación para el desarrollo son importantes para medir la calidad de la actividad científica más que los resultados (productos, resultados, impactos) de ésta. De ahí la necesidad de utilizar los criterios de impacto y eficiencia del Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) para captar la forma de investigar (el proceso) para el desarrollo y los “resultados” correspondientes. Nawrotzki indicó que los financiadores se centran especialmente en el impacto (¿qué logra la investigación? ¿cuál es su contribución?) y, en menor medida, en la eficiencia (¿cómo se utilizaron los recursos? ¿qué objetivos se lograron para las cantidades invertidas?).
Para Nanae Yabuki, utilizar las evidencias científicas para mejorar el impacto de las intervenciones refleja el mandato de la FAO. Para evaluar estos aspectos, la “utilidad” de los hallazgos de la investigación es más relevante que su “importancia”. De ahí la necesidad de establecer criterios adecuados para cada evaluación.
Norbert Tchouaffe abogó por utilizar la teoría del cambio como herramienta para evaluar el impacto de la interfaz entre ciencia y política en una sociedad concreta, basándose en cinco factores determinantes (puntuaciones en concienciación, conocimientos, actitud, participación y autoevaluación).
Métodos
Los participantes coincidieron en la importancia de utilizar un enfoque de métodos combinados para conjugar indicadores cualitativos y cuantitativos. Raphael Nawrotzki indicó que este enfoque resulta especialmente necesario para evaluar la pertinencia de las cuestiones investigadas y la equidad del proceso.
Métodos cuantitativos: puntos fuertes y limitaciones
Ente los métodos cuantitativos, se mencionó el uso de análisis bibliométricos para:
En relación con la evaluación de la calidad de la ciencia y la innovación, Rachid Serraj mencionó varios ejemplos sobre el uso de índices bibliométricos y de citas de la Web of Science.
Etienne Vignola-Gagné, coautor de la nota técnica, puso de relieve la nueva gama ampliada de dimensiones de los indicadores bibliométricos —incluidas la interdisciplinariedad, la equidad de género, la preimpresión como práctica de ciencia abierta, o la prevalencia de colaboraciones multinacionales complejas—, de utilidad para evaluar la pertinencia y legitimidad. Algunos indicadores bibliométricos se pueden emplear también como indicadores de proceso o incluso de entrada, en lugar de su uso tradicional como indicadores de eficacia. La bibliometría se puede utilizar para supervisar si los programas de investigación interdisciplinar contribuyen realmente a una mayor integración disciplinar en la práctica cotidiana, teniendo en cuenta que los equipos de proyecto y los financiadores suelen subestimar la complejidad de las propuestas de investigación.
Valentina de Col mencionó el empleo de la bibliometría (p. ej. la indexación de la colección principal de la Web of Science, el porcentaje de artículos en acceso abierto, la clasificación de las publicaciones especializadas en cuartiles, las métricas alternativas o altmetrics) para artículos publicados en revistas especializadas. Y el uso de informes de casos en los que la investigación del CGIAR ha contribuido a los resultados y el impacto (OICR, por sus siglas en inglés). Raphael Nawrotzki sugirió otros indicadores bibliométricos relacionados: (a) contribución a los Objetivos de Desarrollo Sostenible (ODS); (b) promedio de citas relativas; (c) publicaciones citadas con frecuencia; (d) índice de distribución de citas.
Keith Child y Serdar Bayryyev señalaron las limitaciones de los análisis bibliométricos. Por ejemplo, no todos los productos de la ciencia, la innovación y la investigación están incluidos y debidamente registrados en las bases de datos bibliográficas, o ni siquiera se llegan a publicar, por lo que no resulta posible evaluarlos en su totalidad. Además, el cálculo del número medio de citas puede estar sesgado: (1) puede prestar demasiada atención a un autor concreto; (2) algunos autores pueden excluir —de manera deliberada— ciertos materiales de referencia de sus publicaciones. Raphael Nawrotzki señaló las limitaciones específicas de la medición del impacto científico por medio de la bibliometría: (1) Períodos de tiempo prolongados (los resultados de las inversiones en investigación agrícola pueden tardar décadas en hacerse visibles; para realizar una medición sólida del impacto científico en términos bibliométricos deben transcurrir unos cinco años desde la finalización de un proyecto o cartera de proyectos); (2) Métricas alternativas (es difícil combinar la bibliometría y las métricas alternativas [altmetrics] para obtener una imagen completa del impacto científico); (3) Relación coste-eficacia (determinar el apoyo atribuible a cada fuente de financiación no es sencillo; medir y calcular la relación coste-eficacia conlleva numerosas limitaciones). Paul Engel amplió la lista de limitaciones de la bibliometría: proporciona muy poca información sobre la divulgación de las políticas, la relevancia contextual, la sostenibilidad, la innovación y la ampliación de las contribuciones generadas a través de las asociaciones de investigación. Ola Ogunyinka afirmó que los beneficiarios finales del CGIAR (los pequeños agricultores y los sistemas nacionales) están muy alejados (acceso, fondos, estructuras débiles, etc.) de las publicaciones especializadas consideradas en los análisis bibliométricos.
En general, Jill Lenne y Raphael Nawrotzki coincidieron en la utilidad de las métricas alternativas (altmetrics).
Graham Thiele sugirió utilizar el análisis de redes sociales (ARS) para examinar quiénes colaboran en las publicaciones y cuál es el contexto social y organizativo de éstas. Se trata de un complemento del análisis bibliométrico, en particular para la dimensión de legitimidad. Valentina de Col utilizó el ARS y el análisis de redes de impacto (INA, por sus siglas en inglés) para investigar las redes de colaboración de dos programas de investigación del CGIAR.
Por último, Graham Thiele advirtió del riesgo de utilizar métodos más avanzados y análisis bibliométricos de mayor precisión (disponibles actualmente y realizados de forma continua) a costa de perder la visión completa que proporcionan otros estudios, como los estudios de casos de resultados y los estudios de impacto. Paul Engel coincidió en esta apreciación sobre la base de su experiencia con la evaluación de la calidad de la ciencia en los programas de investigación del CGIAR.
Guy Poppy introdujo el Marco de excelencia de la investigación (REF, por sus siglas en inglés), que evalúa los resultados de investigación, el entorno de ésta y los estudios de casos de impacto, y permite obtener una puntuación combinada en la que la ponderación de los resultados es la más elevada y el impacto cobra cada vez mayor importancia.
Métodos cualitativos: puntos fuertes y limitaciones
Utilizar métodos cualitativos —junto con la bibliometría y las métricas alternativas— es fundamental para tener una perspectiva más amplia a la hora de evaluar la calidad de la ciencia.
Las evaluaciones cualitativas se pueden realizar por medio de entrevistas y/o encuestas. En lo que respecta a la medición del impacto, Valeria Pesce destacó que los indicadores cualitativos se suelen basar en entrevistas o informes, y que no resulta sencillo dar sentido a la narrativa. Hizo referencia a una contribución de Claudio Proietti en la que presentó ImpresS.
Ibtissem Jouini destacó la fiabilidad de la síntesis de evidencias, si bien poner en práctica este método no es sencillo debido a la variedad de evidencias que se pueden encontrar, los criterios de evaluación, los enfoques, la orientación, los contextos, etc.
Jillian Lenne y Keith Child señalaron también una de las limitaciones de los métodos cualitativos: la subjetividad de las valoraciones que deben realizar los evaluadores.
Sonal D Zaveri puso de relieve la importancia de los enfoques y métodos participativos, describió la diferencia entre “acceso” y “participación”, e hizo referencia al concepto de poder (oculto o explícito). Las mujeres, como depositarias tradicionales de los conocimientos locales e indígenas, se encuentran aisladas de la sociedad interconectada, en la que la información, la comunicación y los conocimientos son “bienes comercializables”.
Valeria Pesce, Etienne Vignola-Gagné y Valentina de Col analizaron herramientas actuales y formas de afrontar desafíos de los indicadores cualitativos y cuantitativos: herramientas informáticas que permiten clasificar la información (en ocasiones de forma automática) en función de conceptos seleccionados, identificar patrones, frecuencia de términos/conceptos, grupos de conceptos, etc. utilizando técnicas de minería de textos y aprendizaje automático, a veces incluso a partir de archivos de vídeo y audio.
Para el análisis narrativo: ATLAS.ti, MAXQDA, Nvivo: son programas para un análisis narrativo potente; Cynefin Sensemaker y Sprockler se utilizan para funcionalidades de diseño y recopilación; NarraFirma es una aplicación web con una sólida base conceptual, que contribuye a diseñar la investigación narrativa y a seguir un proceso de análisis participativo.
Conclusión y próximos pasos
Incluso sin disponer de métodos estandarizados, se deben realizar esfuerzos para diseñar las evaluaciones de la CTI de manera que los resultados se puedan utilizar —en la medida de lo posible— a nivel institucional (por ejemplo, para una planificación estratégica y programática superior, como sugirió Nanae Yabuki), pero también a nivel de quienes se ven afectados (como indicaron Sonal D Zaveri y otros participantes).
Valentina de Coi destacó la importancia de consolidar y adoptar un enfoque estandarizado para medir la calidad de la ciencia en una organización como el CGIAR, a fin de contribuir a medir los resultados con mayor precisión, evaluar la eficacia, mejorar la calidad de los datos, identificar cualquier carencia y agregar la información de los diferentes centros del CGIAR.
La utilidad de esta discusión para el aprendizaje es innegable. En los Servicios de Asesoramiento del CGIAR hemos empezado a elaborar las directrices para poner en práctica los criterios de evaluación de la calidad de la ciencia en la Política de evaluación revisada del CGIAR. Por favor, háganos saber si están interesados en participar en esta iniciativa.
Referencias
Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/
Belcher, B. M., Rasmussen, K. E., Kemshaw, M. R., & Zornes, D. A. (2016). Defining and assessing research quality in a transdisciplinary context. Research Evaluation, 25(1), 1-17.
DOI: 10.1093/reseval/rvv025
Norbert F. Tchiadjé, Michel Tchotsoua, Mathias Fonteh, Martin Tchamba (2021). Ecological engineering to mitigate eutrophication in the flooding zone of River Nyong, Cameroon, Pages 613-633: https://link.springer.com/referenceworkentry/10.1007/978-3-030-57281-5_8
Chambers, R. (1997). Whose reality counts (Vol. 25). London: Intermediate technology publications.
Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun
Holderness, M., Howard, J., Jouini, I., Templeton, D., Iglesias, C., Molden, D., & Maxted, N. (2021). Synthesis of Learning from a Decade of CGIAR Research Programs. https://cas.cgiar.org/evaluation/publications/2021-Synthesis
IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. http://hdl.handle.net/10625/56528
Lebel, Jean and McLean, Robert. A Better Measure of research from the global south, Lancet, Vol 559 July 2018. A better measure of research from the global south (nature.com)
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135. https://doi.org/10.1093/reseval/rvy026
Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC). http://hdl.handle.net/10625/56528
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140. https://doi.org/10.1177/00307270211024271
Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Research funding programmes aiming for societal transformations: Ten key stages. Science and Public Policy, 46(3), pp. 463–478. doi:10.1093/scipol/scy074.
Singh,S, Dubey,P, Rastogi,A and Vail,D (2013) Excellence in the context of use-inspired research: Perspectives of the global South Perspective.pdf (amaltas.asia)
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs. https://doi.org/10.5424/sjar/2020183-16399
Vliruous (2019). Thematic Evaluation of Departmental Projects: Creating the Conditions for Impact. https://cdn.webdoos.io/vliruos/753d44b984f65bbaf7959b28da064f22.pdf
Zaveri, Sonal (2019). “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation. https://bit.ly/3wX5pg8
Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian 2021-IDEAS-book-Transformational-Evaluation.pdf (ideas-global.org)
Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press. https://bit.ly/2RFEMw5
Nanae Yabuki
Evaluation Officer FAOGracias por las valiosas aportaciones. El debate ha confirmado que sería necesaria una combinación de métodos cualitativos y cuantitativos para evaluar la calidad de la ciencia (QoS) en el contexto del desarrollo.
El análisis bibliométrico podría ser útil para evaluar la legitimidad de los resultados de la investigación y la credibilidad de los productos del conocimiento. La FAO realiza investigación aplicada y elabora productos de conocimiento como las publicaciones. El análisis bibliométrico puede ayudar a evaluar la calidad de nuestros productos de conocimiento.
La FAO no sólo realiza trabajos de conocimiento, sino también actividades de campo. Utilizamos la evidencia científica para mejorar el impacto de las intervenciones, resolver problemas específicos de desarrollo, etc. Para evaluar estos aspectos, la "utilidad" de los resultados de la investigación es más relevante que la "importancia" de los mismos. La relevancia de la ciencia, la tecnología y la innovación (CTI) depende del contexto. El modo en que la CTI desencadena un cambio transformador también es específico del contexto. Por lo tanto, es necesario establecer criterios adecuados para cada evaluación.
Aunque la estandarización puede ser difícil, valdría la pena esforzarse por diseñar las evaluaciones de CTI de manera que los resultados de la evaluación puedan utilizarse, en la medida de lo posible, a nivel institucional, para una mayor planificación estratégica y programática, por ejemplo.
Diferentes organizaciones de desarrollo utilizan la CTI en su trabajo y evalúan su labor. Creo que podemos aprender de las experiencias de los demás.
Norbert TCHOUAFFE TCHIADJE
Associate Professor / Senior Researcher University of Ebolowa/Pan-African Institute for Development CameroonGracias por los comentarios. La contribución a la sociedad o el impacto es el objetivo que buscan los financiadores. Así que, desde mi punto de vista, traducir los objetivos en impactos requiere nuevas estrategias de transformación, como la teoría del cambio, que he concebido como un concepto titulado "La teoría del cambio de Tchouaffe: TToC" (Tchouaffé, 2021) como herramienta para evaluar el impacto de la red de la interfaz ciencia-política en una sociedad concreta, basándose en cinco determinantes (tablas de puntuación sobre la concienciación, el saber hacer, la actitud y la participación, y la autoevaluación).
Que tengan un buen día.
Norbert TCHOUAFFE PhD
Instituto Panafricano para el Desarrollo Camerún
No duden en consultar mi capítulo Ingeniería ecológica para mitigar la eutrofización en la zona de inundación del río Nyong, Camerún, Páginas 613-633 (en inglés): https://link.springer.com/referenceworkentry/10.1007/978-3-030-57281-5_8. del Handbook of climate management, publicado por Springer nature, 2021
Valeria Pesce
Information management specialist / Partnership facilitator Food and Agriculture Organization of the United Nations / Global Forum on Agricultural Research and Innovation (GFAR)Gracias por mantener el foro abierto más tiempo del previsto. Estuve leyendo todos los comentarios con mucho interés, sin atreverme a contribuir tanto porque soy nuevo en la comunidad de EvalForward como porque no soy una evaluadora con experiencia, especialmente de la ciencia, sino más bien una profesional de M&E / MEL a nivel de proyecto en general.
Estoy posteando algo sólo ahora en el último minuto en respuesta a la pregunta 3 sobre las prácticas de MEL, y específicamente con respecto a la medición del impacto (que ha surgido mucho en otros posts, gracias Claudio Proietti por introducir ImpresS), donde los indicadores cualitativos a menudo se basan en entrevistas o informes, y dar sentido a la narrativa no es fácil.
No estoy segura de que, en términos de prácticas, las herramientas informáticas sean de interés, pero creo que en este tipo de medición algunas herramientas informáticas pueden ayudar mucho. Por supuesto, la calidad de la evaluación depende de la forma en que se diseñen las preguntas de la narrativa y del tipo de análisis que se prevea (clasificaciones, palabras clave, estructura del relato, metadatos), pero una vez hecho el diseño, es muy práctico utilizar herramientas que permiten (a veces de forma automática) clasificar en función de los conceptos seleccionados, identificar patrones, frecuencia de palabras/conceptos, clusters de conceptos, etc., utilizando técnicas de minería de textos y Machine Learning, en algunos casos incluso partiendo directamente de archivos de vídeo y audio.
Algunas herramientas de análisis narrativo que estoy estudiando son ATLAS.ti, MAXQDA, NVivo. Otras herramientas que estoy revisando, que hacen un análisis narrativo menos potente pero que también tienen funcionalidades de diseño y recopilación, son Cynefin Sensemaker y Sprockler. Una herramienta interesante, con funcionalidades más básicas pero con una fuerte columna vertebral conceptual, que ayuda al diseño de la indagación narrativa y apoya un proceso de análisis participativo, es NarraFirma.
(O.T.: En realidad, me interesaría intercambiar opiniones sobre estas herramientas con otros miembros de la comunidad que las hayan utilizado).
Paul Engel
Knowledge Perspectives & InnovationEstoy muy de acuerdo con Graham [comentario anterior aquí] en esto. Hice una de estas revisiones de los programas de investigación del CGIAR y los estudios de resultados e impacto fueron piezas clave de las que obtuvimos más información sobre lo que realmente ocurrió. Y había muy pocos. El análisis bibliométrico proporcionó una importante visión de conjunto de los esfuerzos realizados y del alcance científico logrado. Entre otras cosas, aportó muy poca información sobre el alcance de las políticas, la relevancia contextual, la sostenibilidad, la innovación y la ampliación de las contribuciones generadas a través de las asociaciones de investigación.
Valentina De Col
Agricultural Information System Officer The International Center for Agricultural Research in Dry Areas (ICARDA)1. ¿Qué desafíos plantea la evaluación de la calidad de la ciencia y la investigación?
En el caso del CGIAR, quizás consolidar y adoptar un enfoque estandarizado para medir la calidad de la ciencia más allá de la evaluación única de cada centro del CGIAR. Esto podría ayudar a medir mejor los resultados, evaluar la eficacia, mejorar la calidad de los datos, identificar las lagunas y agregar los datos entre los centros.
a. ¿Qué criterios de evaluación ha utilizado —o considera mejores— para evaluar intervenciones que vinculan la ciencia, la investigación y la innovación y el desarrollo? ¿Por qué?
En el marco del seguimiento de la evaluación y el aprendizaje, hemos utilizado en el pasado una combinación de métodos cuantitativos y cualitativos. Por ejemplo, la bibliometría (por ejemplo, la indexación de las colecciones básicas de la Web of Science, el porcentaje de artículos en acceso abierto, la clasificación de las revistas en cuartiles, Altmetrics) para los artículos publicados en revistas y los informes de casos de impacto de resultados (OICR) para describir la contribución de la investigación del CGIAR a los resultados y el impacto.
También nos hemos embarcado recientemente en un estudio que utiliza el análisis de redes sociales (SNA) y el análisis de redes de impacto (INA) para investigar las redes de colaboración en investigación de dos Programas de Investigación del CGIAR (CRP). Las redes se generan a partir de los artículos de revistas publicados a lo largo de cuatro años y sus metadatos se utilizan para explorar aspectos que van desde las estructuras de los equipos hasta la evolución de las colaboraciones entre organizaciones.
En general, una mezcla de métodos cuantitativos y cualitativos podría ser la estrategia más útil, permitiendo una combinación de diferentes enfoques y métricas para medir los impactos de las intervenciones.
b. ¿Cree que disponer de un criterio para evaluar la calidad de la ciencia podría ayudar a captar los aspectos científicos utilizados en la investigación y el desarrollo?
Lo mejor podría ser no un criterio único, sino una combinación de diferentes criterios. Hemos aprendido del trabajo de Rünzel, Sarfatti, Negroustoueva (2021) la utilidad de utilizar la pertinencia, la credibilidad científica, la legitimidad y la eficacia en el marco de la evaluación de la calidad de la investigación para el desarrollo.
Rünzel, M., Sarfatti, P. & Negroustoueva (2021), Evaluating quality of science in CGIAR research programs: Use of bibliometrics
Jillian Lenne
Consultant Independent consultantLas Evaluaciones de Casos de Resultados a Impactos (OICRs) que formaron parte de las Evaluaciones de Programas de Investigación del CGIAR en 2020 deberían ampliarse como parte integral de las futuras evaluaciones de las iniciativas de Un CGIAR. Proporcionan una forma eficaz de combinar las evaluaciones cuantitativas, bibliométricas y cualitativas de la calidad de la investigación agrícola para el desarrollo.
Ola Ogunyinka
Senior Research Fellow Natural Resources Institute, University of GreenwichUna herramienta muy bien elaborada que garantizará la uniformidad de la metodología en los programas de investigación del CGIAR a medida que el sistema avanza hacia la realización del CGIAR único.
Mi inquietud es que, incluso si la calidad de la ciencia se considera buena, ¿qué ocurre entonces? ¿Cómo se traduce esto en la esencia misma del nacimiento del CGIAR: el aumento de la producción de alimentos a nivel de los pequeños agricultores, la mejora de la nutrición, la salud y los medios de vida a nivel de los hogares? Los beneficiarios últimos del CGIAR son los pequeños agricultores y los sistemas nacionales. Estos están muy alejados (acceso, fondos, estructuras débiles, etc.) de las revistas que cuentan.
Por lo tanto, en mi opinión, esta herramienta debe combinarse con un sólido proceso de estudio de casos de resultados/impacto que beneficie, por un lado, a la ciencia dentro del CGIAR y, por otro, a su efecto sobre los pequeños agricultores y los sistemas nacionales y la sociedad en general.
Tenemos que definir/elaborar la calidad de la ciencia/la calidad de la investigación de tal manera que se capte el porqué de la necesidad de la ciencia en primer lugar y su efecto/resultado para la sociedad en general. El componente de Seguimiento, Evaluación y Aprendizaje (MEL) debería reforzarse para abordar estas cuestiones más amplias y garantizar que, al evaluar la ciencia, no perdamos de vista su objetivo final.
Guy Poppy
Director and Professor University of SouthamptonHe participado en dos ejercicios del Marco de Excelencia en la Investigación (REF) en el Reino Unido (2014 y 2021) que evalúan la excelencia en la investigación de muchas disciplinas e instituciones diferentes. Además de evaluar los resultados de la investigación, también se evalúan los estudios de impacto y el entorno de la investigación, lo que da lugar a una puntuación mixta en la que los resultados tienen la mayor ponderación, pero el impacto aumenta su peso entre 2014 y 2021.
Se realiza principalmente a través de la revisión por pares, pero incluye la bibliometría (realizada de forma centralizada y proporcionada a usted, por lo que todo se hace de la misma manera). La bibliometría se puede "utilizar" para mejorar la puntuación en lugar de reducirla.
Curiosamente, los mismos investigadores e instituciones obtienen una buena puntuación en todos los ámbitos, aunque se obtienen "pináculos" en algunas áreas de investigación específicas y/o un mayor impacto, etc. Así, los que obtienen una gran puntuación de 3 y 4* (excelencia internacional y liderazgo mundial) suelen tener también una alta puntuación en impacto y/o entornos de investigación, como cabría esperar.
Lo anterior se beneficia de un período sustantivo del Ejercicio de Evaluación de la Investigación antes del Marco de Excelencia de la Investigación (REF) y de mucha información conocida sobre la baselación/normalización. Por ejemplo, en agricultura/alimentación/veterinaria (mi panel), teníamos información sobre las citas típicas, etc. para el subtema, y así podíamos ver si estaba por encima/por debajo de la norma junto con nuestra propia revisión por pares.
Se puede encontrar más información aquí: https://www.ref.ac.uk para 2021 y aquí https://www.ref.ac.uk/2014/ para el ejercicio de 2014 que ha sido analizado por muchos y hay bastante ciencia sobre el REF y la información de las mejores formas de hacerlo en el futuro.
Tiene un incentivo tanto financiero como de reputación, lo que significa que "es un gran negocio" para las universidades del Reino Unido, que invierten mucho tiempo y dinero en él.
Creo que la amplitud de la cobertura y la consideración del rigor, la originalidad y la novedad, etc., en el caso de los resultados, y el alcance, la importancia y el impacto en el caso de los estudios de impacto, así como una serie de indicadores sobre la cultura de la investigación en el caso del entorno de la investigación, ofrecen una amplia visión de la excelencia, y el hecho de que se juzgue por el tema y en relación con otros trabajos realizados sobre ese tema, etc., significa que es muy completo y resistente; sin embargo, se necesita mucho tiempo y dinero para hacerlo. Sigue habiendo un debate sobre cuánto se podría hacer utilizando algoritmos y no la revisión por pares en las materias más STEM (Ciencia, Tecnología, Ingeniería y Matemáticas).
Claudio Proietti
Monitoring and evaluation advisor CIRADEstimados todos,
Me gustaría compartir la experiencia que tiene el Cirad, la organización francesa de investigación agrícola y cooperación internacional que trabaja por el desarrollo sostenible de las regiones tropicales y mediterráneas, y los esfuerzos que se han realizado en los últimos años para fortalecer una cultura orientada al impacto a través del fomento de un pensamiento evaluativo. Creo que este trabajo coincide con los retos y la voluntad de utilizar la evaluación para dirigir mejor el desarrollo de la ciencia y la tecnología y contribuir a los procesos de innovación.
El Cirad ya ha hecho un primer esfuerzo de reconstrucción de lo que llaman el proceso de "construcción de una cultura de impacto" y puede acceder a información más detallada aquí: https://doi.org/10.1093/reseval/rvy033
Me incorporé al Cirad hace un año y, viniendo del CGIAR, no me sorprendió ver que existía un repositorio de acceso público y que se hacía un seguimiento periódico de un conjunto de indicadores bibliométricos normalizados: https://indicateurs-publication.cirad.lodex.fr/
Me enteré de que, al ser el Cirad una institución pública, se somete a una evaluación periódica (cada cuatro años) coordinada por una autoridad pública independiente, el Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur (Hcéres). Hay tres puntos que me llamaron la atención cuando examiné por primera vez el marco y el método de evaluación del Hcéres. https://www.hceres.fr/fr/referentiels-devaluation
El primer punto es que antes de que un panel externo de expertos nacionales e internacionales de alto nivel realice la evaluación, hay un proceso de autoevaluación interna que realiza el propio Cirad.
El segundo punto fue que el marco de evaluación identifica claramente la capacidad de la organización para orientar y aplicar su estrategia en función de los retos y demandas de la sociedad, la centralidad de las asociaciones y la calidad de la ciencia como criterios clave.
El tercer punto fue la granularidad de la evaluación que se realizó tanto a nivel institucional como para cada una de las unidades de investigación.
Junto con esta evaluación comprometida externamente, también se realizan evaluaciones periódicas para valorar las principales redes regionales de investigación y desarrollo (https://www.cirad.fr/en/worldwide/platforms-in-partnership).
Aquí puede encontrar el último informe de evaluación de Hcéres (2021) en francés: https://www.cirad.fr/les-actualites-du-cirad/actualites/2021/evaluation…;
El mecanismo institucional que he descrito brevemente, se enriqueció, a partir de hace unos diez años, gracias a los esfuerzos científicos y metodológicos dirigidos por un equipo de investigadores y expertos bajo el paraguas de la iniciativa Impacto de la Investigación en el Sur (ImpresS). https://impress-impact-recherche.cirad.fr/
ImpresS ha definido un conjunto de principios metodológicos (es decir, aprendizaje reflexivo, perspectiva sistémica, análisis de estudios de caso, análisis de contribuciones, enfoque centrado en los actores y participativo, orientación a los resultados, enfoque en el desarrollo de capacidades y procesos de apoyo a las políticas) para desarrollar y aplicar enfoques y herramientas de evaluación que actualmente se utilizan para evaluar las trayectorias de innovación a largo plazo (ImpresS ex post: https://www.cirad.fr/nos-activites-notre-impact/notre-impact) y para concebir nuevas intervenciones (ImpresS ex ante: https://www.cirad.fr/les-actualites-du-cirad/actualites/2021/impress-co…). En los últimos años, la cartera de proyectos de investigación para el desarrollo coordinados por el Cirad ha aumentado constantemente. Recientemente se ha puesto en marcha un mecanismo para fomentar y mejorar el uso sistemático de las evaluaciones de resultados para la gestión adaptativa y el aprendizaje, y construir un cuerpo de conocimientos coherente sobre la contribución de la investigación a los cambios sociales y medioambientales. Este mecanismo proporcionará financiación y apoyo metodológico a los equipos que ejecuten intervenciones emblemáticas y estratégicas.
Aquí puede encontrar los documentos metodológicos y otras publicaciones relacionadas con el trabajo de ImpresS: https://impress-impact-recherche.cirad.fr/resources/impress-publications
La diversidad de perspectivas y enfoques me parece un factor clave para evaluar dimensiones importantes de las actuaciones y contribuciones de una organización de investigación para el desarrollo y desentrañar, lo mejor posible, la complejidad de las interacciones y los bucles de retroalimentación que caracterizan la mayoría de estas intervenciones en contextos de desarrollo. No obstante, el marco de evaluación más completo no sería suficiente si los órganos de gobierno y gestión en los diferentes niveles de la organización y la organización en su conjunto no estuvieran dispuestos y fueran capaces de aprender y adaptarse a partir del uso de los hallazgos de la evaluación.
Rachid SERRAJ
Director of Strategy UM6PEstimados todos,
Se trata, en efecto, de cuestiones interesantes y de un debate apasionante.
Pensando en la evaluación de la calidad del servicio y la innovación, en el contexto específico del GCIAI, aunque estoy de acuerdo con la mayor parte de lo que ya se ha dicho, no he podido resistir -por curiosidad- la tentación de visitar Web of Science, para comprobar los índices bibliométricos y de citas de algunos de los grandes pioneros de la I+D, como Norman Borlaug o MS Swaminathan.
Estos héroes de la llamada revolución verde han construido la reputación del CGIAR y han tenido un impacto a escala en la seguridad alimentaria mundial, etc. Pero, sorprendentemente, no han publicado mucho. Por ejemplo, Borlaug sólo tiene un índice H de 13 y 54 publicaciones totales (Web-of-Science comprobado hoy); MSS tiene un HI de 15. ¡Lo que probablemente sería la puntuación de un becario postdoctoral medio hoy en día! Entonces, ¿qué nos dice esto después de todo?
Ya se ha dicho mucho sobre el impacto y las compensaciones de la RG, pero al hojear los viejos archivos de los científicos pioneros que han hecho el IRRI, el CIMMYT, etc. en los viejos tiempos, percibimos un gran compromiso y dedicación a la ciencia en beneficio de los pobres. La noble misión que incentivó a brillantes científicos, en su mayoría del hemisferio norte, a cambiar sus cómodos laboratorios por polvorientos campos en Asia, África y LAM. También podemos suponer que la mayoría de estos "voluntarios activistas" no perseguían realmente las citas o el reconocimiento fácil, sino que tenían ideas muy claras de lo que había que hacer y por qué..
Sesenta años después de su creación, el CGIAR debe encontrar la manera de revisar su historia y buscar inspiración para renovar su misión y sus compromisos con la ciencia relevante y de impacto, más allá de las mediciones enrevesadas y el "recuento de frijoles"... Todos los parámetros del marco de referencia de la QoR4D son realmente importantes, y los parámetros bibliométricos también forman parte de la ecuación de la QoS. Pero lo que es aún más crucial es la cultura científica y los valores éticos que atraen, mantienen e inspiran a las nuevas generaciones de brillantes científicos internacionales a unirse al sistema. Hay que poner al científico del GCIAI en el centro de las vías de impacto de la investigación, hay que revalorizar su perfil. Por otro lado, las "burocracias del sistema" deben mantenerse al mínimo, como servicios de apoyo para ayudar a los científicos en su misión. Hay que hacer algo en la L de la MEL, volver a lo básico.
Pido disculpas por ser tan contundente y probablemente "desviado", pero al haber trabajado durante muchos años como científico en 3 centros del CGIAR, sucesivamente en el ICRISAT, el IRRI y el ICARDA y luego en la secretaría del consejo científico (ISPC), esto se inspira de alguna manera en mi modesta experiencia y devoción por el CG.
Un saludo,
RS
Bia Carneiro
Specialist – Social Research & Media, CGIAR FOCUS Climate Security Alliance of Bioversity International and CIATExisten varias herramientas innovadoras para aprovechar los datos bibliométricos para obtener información más allá de las métricas de citas, lo que puede dar más profundidad a la evaluación de la ciencia: como se señala en otras contribuciones, las técnicas de análisis de redes sociales pueden aplicarse para identificar redes de colaboración científica o de instituciones de financiación sobre un tema determinado.
Además, reconociendo que las métricas tradicionales y novedosas (como las altmetrics) tienden a centrarse en la importancia de la investigación dentro de la comunidad científica y no logran desentrañar el alcance más allá de las redes de investigadores, hemos publicado recientemente un artículo en el que utilizamos un enfoque de métodos digitales para evaluar las formas "blandas" de influencia de la ciencia del clima en el espacio político. Nuestro estudio propuso un marco para evaluar la influencia más amplia del Programa de Investigación del GCIAI sobre el Cambio Climático, la Agricultura y la Seguridad Alimentaria (CCAFS) a través de las representaciones de los medios de comunicación en línea.
Al considerar las redes y las narrativas en línea como evidencia de la influencia, reutilizamos artefactos digitales disponibles públicamente para evaluar el alcance del CCAFS entre las partes interesadas en varios niveles. Evaluamos la dinámica de la difusión de la información, la interacción y la amplificación del discurso como representaciones de cómo el CCAFS apoyó la formulación de políticas en varios niveles de compromiso, en lugar de simplemente examinar los resultados políticos "formales" reportados en los mecanismos de seguimiento, o las métricas de impacto académico.
Centrándonos en la importancia de traducir la ciencia del clima en una política viable, se aplicaron Google Trends, el análisis de hipervínculos, el análisis de redes y la minería de textos en un marco integrado para evaluar la centralidad y la influencia del CCAFS en la interfaz ciencia-política del clima. Nuestro enfoque señala la posibilidad de aprovechar los métodos basados en datos para evaluar las interacciones y estimar la influencia. Como tal, el desarrollo de marcos de evaluación integrales por parte de los programas de investigación climática requiere el establecimiento de indicadores que capten la influencia desde una perspectiva holística, no sólo basada en indicadores tradicionales, sino también en relación con la mensajería, la visibilidad, el intercambio de conocimientos y el compromiso.
Referencia:
Carneiro B., Resce G., Läderach, P., Schapendonk, F., Pacillo, G. (2022) What is the importance of climate research? An innovative web-based approach to assess the influence and reach of climate research programs, Environmental Science & Policy, 133, https://doi.org/10.1016/j.envsci.2022.03.018
Svetlana I Negroustoueva
Lead, Evaluation Function CGIAREstimados todos,
Es bueno ver contribuciones tan ricas y perspicaces. Parece que hay un amplio consenso sobre la importancia del uso de métodos mixtos para evaluar la ciencia y apoyarse en el marco de referencia QoR4D. Me ha gustado mucho leer vuestras opiniones y lo que os ha parecido un reto durante vuestras experiencias.
Con un día más de debate (hasta mañana, 13 de abril) aún esperamos recibir más contribuciones. Lo que sigue puede servir de guía para aquellos que aún no han compartido sus opiniones y experiencias, especialmente fuera del contexto del CGIAR.
Existe un posible debate interesante entre lo que los financiadores pueden considerar importante para evaluar las prioridades de los investigadores del Sur. Entiendo que los financiadores están ampliamente interesados en los resultados (productos, resultados, impactos) y que los criterios de evaluación del CAD de la OCDE "impacto" y "eficiencia" son de especial relevancia en términos de responsabilidad y transparencia para demostrar que el dinero de los contribuyentes se utiliza de forma inteligente. Sin embargo, los investigadores del Sur dan prioridad a la necesidad de que la investigación sea relevante para las preocupaciones actuales, para los usuarios de la investigación y para las comunidades donde se busca el cambio. La importancia de la dimensión de la pertinencia fue resaltada en varias contribuciones y se relaciona sobre todo con la importancia, el significado y la utilidad de los objetivos, procesos y resultados de la investigación para el contexto del problema y para la sociedad.
¿Cómo podría medirse la pertinencia de manera que converjan las necesidades de los investigadores y los financiadores del Sur? Al hablar de impactos, Raphael Nawrotzki menciona que el impacto dentro de un campo científico se sigue midiendo mejor por el número de citas que recibe un artículo o capítulo de libro.
La pregunta que se hace desde la audiencia es "¿Cómo puede el impacto dentro de un campo científico reflejar la importancia de un determinado proyecto de investigación y su impacto/contribución a la sociedad donde se busca el cambio?". Parece haber un consenso sobre la importancia del componente "relevancia" y la relación entre el resultado de la investigación y la Teoría del Cambio original, y el proceso que se siguió en su desarrollo. ¿Puede esto alinearse con la medición de la "relevancia" de una manera que también pueda considerarse sólida y creíble para los financiadores?
Y por último, pero no por ello menos importante, ¿qué hay de la práctica? "¿Ha visto prácticas de seguimiento, evaluación y aprendizaje (MEL) que puedan facilitar las evaluaciones de la ciencia, la tecnología y la innovación?"
Esperamos seguir compartiendo para cerrar este debate, e identificar oportunidades para seguir participando
Atentamente,
Richard Tinsley
Professor Emeritus Colorado State UniversityOtro tema de debate interesante e importante. Si se observan los comentarios hasta la fecha, se limitan en su mayoría a la comunidad académica/investigadora y no llegan al beneficiario final de los resultados científicos. Para el CIGAR esto puede ser crítico, ya que el CIGAR está considerablemente aislado de los beneficiarios finales previstos. Es decir, los principales clientes del CIGAR son los Sistemas Nacionales de Investigación Agrícola (SNIA) del país anfitrión, mientras que los beneficiarios finales son una multitud de pequeños agricultores, normalmente sin nombre, que están a un paso de los clientes de los SNIA del CIGAR. Se trata del programa nacional de extensión agrícola. Estos beneficiarios finales no suelen tener acceso directo a los resultados de la investigación y no pueden permitirse las referidas revistas técnicas mencionadas como producto principal de la investigación.
Por lo tanto, aunque creo que el GCIAI realiza un excelente trabajo de investigación básica, especialmente en lo que respecta a la mejora de variedades para muchos países anfitriones, me pregunto hasta qué punto los resultados pueden ser utilizados eficazmente por los pequeños agricultores beneficiarios finales. Creo que la mayor parte de la mejora varietal en los países en desarrollo, como los del África subsahariana, se facilita mediante programas de "colaboración" entre el centro del GCIAI correspondiente y los SNIA anfitriones. Sin embargo, la colaboración se apoya en la financiación externa del equipo del CGIAR para cubrir los gastos de funcionamiento. Así, se convierte más en un esfuerzo del CGIAR que en un esfuerzo de colaboración total. Desde la perspectiva operativa de los pequeños agricultores, el programa de mejora varietal es la intervención de investigación más eficaz del CGIAR. La razón es que se trata de una simple sustitución de lo que los pequeños agricultores ya están haciendo, con un trabajo adicional limitado, si es que se requiere alguno. Puede haber algunos requisitos logísticos importantes para poner a disposición de los pequeños agricultores las semillas de variedades recién liberadas, y la logística puede ser un obstáculo importante en muchos países de acogida.
El problema viene cuando uno se aleja del esfuerzo de mejora varietal y trabaja con innovaciones con un requisito de mano de obra u otro requisito operativo más alto. Entonces los límites de la investigación en pequeñas parcelas, la base de la mayoría de los análisis agronómicos, se convierten en un problema. Si bien la investigación en pequeñas parcelas hace un trabajo tremendo para determinar el potencial físico de las innovaciones de la investigación en la región en la que se lleva a cabo y puede producir artículos de alta calidad para revistas muy apreciados por la comunidad académica/investigadora, no aborda los requisitos operativos, como la mano de obra, necesarios para extender los resultados a una comunidad de pequeños agricultores. Simplemente asume que no es un problema. Sin embargo, la mano de obra puede ser muy limitada en la mayoría de las comunidades de pequeños agricultores, así como la energía dietética para alimentar el trabajo. ¿Con qué frecuencia las innovaciones de la investigación de mejora no varietal del GCIAI son más intensivas en mano de obra que lo que hacen actualmente los pequeños agricultores? La pregunta es quién, dentro del esfuerzo de colaboración del GCIAI para ayudar a los pequeños agricultores, es responsable de
¿Cae esto en un vacío administrativo entre los agrónomos u otros biocientíficos aplicados y los científicos sociales que asisten a las comunidades de pequeños agricultores? ¿Hasta que no se reconozca y se aborde esta cuestión, la investigación de alta calidad de los centros del GCIAI tendrá una aceptación limitada por parte de los pequeños agricultores? Es muy interesante que el análisis de la brecha de rendimiento de Baker/Hurd, iniciado en el IRRI hace unos 40 años, nunca haya abordado la mano de obra como factor principal del análisis de la brecha de rendimiento. Creo que esto supondría una gran diferencia y explicaría gran parte de la brecha de rendimiento y el bajo nivel de aceptación de los resultados de la investigación de calidad del CGIAR.
Se menciona el proceso de evaluación de la MEL. Este debe ser revisado con cuidado para asegurarse de que es un verdadero proceso de evaluación que orienta los futuros proyectos para servir mejor a los beneficiarios con programas más eficaces y no una herramienta de propaganda para encubrir y promover programas fallidos como a menudo parece ser el caso. La preocupación radica tanto en los criterios que se incluyen o excluyen en una evaluación MEL como en el uso del análisis agregado frente al análisis porcentual. Por ejemplo, ¿con qué frecuencia se incluye en el análisis de la MEL para los programas agronómicos el momento de las operaciones de campo que pueden ser muy visibles y que recogerían las limitaciones de mano de obra mencionadas anteriormente, y luego guiarían los programas para facilitar el acceso de los pequeños agricultores a la mecanización por contrato que agilizaría el establecimiento de los cultivos, mejoraría el momento, el cumplimiento de las recomendaciones de la investigación, los rendimientos y mejoraría la seguridad alimentaria familiar? Nunca he visto que se incluya. Si se observa el esfuerzo de USAID MEL sobre la dependencia de las organizaciones de productores para ayudar a los pequeños agricultores, cuando se hace un análisis agregado, se obtienen unas cifras muy impresionantes que sólo miden la masividad del programa total, mientras que dicen poco o nada sobre la eficacia o la apreciación del esfuerzo para los beneficiarios. Sin embargo, si se trasladan los mismos datos a porcentajes como
el impacto sobre los individuos y las comunidades puede ser trivial. En este caso, la MEL representará un poco de seguimiento, pero ninguna evaluación real, y el único aprendizaje es "cómo engañar a los contribuyentes que suscriben". Sin embargo, tal análisis de la MEL asegura la continuación y el afianzamiento de los programas que los beneficiarios evitan como la peste negra o quizás en el contexto actual COVID-19. Esto sería realmente un gran perjuicio para los beneficiarios, al tiempo que aseguraría al ejecutor futuras oportunidades.
Permítanme que apoye las preocupaciones anteriores con algunas páginas web del sitio web de Agricultura de Pequeños Productores que administro.
https://smallholderagriculture.agsci.colostate.edu/
Para los límites operativos y el balance energético de la dieta:
https://webdoc.agsci.colostate.edu/smallholderagriculture/OperationalFe…
https://agsci.colostate.edu/smallholderagriculture/calorie-energy-balan…
https://agsci.colostate.edu/smallholderagriculture/ethiopia-diet-analys…
Para la MEL
https://agsci.colostate.edu/smallholderagriculture/mel-impressive-numbe…
https://agsci.colostate.edu/smallholderagriculture/appeasement-reportin…
https://agsci.colostate.edu/smallholderagriculture/perpetuating-coopera…
https://agsci.colostate.edu/smallholderagriculture/request-for-informat…
https://agsci.colostate.edu/smallholderagriculture/vulnerability-for-cl…
Gracias
Dick Tinsley
Profesor emérito,
Ciencias del Suelo y Cultivos
Universidad Estatal de Colorado
Graham Thiele
International Potato CenterFui director de la Investigación sobre Raíces, Tubérculos y Plátanos del CGIAR hasta diciembre de 2021 y participé y me beneficié de dos rondas de revisiones de los Programas de Investigación del CGIAR (CRP). Creo que es realmente esencial construir una cultura de evaluación más fuerte en el CGIAR y aprender de lo que hacemos.
Haciéndome eco de algunas contribuciones anteriores, para una evaluación equilibrada es de vital importancia que el CGIAR mantenga su inversión en estudios de casos de resultados y, en particular, en estudios de impacto. Estos últimos han disminuido considerablemente en los últimos años en el CGIAR y no se producen normalmente como parte de los proyectos rutinarios o de las encuestas de fin de intervención, sino que necesitan métodos especializados y una financiación propia. De lo contrario, con las ideas de la nota técnica se corre el riesgo de que utilicemos los métodos más avanzados y la mayor precisión del análisis bibliométrico, que es lo que tenemos disponible y siempre se sigue produciendo, pero nos perdemos la imagen completa que proporcionan estos otros estudios. Es una reminiscencia de la anécdota de quien busca bajo la farola algo que se le ha caído cuando en realidad se le ha caído en otro sitio porque es ahí donde la luz brilla con más fuerza.
También es posible utilizar el análisis de redes sociales de publicaciones, como una herramienta de análisis cualitativo, para explorar quiénes colaboran para publicar y cuál es su contexto social y organizativo como complemento al análisis bibliométrico, especialmente relevante para la dimensión de la legitimidad. Estamos preparando una publicación al respecto con expertos en análisis de redes sociales de la Universidad de Florida.
Lennart Raetzell
Manager Syspons GmbHEstimados todos,
muchas gracias por vuestras valiosas aportaciones. Es un placer leerlas. También me gustaría llamar vuestra atención sobre otro aspecto de la evaluación de la ciencia, la tecnología y la innovación en un contexto de desarrollo, a saber, la asimilación de la investigación exitosa entre el grupo objetivo de la misma. En nuestra opinión, aquí en Syspons (www.syspons.com), este es uno de los aspectos más importantes, ya que en realidad es una de las vías para lograr el impacto en el desarrollo a través de la investigación. En este sentido, tuvimos la suerte de realizar una evaluación de impacto temática para VLIR-UOS (https://www.vliruos.be) sobre las vías de asimilación de la investigación, principalmente en el ámbito de la agricultura. En este sentido, pudimos probar y construir un modelo para generar más captación de investigación en los proyectos de investigación.
Me complace compartir el enlace y estar abierto a nuevos debates: https://cdn.webdoos.io/vliruos/753d44b984f65bbaf7959b28da064f22.pdf
Saludos cordiales,
Lennart
Etienne Vignola-Gagné
Science-Metrix / ElsevierComo uno de los coautores de la Nota Técnica de Science-Metrix que figura en la documentación de referencia para este debate, quería ofrecer un poco más de contexto sobre la orientación general que mi coautora, Christina Zdawczyk, y yo dimos a este marco para el despliegue de estrategias bibliométricas como parte de las evaluaciones de calidad de vida del CGIAR.
Puede que se den cuenta de que el omnipresente recuento de publicaciones y los indicadores de impacto de las citas sólo han recibido una pequeña parte de nuestra atención en esta Nota Técnica. Una de nuestras intenciones con esta nota era mostrar cómo la bibliometría ofrece ahora indicadores para una gama mucho más amplia de dimensiones, incluyendo la interdisciplinariedad, la equidad de género, la preimpresión como una práctica de ciencia abierta, o la prevalencia de colaboraciones multinacionales complejas.
Es decir, existe un potencial (en nuestra opinión, a menudo sin explotar) en el uso de la bibliometría como indicadores de relevancia y legitimidad. Al mismo tiempo, algunas de las bibliometrías que hemos sugerido también pueden utilizarse como indicadores de proceso o incluso de entrada, en lugar de su uso tradicional como indicadores de la eficacia del resultado. Por ejemplo, la bibliometría puede utilizarse para controlar si los programas de investigación interdisciplinar contribuyen realmente a una mayor integración disciplinar en la práctica diaria de la investigación, teniendo en cuenta que los equipos de proyecto y los financiadores suelen subestimar la complejidad de este tipo de propuestas de investigación. Además, a menudo se requiere un apoyo específico para tales proyectos, a niveles que rara vez se planifican adecuadamente (Schneider et al 2019). Con la advertencia de que las publicaciones de resultados que deben supervisarse solo están disponibles más tarde en el ciclo de vida del proyecto, los hallazgos sobre la interdisciplinariedad pueden ayudar a modular y reajustar los programas de investigación y los instrumentos de apoyo asociados en una línea de tiempo a medio plazo.
Como puede ver, nuestro punto de vista es el de utilizar las herramientas de evaluación de programas, incluida la bibliometría, para mejorar la gobernanza de la investigación y la innovación y los mecanismos de apoyo a los equipos de proyectos, más que para clasificar los resultados.
Espero que hayan disfrutado o disfruten de la lectura.
Etienne
Analista senior, Science-Metrix (Elsevier)
Referencia
Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Programas de financiación de la investigación que apuntan a las transformaciones de la sociedad: Diez etapas clave. Science and Public Policy, 46(3), pp. 463-478. doi:10.1093/scipol/scy074.
Sonal D Zaveri
Founder and Coordinator Gender and Equity Network South Asia, GENSA with Community of Evaluators South AsiaComparto algunas de mis observaciones y aprendizajes de mis más de 30 años como evaluador profesional del Sur Global. (1) Estas opiniones también se hacen eco de algunas de las entradas, reflexiones y blogs ya publicados en este hilo. Aunque nosotros, ya sea como evaluadores o comisionados de las evaluaciones, creemos que las preguntas clave de la evaluación deben guiar la elección de los métodos y enfoques, en realidad las opciones de evaluación (lo digamos explícitamente o no) son privilegiadas. El privilegio puede deberse al poder de la experiencia, la posición o los recursos. Robert Chambers se pregunta pertinentemente sobre la realidad de "quién", quién decide y cuyo cambio (2) es más importante que el de otros. Responder a cualquiera de estas preguntas nos lleva a cuestionar quién tiene más poder de decisión -el poder puede ser visible o invisible u oculto-. Aunque no hay duda de la importancia de la calidad de la ciencia, la innovación y la tecnología y del rigor en las evaluaciones, cabe preguntarse también si esta condición necesaria es suficiente. Cuando enmarcamos el debate sobre la evaluación como un proceso transformador y la importancia de aceptar diferentes visiones del mundo, también reconocemos el valor del conocimiento indígena y la necesidad de descolonización (3). Desgraciadamente, a menudo diseñamos las evaluaciones a distancia y, aunque utilicemos métodos y herramientas participativas, a menos que las conclusiones sean utilizadas y asumidas como propias por las personas, y especialmente por las que tienen poca voz, en el programa, no podemos afirmar que las evaluaciones hayan conducido al bien público o se hayan utilizado en beneficio de todos los pueblos. Un punto central de este argumento es hasta qué punto juegan los valores en nuestra evaluación. Con nuestra mayor comprensión del racismo, de las desigualdades de género y de los diversos clivajes sociales, sería difícil aceptar la calidad de la ciencia desprovista de cualquier valor relacionado con los derechos humanos, la inclusión y la equidad.
El pensamiento feminista recomienda métodos y herramientas que puedan matizar la interseccionalidad de la vulnerabilidad, ya que las experiencias vividas pueden variar drásticamente en cualquier diseño de intervención dependiendo del punto de vista de cada uno y de las desigualdades que se cruzan. Es posible que un énfasis en la calidad de vida y la innovación pueda abordar estas preocupaciones, pero hay que estar especialmente atentos a ello y quizás en lugar de preguntar "¿estamos haciendo las cosas bien?" debemos preguntar "¿estamos haciendo las cosas correctas?". Un ejemplo ( 4 ) de la India, donde los productores de mango habían perdido el 40% de sus productos en tránsito, lo que obligó a los científicos a introducir un conjunto de nanomateriales que podían rociarse sobre la fruta para prolongar su vida útil. El ejemplo indica que había un reto social apremiante que se abordó con rapidez, sin perder necesariamente la calidad de la intervención, pero quizás siendo poco convencional en cuanto a la oportunidad y la forma en que se desplegaron las soluciones. Además, las soluciones eran específicas del contexto y ponen de relieve que la evaluación debe medir lo que es importante para las comunidades y los pueblos, en lugar de presentar elegantemente pruebas que pueden no ser utilizadas (5). Los investigadores del Sur están convencidos de la necesidad de que la investigación sea relevante (la cursiva es mía) para las preocupaciones actuales, para los usuarios de la investigación y para las comunidades donde se busca el cambio. (6) La aceptación y la influencia son tan importantes como la calidad de la investigación en un contexto de desarrollo.
Incluso en foros aparentemente abiertos como Internet, donde uno es teóricamente libre de participar sin límites, la investigación y las innovaciones relacionadas han demostrado cómo en una sociedad en red aparentemente libre y abierta, el poder está vinculado a quién controla y hace uso de las vías de comunicación y sus productos. Así pues, quién decide qué información y conocimiento se produce, se comparte y se utiliza y por quién; y, por último, los valores de quién están representados repercuten en la naturaleza del conocimiento (artefactos) producido. El acceso no es lo mismo que la participación. El acceso, en particular, o sugiere la capacidad de hacer uso.... se refiere a la capacidad de hacer uso de la información y los recursos proporcionados. Además, se puede tener acceso a los recursos pero no controlarlos, lo que significa que la participación es limitada, especialmente en la toma de decisiones. Las mujeres, como portadoras tradicionales del conocimiento local e indígena, se encuentran aisladas de la sociedad en red, donde la información, la comunicación y el conocimiento son "bienes comerciables" ( 7).
En resumen, si no somos capaces de abordar las asimetrías de poder subyacentes, el rigor de nuestra ciencia, la investigación y las evaluaciones, aunque cumplan un propósito importante, se quedarán cortas para abordar las complejas demandas de nuestro tiempo, en la búsqueda de soluciones a los problemas intratables y en tener nuestros valores firmemente arraigados en la justicia social.
Raphael Nawrotzki
Advisor (M&E) Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ)Estimada Svetlana y el equipo del CAS,
Agradecemos la Nota Técnica "Análisis bibliométrico para evaluar la calidad de la ciencia en el contexto de un CGIAR" (Nota Técnica del CAS). En el Fondo Internacional de Investigación Agrícola (FIA) de la GIZ hemos encargado recientemente un estudio bibliométrico a Science Metrix (véase Evans, 2021) y acogemos con satisfacción el creciente valor que el sistema CGIAR está otorgando a una evaluación rigurosa de la calidad científica de sus investigaciones. Consideramos que la calidad de la ciencia es un prerrequisito necesario en el camino hacia el impacto en el desarrollo, ya que las innovaciones son desarrolladas y probadas primero por los científicos del CGIAR. En los siguientes párrafos nos gustaría responder a sus preguntas desde el punto de vista de los donantes.
1.¿Qué desafíos plantea la evaluación de la calidad de la ciencia y la investigación?
Como financiadores, esperamos que los proyectos de investigación que encargamos realicen su trabajo de acuerdo con los 4 elementos clave de la Calidad de la Investigación para el Desarrollo (QoR4D), que incluyen 1) Relevancia, 2) Credibilidad científica, 3) Legitimidad, 4) Eficacia. Sin embargo, estos criterios se aplican sobre todo al proceso de "hacer" investigación y ciencia. Sin embargo, también nos interesan los resultados (productos, resultados, impactos). Si hablamos de la calidad de la ciencia, nos parecen muy útiles los análisis bibliométricos para determinar el impacto científico de nuestros trabajos financiados en los campos científicos pertinentes. Y el impacto dentro de un campo científico se sigue midiendo mejor por el número de citas que recibe un artículo o capítulo de libro. En el campo de la ciencia, las publicaciones revisadas por pares (y las citas que reciben los artículos) se consideran el "patrón de oro" en términos de impacto. Sin embargo, la medición del impacto científico plantea algunos problemas:
Largos periodos de tiempo. Un gran desafío, que el Informe SOAR 2020 (Alston et al. 2020) señaló, es que "la investigación agrícola es magia lenta" - pueden pasar décadas para que los resultados de las inversiones en investigación agrícola sean visibles, pero los responsables de la toma de decisiones necesitan demostrar los resultados rápidamente y evaluar el retorno de la inversión del proyecto en el futuro para justificar un aumento de la financiación. Como también hemos aprendido de la nota técnica del CAS, una medición sólida del impacto de la ciencia en términos de bibliometría sólo es posible unos 5 años después de que se haya completado un proyecto o cartera de investigación. El ciclo de revisión por pares, los requisitos de cada revista y el estado de las citas, que a menudo reflejan la cantidad de lectores, hacen que pase tiempo hasta que el impacto sea evidente, especialmente si el trabajo es novedoso o muy innovador. El largo horizonte temporal plantea retos, ya que no podemos utilizar esta información directamente para la programación.
Altmetrics. Entendemos perfectamente que la bibliometría es una medida imperfecta del verdadero impacto científico. Algunas investigaciones pueden ser muy influyentes y llegar a una gran audiencia a través de canales alternativos como twitter, blogs o como literatura gris. Esto se recoge en la altmetría, pero es difícil combinar la bibliometría y la altmetría para obtener una imagen completa del impacto científico.
Rentabilidad. Como señala Science Metrix, y sobre todo en el caso de los trabajos con coautores externos, no es fácil determinar la fracción de apoyo atribuible a cada fuente de financiación. Los donantes suelen estar interesados en "seguir el dinero", pero al medir la calidad de la ciencia, la inversión directa no es tan fácilmente atribuible a los resultados y los impactos a largo plazo de la aplicación y la ampliación de las contribuciones científicas publicadas acaban aportando la verdadera "rentabilidad". En nuestro propio estudio sobre la calidad de la ciencia (véase Evans 2021), también evaluamos la eficiencia en términos de coste-beneficio. En concreto, evaluamos el número de publicaciones por millón de euros invertidos. A continuación, comparamos la rentabilidad de nuestros proyectos de investigación financiados con los de proyectos comparables financiados por la UE y descubrimos que nuestros proyectos de investigación eran más eficientes. Sin embargo, el cálculo de estas medidas de rentabilidad tiene muchas limitaciones. Sin embargo, nos alegró ver que un indicador de este tipo también se propone como "Indicador prioritario de nivel 2" (E10) sugerido en la nota técnica del CAS.
a. ¿Qué criterios de evaluación ha utilizado —o considera mejores— para evaluar intervenciones que vinculan la ciencia, la investigación y la innovación y el desarrollo? ¿Por qué?
Enfoque de impacto. En nuestra evaluación de la calidad de la ciencia, nos centramos especialmente en los criterios de evaluación del CAD de la OCDE "impacto" (¿qué consigue la investigación? ¿Qué contribución hace?) y, en menor medida, "eficiencia" (¿cómo se utilizaron los recursos, cuánto se consiguió por la cantidad gastada?). Ambos criterios de evaluación, el impacto y la eficiencia, son de especial relevancia para nosotros, como financiadores, en términos de responsabilidad y transparencia para demostrar que el dinero de los contribuyentes se utiliza de forma inteligente.
En nuestra evaluación (véase Evans 2021), Science Metrix se centró principalmente en los indicadores bibliométricos, comparando las publicaciones de nuestros proyectos financiados con las de otras investigaciones agrícolas internacionales (fuera del sistema CGIAR). La contribución a los ODS, basada en búsquedas de palabras clave y análisis de contenido, también formó parte del análisis, con el fin de captar la medida en que las cuestiones transversales como el género, los derechos humanos, la sostenibilidad, la resiliencia, así como la mitigación del cambio climático y la adaptación se abordaron en las publicaciones revisadas por pares. La mayoría de los indicadores bibliométricos buscaban evaluar el impacto que han tenido las publicaciones, a través de indicadores como el promedio de citas relativas (ARC), las publicaciones altamente citadas (HCP) y el índice de distribución de citas (CDI).
b. ¿Cree que disponer de un criterio para evaluar la calidad de la ciencia podría ayudar a captar los aspectos científicos utilizados en la investigación y el desarrollo?
Sí, en efecto, un criterio de evaluación de la calidad de la ciencia (QoS) designado, como se indica en la nota técnica del ISDC "Quality of Research for Development in the CGIAR Context", puede ser muy apropiado para evaluar la investigación en el marco del CGIAR. Como reflejo de la ventaja comparativa y el enfoque principal del CGIAR, la calidad de la ciencia, y no sólo los indicadores de desarrollo, a menudo fuera de la esfera de influencia, y el mandato, de los institutos de investigación, debe reflejarse en las evaluaciones. Los subcomponentes del criterio de evaluación de la calidad del servicio (pertinencia, credibilidad científica, legitimidad y eficacia) son importantes para medir la calidad de "hacer ciencia". No obstante, destacamos que dicho criterio debería ir siempre acompañado de una evaluación de los criterios del CAD de la OCDE sobre el impacto y la eficiencia para captar también no sólo el "hacer" sino también los "resultados" de la empresa de investigación para el desarrollo.
2. ¿Qué métodos e indicadores podrían ser adecuados para evaluar la ciencia y la investigación?
La calidad de la ciencia. La evaluación del criterio de calidad de la ciencia (QoS) y sus subcomponentes (Relevancia, Credibilidad científica, Legitimidad, Eficacia) requiere un enfoque de métodos mixtos. Al igual que en las evaluaciones del Programa de Investigación del CGIAR (CRP), la atención se centrará en los insumos (composición del personal de investigación, colaboraciones, dinero, infraestructura de gestión, políticas, etc.). Los métodos de investigación cualitativa serán los más adecuados cuando se trate de evaluar la pertinencia de una determinada pregunta de investigación o si el proceso de investigación se percibe como justo y ético. Esto puede requerir la realización de entrevistas con las principales partes interesadas, y/o la realización de encuestas para recabar opiniones y conocimientos sobre las condiciones favorables y los obstáculos para un impacto eficaz y sostenible.
IS. Por el contrario, la evaluación del impacto de la ciencia (IS) requerirá el uso de análisis cuantitativos que utilicen métodos y medidas bibliométricas sofisticadas, tal y como indica Science Metrix en la nota técnica del CAS. Consideramos que todos los "Indicadores prioritarios de nivel 1" (Nota Técnica del CAS, Tabla 6) son indicadores de impacto científico muy relevantes que esperamos sean computados a la hora de evaluar el impacto científico de la actual ronda de Iniciativas OneCGIAR.
3. ¿Conoce alguna práctica de seguimiento, evaluación y aprendizaje (SEA) que podría facilitar la evaluación de la ciencia, la tecnología y la innovación?
El seguimiento continuo de la calidad de la ciencia (QoS) así como del impacto científico ( IS) será difícil. Desde nuestro punto de vista, ambos criterios deben evaluarse mediante un formato de evaluación (estudio en un momento determinado). Nuestro propio estudio sobre la calidad de la ciencia (véase Evans 2021) es un ejemplo de cómo podría evaluarse el IS utilizando métodos y medidas bibliométricas rigurosas. Sin embargo, el propósito de nuestro estudio de calidad de la ciencia era investigar el alcance y el impacto de nuestro trabajo de investigación financiado en el campo científico de la agricultura de desarrollo. El estudio sirvió para la rendición de cuentas y la transparencia. No utilizamos los resultados para la dimensión "L" (learning - aprendizaje) de la MEL. Un verdadero estudio cualitativo o de métodos mixtos sobre la calidad de vida sería un ajuste más natural cuando el objetivo es derivar lecciones que puedan utilizarse para la gestión adaptativa y la dirección. Las evaluaciones del Programa de Investigación del CGIAR (CRP) proporcionan un buen ejemplo de cómo los resultados de una evaluación podrían utilizarse para mejorar el "hacer ciencia".
Atentamente,
Raphael Nawrotzki y Hanna Ewell (Unidad de M&E, FIA, GIZ)
References:
Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/
Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun
Ibtissem Jouini
Senior Evaluation Manager CGIARReunir las pruebas de las evaluaciones que abarcaron -en parte o exclusivamente- la calidad de la ciencia (QoS) puede ser una forma sólida de configurar los cambios hacia la agenda de desarrollo. La síntesis de pruebas es un método fiable, pero ciertamente no es sencillo de poner en práctica, dada la variedad de pruebas que podemos encontrar, los criterios de evaluación, los enfoques, la orientación, los contextos, etc.
El tema de la calidad de la ciencia fue uno de los principales temas cubiertos por el análisis en el marco de la Síntesis del Aprendizaje de una Década de Programas de Investigación del CGIAR (2021). Un reto al que se enfrentó el equipo de síntesis fue encontrar el marco analítico específico que mejor reflejara la variedad de evidencias de las dos fases de implementación de los Programas de Investigación del CGIAR (CRP): 2011-2016 y 2017-2019 y alcanzar los objetivos de la síntesis.
Para explicarlo mejor, tuvimos que averiguar cómo había que categorizar la información y servir de referencia para indicar el enfoque, las escalas, los conceptos y los términos y definiciones relacionados, basándonos en los objetivos originales de la síntesis y el mapeo de los análisis que forman la base fundamental del corpus de 43 documentos de la síntesis. Los niveles de investigación relacionados con la calidad de vida se convirtieron en dos preguntas principales y cuatro subtemas.
Las dos preguntas principales del tema Calidad de la Ciencia (QoS) y Calidad de la Investigación para el Desarrollo (QoR4D) son
Los resultados se estructuraron en torno a cuatro subtemas: (1) QoS: Entradas de investigación (2) QoS: Calidad de los resultados de la investigación (3) QoS: Gestión/proceso de la investigación y, (4) Elementos de la QoR4D: legitimidad y credibilidad. Junto a estos temas, se trataron una serie de temas transversales: género, cambio climático/medio ambiente, desarrollo de capacidades, asociaciones externas y juventud.
En el análisis de los resultados se abordaron cuatro cuestiones clave: (1) patrones y tendencias entre las dos fases de los Programas de Investigación del CGIAR (CRPs) relacionados con la calidad de la ciencia (QoS) y la investigación para el desarrollo, el logro de resultados de desarrollo sostenible, y la gestión y la gobernanza; (2) cuestiones a nivel de todo el sistema que afectan a los logros de los Programas de Investigación del CGIAR (CRPs); (3) recomendaciones para la orientación futura de la investigación y la innovación del CGIAR; y (4) brechas de evidencia clave y necesidades para futuras evaluaciones.
Se utilizó un enfoque de síntesis narrativa para resumir y analizar el documento Learning from a Decade of CGIAR Research Programs (Aprendizaje de una década de programas de investigación del CGIAR), empleando datos de fuentes secundarias de 47 evaluaciones y revisiones existentes. Las evaluaciones externas se codificaron y analizaron sistemáticamente utilizando un marco analítico estandarizado. Se llevó a cabo un análisis de tendencias bibliométricas para el tema de la calidad de vida, y los resultados se triangularon con síntesis anteriores y fueron validados por los miembros del Consejo Independiente de Ciencia para el Desarrollo (ISDC), los líderes de los Programas de Investigación del CGIAR (CRPs) y los revisores expertos.
Paolo Sarfatti
Team Leader Nutrition Research FacilityOperacionalización del criterio de calidad de la ciencia en las revisiones de los programas de investigación del CGIAR (CRP) de 2020
Las revisiones de los programas de investigación del CGIAR (CRP) de 2020 se centraron en tres criterios: Calidad de la ciencia, eficacia (en el sentido del CAD de la OCDE) y orientación futura/sostenibilidad.
Para la evaluación del criterio de Calidad de la Ciencia, se adoptaron dos elementos: la credibilidad científica y la legitimidad, que son dos de los cuatro elementos que constituyen el Marco de Calidad de la Investigación para el Desarrollo (Qo4RD) desarrollado por el Consejo Independiente de Ciencia y Asociación (ISPC) en 2017 y actualizado sucesivamente por el Consejo Independiente de Ciencia para el Desarrollo (ISDC). Los cuatro elementos que constituyen el marco QoR4D son la pertinencia, la credibilidad científica, la legitimidad y la eficacia, y actualmente constituyen la base de un marco de referencia común en todo el CGIAR.
La credibilidad científica exige que los resultados de la investigación sean robustos y que las fuentes de conocimiento sean fiables y sólidas. Incluye una demostración clara de que los datos utilizados son precisos, que los métodos utilizados para obtener los datos son adecuados para el propósito, y que los resultados se presentan con claridad y se interpretan lógicamente. Reconoce la importancia de las buenas prácticas científicas, como la revisión por pares.
En las revisiones de los programas de investigación del CGIAR (CRP) de 2020, la evaluación de la credibilidad científica abarcó los resultados, que consistieron principalmente en los resultados publicados, el germoplasma, las herramientas digitales y los informes técnicos, así como el liderazgo, el personal de investigación, los procesos y los incentivos para lograr y mantener la alta credibilidad científica de esos resultados. El análisis bibliométrico cuantitativo se integró plenamente con el análisis cualitativo de estos otros elementos.
La evaluación de la credibilidad científica también incluyó, entre otras cosas, el historial de los equipos de investigación, el uso de la literatura y los métodos de investigación más avanzados, y la novedad.
La legitimidad significa que el proceso de investigación es justo y ético y se percibe como tal. Esta característica abarca la representación ética y justa de todos los implicados y la consideración de los intereses y perspectivas de los usuarios previstos. Sugiere transparencia, una buena gestión de los posibles conflictos de intereses, el reconocimiento de las responsabilidades que conlleva la financiación pública, la auténtica participación de los socios en el codiseño y el reconocimiento de las contribuciones de los socios. Las asociaciones se basan en la confianza y el compromiso mutuo para obtener los resultados acordados.
En las revisiones de los programas de investigación del CGIAR (CRP) de 2020, la evaluación de la legitimidad se centró en el análisis de cómo se construyeron y funcionaron efectivamente las asociaciones de los CRP sobre la base del entendimiento, la confianza y el compromiso mutuos, con un claro reconocimiento de la perspectiva, las necesidades, el papel y la contribución de cada uno. Las asociaciones sólidas de múltiples partes interesadas deberían ser buenos indicadores para evaluar la legitimidad de la investigación. Las evaluaciones de la equidad y los aspectos éticos de la ejecución de la investigación han sido características habituales de las revisiones.
Las revisiones de los programas de investigación del CGIAR (CRP) de 2020 demostraron que, adoptando un enfoque de métodos mixtos, es posible evaluar la calidad de la ciencia mediante un riguroso análisis cuantitativo de bibliometría en combinación con la evaluación cualitativa de muchos otros elementos importantes de las iniciativas de investigación para el desarrollo.
Jillian Lenne
Consultant Independent consultantEvaluación de la calidad de la investigación para el desarrollo
Habiendo participado en la revisión y evaluación de proyectos y programas de investigación agrícola para el desarrollo durante varias décadas, me gustaría compartir algunas observaciones.
Valor de la bibliometría y la altmetrics
A pesar de la cobertura negativa de la bibliometría en la literatura actual, ésta tiene una función importante en la evaluación de la calidad de los trabajos de investigación agrícola para el desarrollo publicados. Los artículos publicados ya han superado un umbral de alta calidad, ya que han sido revisados por científicos experimentados. La mayoría de las revistas internacionales tienen tasas de rechazo superiores al 90%: sólo se publican los artículos de mayor calidad. La bibliometría ofrece un medio para evaluar la calidad mediante el número de citas, el factor de impacto de la revista (FI), la clasificación por cuartiles y los índices h de los autores, entre otros datos bibliométricos. Las citas y los índices h reflejan la calidad de la investigación publicada dentro de la comunidad científica. Las altmetrics demuestran el interés por el artículo entre el grupo de pares de los autores. La reciente publicación de Runzel et al (2021) ilustra claramente cómo las combinaciones de bibliometría y altmetría pueden utilizarse con éxito para evaluar la calidad de casi 5000 artículos publicados por los Programas de Investigación del CGIAR durante 2017-2020. La Nota Técnica - Análisis bibliométrico para evaluar la calidad de la ciencia en el contexto del GCIAI Único amplía enormemente el número de bibliometrías potenciales que podrían utilizarse para evaluar la calidad.
¿Existen alternativas a las citas y al FI? Los gigantes de la edición científica, como Elsevier, utilizan las citas y los FI para controlar la calidad de sus revistas. Un mayor FI se traduce en mayores ventas de suscripciones a revistas. Como estas empresas son las propietarias de la mayoría de las revistas científicas, cualquier alternativa tendría que contar con su aprobación, lo que es poco probable, ya que parecen estar contentas con el statu quo. Actualmente no parece haber ninguna alternativa reconocida. Un artículo reciente de Slafer y Savin (2020) señala que la calidad de una revista (FI) como indicador del impacto probable de un artículo es aceptable cuando la evaluación se centra en artículos publicados recientemente.
Importancia de los indicadores cualitativos
Los indicadores cualitativos de la calidad de la investigación son tan importantes como la bibliometría y otros indicadores cuantitativos, y deberían utilizarse siempre junto con la bibliometría. Las evaluaciones de 2020 de los programas de investigación del CGIAR (https://cas.cgiar.org/publications) utilizaron eficazmente una serie de indicadores cualitativos para evaluar los insumos, los procesos y los resultados bajo el paraguas del Marco de Calidad de la Investigación para el Desarrollo, utilizando los elementos de evaluación: pertinencia, credibilidad, legitimidad y eficacia.
El IDRC revisó recientemente su diagnóstico de la calidad de la investigación - firmemente anclado en la evaluación cualitativa - para evaluar más eficazmente la calidad en un contexto de desarrollo (IDRC, 2017). Es interesante el cambio en el uso de indicadores que miran el posicionamiento para el uso. El IDRC ha utilizado con éxito el instrumento RQ+ para evaluar 170 estudios de investigación (McClean y Sen, 2019).
La subjetividad en la evaluación cualitativa no puede eliminarse, pero puede reducirse empleando un equipo de evaluadores y definiendo mejor los criterios, los indicadores y las descripciones.
Los científicos suelen plantear que les interesa más el impacto de su investigación que su evaluación cualitativa. La evaluación de la eficacia en el contexto del posicionamiento para el uso permite valorar el impacto potencial a través de indicadores como el compromiso de las partes interesadas, la integración de la perspectiva de género, la creación de redes y los vínculos con los responsables políticos.
Integración de indicadores cuantitativos (incluida la bibliometría) y cualitativos
El desarrollo y el perfeccionamiento continuos de los indicadores cuantitativos y cualitativos ofrecen la posibilidad de integrarlos para proporcionar una evaluación más completa de la calidad de la investigación para el desarrollo. Se trata de un área apasionante para futuras evaluaciones.
Referencias
IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. <https://www.idrc.ca/sites/default/files/sp/Documents%20EN/idrc_rq_asses…;
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135.
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140.
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs.
Jill Lenné
Editor in Chief, Outlook on Agriculture and Independent Consultant
Serdar Bayryyev
Senior Evaluation Officer FAOLa necesidad de evaluar la ciencia, la tecnología y la innovación en un contexto de desarrollo
La importancia de la ciencia, de la innovación y de la investigación para apoyar los esfuerzos globales hacia un desarrollo más sostenible y respetuoso con el clima es cada vez mayor. Hay una necesidad urgente de ciencia relevante, investigación de calidad e innovaciones que sean pioneras, ya que el mundo está experimentando nuevos retos y crisis sin precedentes. La evaluación de la calidad de la ciencia y de la investigación es esencial para determinar la utilidad y la eficacia de las actividades científicas, de innovación y de investigación. Los resultados de la evaluación deben ayudar a los responsables de la toma de decisiones a determinar las áreas prioritarias importantes para una mayor investigación y facilitar la toma de decisiones sobre la asignación de recursos para futuras actividades de investigación.
Principales limitaciones
La evaluación de la ciencia y la investigación es, sin embargo, bastante complicada y se enfrenta a numerosos retos metodológicos. Por ejemplo, la evaluación de la relevancia y la importancia de los productos científicos o de investigación se basa principalmente en el uso de métodos bibliométricos. Se trata de un método cuantitativo que, de hecho, puede producir resultados sólidos basados en pruebas, pero su uso se ve restringido por importantes limitaciones. Por ejemplo, no todos los productos de la ciencia, la innovación y la investigación están incluidos y debidamente registrados en las bases de datos bibliográficas, o ni siquiera se publican, por lo que no se pueden evaluar todos los productos.
Los métodos bibliométricos se basan a menudo en el cálculo del número medio de citas, lo que también supone la base de algunos sesgos. Por ejemplo, a veces se presta una atención demasiado exagerada a un autor concreto, conocido por trabajos anteriores en un campo específico o afiliado a instituciones que cuentan con un fuerte apoyo político o financiero. En cuanto a las citas, algunos autores también pueden excluir deliberadamente ciertos materiales de referencia de sus publicaciones. Por lo tanto, siempre que se utilice el análisis de datos bibliométricos, debe usarse con precaución y combinarse con el uso de otros métodos con fines de validez.
La otra gran limitación es que, en el complejo mundo actual de la ciencia y la innovación, existen diversas normas o criterios de evaluación de la calidad de la investigación, la ciencia y la innovación en diversas partes del mundo y en diversas partes de la ciencia y la innovación.
La evaluación de los productos de la ciencia y la investigación también puede estar sesgada debido a las diferencias en la afiliación política, las creencias y las percepciones basadas en la cultura o la religión de quienes realizan estas evaluaciones o valoraciones.
Consideraciones clave
Dado que esta corriente de la función de evaluación aún está en evolución, hay algunas consideraciones clave que deben tenerse en cuenta a la hora de realizar una evaluación pertinente, o de desarrollar herramientas y métodos de evaluación adecuados.
Evaluación de la relevancia/significación de la ciencia y la investigación.
La evaluación de la relevancia o importancia de los productos científicos, de innovación y de investigación debe tener en cuenta el contexto en el que se van a utilizar. Lo que funciona en un contexto puede no ser adecuado para otro, y lo que constituye la innovación y la ciencia pionera varía sustancialmente según el uso o los usuarios previstos.
Evaluar la eficacia (o la calidad)
A la hora de evaluar la eficacia de la investigación y el análisis científico, la clave está en valorar la "influencia" de estas actividades, o el grado en que la ciencia, la innovación y los productos de la investigación han influido en las políticas, los enfoques o los procesos.
Evaluar el grado de "interconexión", es decir, el grado en que los investigadores y las instituciones científicas han interactuado con todas las partes interesadas pertinentes, incluidas las que pueden haber tenido una postura "negativa" u opuesta al tema de investigación en cuestión.
Evaluar el carácter transformador
En el mundo actual, quizá el criterio más importante para evaluar la pertinencia, el uso y la eficacia de las actividades de ciencia, innovación e investigación sea si estas actividades provocan un cambio verdaderamente transformador o, al menos, desencadenan un importante discurso político para avanzar hacia ese cambio transformador.
Lo anterior son sugerencias para su consideración, que pretenden estimular una mayor retroalimentación en este importante debate.
Saludos cordiales,
Serdar Bayryyev
Senior Evaluation Officer