Los indicadores cualitativos y su
relevancia en el M&E
marzo 15, 2023
Los indicadores son parte integrante del diseño, la ejecución y el monitoreo y evaluación de todo proyecto de desarrollo. En el seguimiento y la evaluación se utilizan diferentes tipos de indicadores, como los «cuantitativos», los «cualitativos» y los «híbridos o mixtos». En este blog, nos adentraremos en los indicadores cualitativos y explicaremos qué son, en qué se diferencian de otros indicadores, cómo formularlos, cómo utilizar marcadores de progreso para establecerlos y, por último, cómo medir los indicadores cualitativos y las herramientas que puede utilizar para medirlos.
Pero antes de entrar en los indicadores cualitativos, entendamos qué son los indicadores y por qué son importantes en el M&E.
¿Qué son los indicadores y por qué son importantes?
Los indicadores son herramientas importantes para evaluar, orientar y supervisar los resultados. En pocas palabras, los indicadores son variables que proporcionan medios fiables para medir los logros, los cambios y las transformaciones provocadas por una intervención, lo que ayuda al equipo del proyecto a obtener una comprensión holística de su intervención, a evaluar su progreso real con respecto a sus objetivos, a establecer prioridades y a asignar recursos en función de las necesidades reales, a aprender de sus experiencias y a proporcionar una imagen más clara de sus resultados a sus partes interesadas para tomar decisiones basadas en evidencia.
Más información sobre cómo crear indicadores que tengan sentido.
¿Qué son los indicadores cualitativos?
Los proyectos de desarrollo son complejos, por lo que, para comprender plenamente sus procesos y resultados, necesitamos enfoques que no se basen exclusivamente en la medición de los resultados tangibles y materiales, sino también enfoques que sean capaces de explicar las características intangibles, las propiedades, los conceptos abstractos y los procesos cualitativos de un proyecto. Aquí es donde entra en juego la evaluación cualitativa: la evaluación cualitativa considera que los proyectos de desarrollo son dinámicos y evolucionan y no siguen necesariamente una dirección predeterminada.
Los indicadores cualitativos son naturalistas, lo que significa que no intentan manipular el proyecto o a sus participantes para su evaluación, sino que estudian los procesos de forma natural a medida que se desarrollan. El enfoque naturalista ayuda a ir más allá de los resultados predeterminados y esperados para captar lo inesperado, el impacto diferencial y los cambios reales que se producen como resultado de un proyecto.
A diferencia de los indicadores cuantitativos, los indicadores cualitativos no implican estrictamente una enumeración, lo que les permite captar una imagen mucho más amplia y los matices de un proyecto y describir la naturaleza de los cambios de forma más exhaustiva. Estos indicadores proporcionan información detallada sobre los cambios que se están produciendo, la naturaleza, el carácter, la extensión y el alcance de estos cambios o el proceso que conduce a ellos. El enfoque cualitativo también hace hincapié en la importancia de acercarse a los participantes del proyecto para comprender de forma más auténtica sus realidades y los detalles de su vida cotidiana.
La evaluación cualitativa es holística, es decir, considera el proyecto como un todo que funciona, lo que permite al equipo comprender y analizar el proyecto desde muchas perspectivas diferentes. Este enfoque holístico también es útil para captar diferentes dimensiones de un proyecto de desarrollo, incluyendo información específica sobre el contexto, los participantes, las interrelaciones con otros proyectos, las actividades, los patrones de comportamiento o la naturaleza de las relaciones entre grupos, individuos, organizaciones, etc. Por lo tanto, las mediciones cualitativas son las más adecuadas para ayudar a seguir el progreso de proyectos, contextos y objetivos innovadores, complejos, polifacéticos o multidimensionales, que no son fácilmente medibles sólo con medios cuantitativos.
¿En qué se diferencian los indicadores cualitativos de los cuantitativos e híbridos?
¿Cómo formular buenos indicadores cualitativos?
Son muchos los criterios que hay que tener en cuenta a la hora de elaborar un conjunto adecuado de indicadores para un proyecto. La naturaleza de los indicadores depende de los objetivos específicos de su proyecto y de sus aspectos sociales y culturales. La identificación de los indicadores debe hacerse en la fase de planificación o diseño del proyecto y debe ser una actividad participativa con aportaciones de los diferentes miembros del equipo y de las partes interesadas. Los indicadores deben revisarse y redefinirse periódicamente para que se ajusten a la evolución del contexto del proyecto. Al elaborar los indicadores, hay que asegurarse de que sean realistas, inteligibles, inequívocos, reproducibles, comparables, fáciles de supervisar, registrar e informar, que produzcan datos de alta calidad y que sean específicos del contexto. Más información sobre los métodos de recopilación de datos cualitativos y cuantitativos en el ámbito del seguimiento y la evaluación.
Una vez desarrollados los indicadores, es igualmente crucial entender cómo utilizarlos. Un mismo indicador puede medirse con diferentes métodos y niveles de cuantificación. Por lo tanto, lo mejor es empezar planteando estas preguntas: ¿qué quiero medir y para qué quiero utilizarlo? Ser explícito con los objetivos de la evaluación es crucial para establecer indicadores sólidos y fiables.
Para establecer un indicador cualitativo, es necesario fijar criterios estrictos para medir el cambio a lo largo del tiempo y reflexionar sobre el resultado, de modo que se pueda hacer un seguimiento del progreso real con respecto a los objetivos fijados. Un indicador cualitativo suele expresarse en términos descriptivos, que pueden incluir declaraciones y narraciones. Algunos ejemplos de indicadores cualitativos son: la capacidad funcional de las ONG; el nivel de participación de las mujeres en la gobernanza local; la participación en la toma de decisiones sobre la prestación de servicios; el nivel de satisfacción de los empleados; los cambios en los conocimientos y actitudes, etc.
Los mejores consejos:
- Estructure su indicador para permitir evaluaciones anuales con criterios predeterminados y bien definidos.
- Su declaración debe describir los cambios graduales o por etapas para que puedan ser evaluados a lo largo del tiempo.
- Sus indicadores deben cumplir las normas de validez y fiabilidad de los indicadores y deben ser SMART (específicos, medibles, alcanzables, pertinentes y con plazos).
- Considere el sistema de recolección de datos, incluyendo quién lo hará y con qué frecuencia. ¿Dispone de la capacidad y los recursos necesarios para la recolección de datos?
- Establecer controles para mantener la calidad de los datos.
- Deje espacio para la flexibilidad: todo el tiempo surgen desarrollos y cambios inesperados, así que asegúrese de poder ajustar, eliminar o añadir nuevos indicadores según sea necesario.
Los marcadores de progreso como metodología innovadora para establecer indicadores cualitativos
El Mapeo de Resultados (MR) es una metodología para la planificación, el seguimiento y la evaluación de iniciativas de desarrollo con el fin de lograr un cambio social sostenible. Esta metodología es útil cuando se necesita identificar a las personas, grupos, organizaciones o partes interesadas con las que se trabajará directamente para influir en el cambio de comportamiento, además de cuando se necesita seguir y monitorear el cambio de comportamiento y las estrategias para apoyar esos cambios.
La metodología del Mapeo de Resultados introduce el concepto de socios de frontera que puede ser útil para identificar a los actores previstos de una evaluación, centrándose en aquellos que están directamente asociados con la propia iniciativa. Se trata de un enfoque participativo para desarrollar los retos de los resultados y los marcadores de progreso junto con los socios frontera.
Los marcadores de progreso son un conjunto de afirmaciones que describen una progresión gradual o cambios de hitos en un socio de frontera que conducen al desafío del resultado. Los marcadores de progreso son muy útiles para medir la progresión mediante un enfoque cualitativo hacia el resultado, por lo que los marcadores de progreso son fundamentales en el proceso de monitoreo y evaluación. Los marcadores de progreso pueden considerarse indicadores cualitativos, ya que pueden utilizarse para dar seguimiento a el progreso del proyecto hacia la consecución de su objetivo general de forma sistemática.
Ejemplos de hitos que se pueden establecer en los Marcadores de Progreso son:
Me encanta ver: ampliar la influencia, compartir la experiencia, cambiar el comportamiento.
✔ Me gusta ver: la participación activa, el aprendizaje, el compromiso.
✔ Espero ver: una respuesta temprana alentadora al proyecto, un compromiso inicial.
Cada Marcador de Progreso describe un cambio de comportamiento del grupo objetivo y puede ser supervisado y observado. Los marcadores de progreso podrían establecerse como un conjunto y podrían graduarse por etapas, desde las más fáciles hasta las más difíciles, para lograr el proceso de cambio de un grupo objetivo.
¿Cómo medir los indicadores cualitativos?
A la hora de establecer indicadores cualitativos, es importante pensar en el sistema de recolección de datos. Algunas herramientas son más apropiadas para indicadores orientados al proceso, otras para indicadores que miden determinados criterios. Otros formatos son buenas herramientas para evaluar determinados atributos o para el desarrollo de capacidades. Es importante elegir la que proporcione el mejor tipo de información que necesita para medir su indicador cualitativo.
Algunas herramientas que podría utilizar para recopilar datos para los indicadores cualitativos:
✔ Grupos focales: permiten a los participantes de una muestra particular o subconjunto de la población responder a preguntas y ofrecer opiniones o puntos de vista sobre un tema, evento o cambio percibido.
✔ Observaciones directas: son visitas consistentes y organizadas al lugar por parte de observadores. Son ideales para recoger datos sobre lo que ocurre en la práctica, más que sobre lo que ocurre en la teoría.
✔ Evaluación de atributos: es útil para evaluar el desarrollo de resultados, componentes o elementos específicos de un proyecto. Toma un conjunto de atributos y formula preguntas sobre esos atributos para comprender mejor el progreso del informe.
✔ Rúbricas: podría desarrollar una rúbrica que conste de declaraciones que describen los criterios para evaluar los diferentes niveles de desempeño dentro de sus resultados.
✔ Escalas de hitos: esta herramienta describe las etapas secuenciales o hitos de su proyecto y sus procesos y mide el movimiento a lo largo de esta escala. Funcionan mejor cuando cada etapa está claramente definida y cuando las etapas definidas representan de forma realista el contexto local y los procesos implicados.
✔ Entrevistas a informantes clave (KII): se trata de una herramienta que puede ser estructurada o semiestructurada basándose en una lista de cuestiones o temas a tratar según el indicador cualitativo.
✔ Cuestionarios: las preguntas se organizan en torno a aspectos clave de un tema concreto o a aspectos clave de un proceso, fenómeno, función u organización determinados.
✔ Estudio de casos: este método es una herramienta importante para recopilar, integrar y acceder a la información a través de un conjunto manejable de casos bien seleccionados.
La utilización de indicadores cualitativos en los proyectos de desarrollo está todavía en su fase inicial. Sin embargo, con los nuevos cambios y avances en el sector del desarrollo, los principales actores y profesionales del desarrollo se han dado cuenta de que los indicadores numéricos por sí solos rara vez son adecuados para evaluar la compleja dinámica de los proyectos de desarrollo y captar su imagen holística. Por ello, muchos están adoptando una combinación de indicadores cualitativos, cuantitativos e híbridos en sus proyectos para lograr un equilibrio entre practicidad y exhaustividad, y demostrar una comprensión más rica de la dinámica en juego.
Esperamos que nuestro artículo le haya resultado útil. Si tiene alguna sugerencia o comentario sobre este artículo o ideas para mejorarlo, por favor menciónelo en la sección de comentarios más abajo.
Key References
- Indicators, INTRAC
- Wageningen University & Research (2018). Outcome Mapping.
- Outcome Mapping Practitioner Guide, Outcome Mapping Learning Community
- Handbook on Qualitative Indicators, USAID
- Combining Quantitative and Qualitative Aspects of Indicators for Assessing Community Resilience, Daniel Becker, Stefan Schneiderbauer, John Forrester and Lydia Pedoth.
By Chandani Lopez Peralta and María José de León at TolaData.
