Contenido
Módulo 1
Identificación del ámbito organizativo y su contexto político estratégico
Aspectos metodológicos:
Cómo delimitar el ámbito de asignación de recursos sobre el que se desarrollará la evaluación. Identificación de los productos concretos en términos de bienes o servicios y la naturaleza de los resultados, efectos e impactos que se esperan como consecuencia de los productos. Identificación de los usuarios y beneficiarios y su jerarquización. Diagnóstico y planificación político estratégica. El complejo problema de relacionar las políticas con las estrategias y la gestión cotidiana.
Trabajos prácticos:
Aplicación de la metodología DAO (Descripción del Ámbito Organizativo) y la herramienta MPE (Matriz de Producción Externa).
Módulo 2
El banco de indicadores: herramienta para observar y medir lo que deben producir las instituciones y programas públicos
Aspectos metodológicos:
Cómo identificar y construir los indicadores. Productos que puede observarse directamente y casos en que se requiere identificar indicadores. Resultados y efectos que sólo son observables mediante indicadores. Cuestiones prácticas: cómo establecer conceptualmente lo que se quiere observar y cómo identificar lo que se puede observar en la práctica, es decir, los indicadores viables, descripción del indicador, identificación de la forma de cálculo u observación, tratamiento cuantitativo o cualitativo, clasificación del indicador según los tipos de efectos a los que contribuye, indicadores en profundidad e indicadores rápidos. Cuestiones metodológicas: qué determina la validez de los indicadores. Hasta dónde es posible identificar los diversos factores que afectan el indicador pero no son resultado de la acción de la organización o programa. Cómo se construye el banco de indicadores de la organización o el programa. El banco de indicadores como instrumento de participación y negociación entre los actores involucrados. Construcción participativa e interdisciplinaria: aportes de los usuarios y beneficiarios, políticos, gestores y gerentes y técnicos. El problema de los intereses contrapuestos y la manipulación de los indicadores a favor de unos u otros. La legitimidad de los indicadores y su utilización para la administración de incentivos, para la evaluación y para la toma de decisiones estratégicas.
Trabajos prácticos:
Crítica y mejora del banco de indicadores de un caso institucional público utilizando la Guía para la construcción de indicadores.
Módulo 3
Evaluación organizacional operativa: la estructura
Aspectos metodológicos:
Determinación de las unidades u objetos de evaluación como centros o unidades ejecutoras de recursos. Tipos de unidades: programas, proyectos, unidades de las estructuras de organismos públicos. Selección de los indicadores aplicables a cada unidad e identificación de los criterios para valorar y calificar la efectividad y la sostenibilidad en cada indicador. Definición del instrumento EdR (Evaluación de resultados) a partir de análisis de efectividad y sostenibilidad. La evaluación como diferencia entre el antes y el después: aplicación de los indicadores al momento inicial o línea de base y al momento final. Evaluaciones a partir de datos duros y observaciones objetivas versus estimaciones subjetivas. Evaluación de la satisfacción de los destinatarios. Uso de instrumentos de recolección de los datos duros y blandos. La construcción del informe de evaluación como el relato de una experiencia única de la que pueden aprenderse lecciones para el futuro. El informe como instrumento para transferir experiencias a otros y para enriquecer la de los actores.
Trabajos prácticos:
Definición de un instrumento de evaluación de efectividad sostenible para un programa de una organización pública en un caso. La aplicación de la evaluación EdR.
Módulo 4
El tablero de control de Efectividad Sostenible ver ejemplo
Aspectos metodológicos:
Cómo consolidar la información de evaluación de efectividad sostenible. El tablero de control de efectividad. Visiones según efectos, destinatarios, responsables y según prioridades políticas e institucionales. Los criterios políticos y estratégicos para interpretar la información de efectividad: importancia relativa de los diferentes efectos logrados y los diferentes destinatarios que los reciben. Criterios para interpretar la sostenibilidad: horizonte temporal de mantenimiento de los logros y magnitud de los mismos. La evaluación como mecanismo de rendición de cuentas. El tablero de control de base y el de alto nivel: aplicación a conjuntos de programas e instituciones. Los recursos, el presupuesto y la eficiencia. Identificación de los recursos empleados en el logro de los efectos. Fuentes de la información sobre los recursos: presupuesto público, planes estratégicos y plurianuales, contratos de préstamo en programas de cooperación internacional. Imputación de los recursos a las unidades físicas de evaluación, destinatarios, usuarios y los ámbitos físicos de aplicación tales como localizaciones geográficas. Establecimiento de patrones de relación entre logros de efectos y uso de recursos: evaluación de la eficiencia de la asignación. Ecuación costo-beneficio.
Trabajos prácticos:
Aplicación del tablero de control de efectividad sostenible a la evaluación del logro de valor público de una institución con diferentes unidades y programas en un caso. Elaboración de un informe de evaluación de E-S en un caso a partir de los datos de TCE (Tablero de Control de Efectividad).
