A partir de ahí, se trataría ahora de cruzar unas variables con otras para obtener todas las posibles variaciones. Por ejemplo, si cruzamos la variable X2 con la Y3, nos encontraríamos con lo siguiente:

• Variable 1: nº de beneficiarios que participan en Acciones realizadas para la obtención del objetivo ____ que asisten espontáneamente al Museo
• Variable 2: nº de beneficiarios que participan en Acciones realizadas para la obtención del objetivo ____ que se pueden considerar como publico concertado (visitas organizadas, actividades pedagógicas…)

De este modo, la redacción de los posibles indicadores se realiza de una manera prácticamente automática, lo cual da lugar a una cantidad ingente de los mismos y nos coloca ante una nueva tesitura: la selección de los indicadores más interesantes para nuestro objeto de estudio, teniendo en cuenta que una evaluación debe dar como resultado una foto fiable de la realidad, con los menores datos posibles, es decir una foto lo más pixelada posible pero que nos represente la realidad según nuestras necesidades. No queremos la realidad misma, sino una representación de ella (…y aquí no insistiremos sobre la pipa de Magritte…)

Para seleccionarlos lo haremos atendiendo a los criterios -seguramente ya conocidos por la persona que lee estas líneas- de Relevancia, Pertinencia, Fiabilidad y Eficiencia.

Finalmente, nos quedaría habitualmente un tema por resolver que es el de los efectos y los impactos, que tienen más que ver con cómo concretamos el objetivo que estamos persiguiendo y que nos reconduciría a un esquema más relacionado con el sistema artesanal que hemos visto al principio.

Las fuentes de verificación:

Para todo ello es importante añadir una última columna en la anterior matriz de planificación, o en los cuadrantes del sistema de indicadores que nos explicaría «de dónde vamos a sacar los datos» o lo que se expresa más habitualmente como fuentes de verificación, tema que suele dejarse un poco para el final, pero que es vital, dado que, por definición y sentido común, el proceso de evaluación no puede paralizar nuestra actividad, ni puede comprometer un exceso de recursos económicos o humanos.

Por decirlo de alguna manera, la evaluación es una herramienta de investigación, un método de ayuda para la toma de decisiones y una parte del proceso de gestión, pero no es el fin último, no es una finalidad en sí misma, salvo que seamos evaluadores profesionales, lo cual es una profesión muy específica.

En ese sentido, y con el fin de garantizar la sostenibilidad de un sistema de evaluación tenemos que observar cuál es la mejor manera de integrarla en el funcionamiento habitual de una organización.

Por decirlo de manera directa, en mayor o menor medida todos solemos estar en una situación en la que o pedimos cuentas a algunos u otros nos piden cuentas. O dicho de otro modo, normalmente otorgamos ayudas o recibimos ayudas, o contratamos o somos contratados, o muchas veces las dos cosas a la vez.

Mucho se ha ido avanzando (aunque no siempre sea suficiente) en la justificación económica de las ayudas o en el seguimiento de los pagos efectuados. Años de escándalos han hecho falta para que se construyeran sistemas de control económico.

Se ha avanzado mucho en saber si alguien se ha quedado con parte del dinero de manera fraudulenta. Sin embargo, poco se ha avanzado en saber qué se ha hecho con ese dinero. Me explicaré mejor, las exigencias a la hora de saber si lo que se ha hecho con una ayuda o subvención es lo que se prometió hacer son aún muy débiles. Es muy importante poder determinar que el fin del dinero otorgado o recibido se corresponde con el inicialmente explicado, no solamente en el sentido ético y moral, sino en cuanto a eficacia y eficiencia, si se obtienen los resultados buscados.

Aunque pudiera parecer un trabajo ímprobo, es preciso que, conjuntamente con las memorias económicas, imprescindibles en toda administración, se elaboren memorias de ejecución que vayan más allá de la literatura vacua actual, en la que utilizamos ese espacio para decir lo bien que hemos trabajado.

Es ya la hora de que las memorias justificativas respondan a ítems bien definidos y procesables informáticamente, de manera que se puedan hacer mejor los seguimientos y finalmente obtengamos datos de manera más o menos automática y con la economía necesaria.

Resumiendo en una frase, es necesario estandarizar los procedimientos, los protocolos y, en la medida de lo posible, elaborar formularios que canalicen datos y obliguen a las organizaciones a un rendimiento de los resultados y explicación de los procesos que vaya más allá del punto actual. Solamente así iremos avanzando en hacer que la evaluación sea realmente factible. Seguramente ésta es la mejor manera de detectar una gran parte de las fuentes de verificación más económicas.

Benchmarking, esa horrible palabra que nos habla de la comparabilidad

Algo que sí es muy importante que señalemos es que estos procesos de diagnóstico y de evaluación de intervenciones o políticas nos pueden permitir saber en qué situación se encuentra la ciudad, centro o servicio en relación a otros, algo muy importante de cara a tener una visión lo más objetiva posible de nuestra situación.

Medir, como ya se sabe, es comparar una realidad, bien sea con unos parámetros, pero también puede ser con otras realidades. Para poder hacer eso es necesario que los datos que se obtienen sean comparables y, para ello, debe darse un proceso de integración y armonización en la utilización de indicadores.

Esto se suele denominar «Benchmarking», extraña y frecuente palabra que hace referencia precisamente a esa comparabilidad.

Varios son los organismos internacionales que en estos momentos están haciendo trabajos en esta línea. Está claro que se trata de esfuerzos que deben tener una componente supranacional en el mejor de los escenarios. En la documentación se indican los trabajos de UNESCO –en los que he tenido la suerte de trabajar-, así como los indicadores que utiliza EUROSTAT.

En un contexto nacional también es importante marcar unas magnitudes claramente de referencia. Solamente de esta manera conseguiremos generar estándares, lo cual en materia de Política Cultural sería todo un logro en muchos de los territorios que todos conocemos.

Algunos sectores (Bibliotecas, archivos, museos,…) han avanzado más en ello que otros, pero queda dicho que es un reto que no puede ser pospuesto durante más tiempo.

Es de destacar el enorme esfuerzo realizado por la FEMP que permitió sacar la publicación que se referencia en este trabajo y que ha intentado simplificarse para darle mayor viabilidad, en colaboración con la Universidad de Valencia, para materializarse en el proyecto BÁCULO, que se enlaza al final de este apartado. Naturalmente, se sigue echando de menos el papel que debería jugar aquí el Ministerio encargado de los asuntos culturales, llámese como se llame en cada periodo político.

Evaluar, obtener datos, poner en marcha estadísticas,… son procesos costosos económicamente y requieren de series anuales para sacar algunas conclusiones. Si no se avanza en este aspecto, estamos condenando a seguir trabajando, en gran medida, en el voluntarismo, la buena voluntad o la arbitrariedad.

Referencias:

• • UNESCO: Culture for Development Indicator Suite

• • www.unesco.org

• • EUROSTAT: Cultural Statistics

• • epp.eurostat.ec.europa.eu

• • CGLU: : cultura en la Agenda de desarrollo Post-2015

• • www.agenda21culture.net

• • BÁCULO- Barómetro Cultural Local – Sistema de Indicadores para la evaluación de las Políticas Culturales Locales

• • www.mc2-uv.es

Los indicadores: Una herramienta para los procesos de contratación pública y para la selección de solicitudes de subvenciones y ayudas

Uno de los usos más importantes de este tipo de metodologías, especialmente cuando tenemos responsabilidades en entidades de carácter público, ya sea en los niveles local, distrital, regional o estatal es el de la valoración de proyectos ajenos.

En un sistema democrático sano y homologable, es preciso que todo tipo de procesos selectivos se realicen atendiendo a unos principios generales de publicidad de las convocatorias, transparencia de los procesos, libre concurrencia, objetividad, igualdad y no discriminación.

En ese contexto, es preciso, en primer lugar, que las reglas del juego estén expresadas a priori, al lanzar la convocatoria a la que se van a presentar los proyectos.

Cuando hablamos de convocatoria podemos referirnos a procesos de contratación de servicios que han de ser prestados por terceras empresas o bien a procesos de subvenciones y ayudas a proyectos artísticos o culturales en general.

En la documentación se adjunta la descripción de un proceso real de selección de 7 proyectos en el ámbito de las Artes Escénicas y de cómo se preparó esa convocatoria, haciendo un énfasis especial en que no era solamente el aspecto artístico el valorable. Se aporta, al margen de otras consideraciones, por poner un ejemplo auténtico que ilustra el esfuerzo por buscar indicadores que permitan objetivar evaluaciones ex -ante en entornos típicamente subjetivos, como es el mundo de las artes en vivo.

Ni qué decir tiene que una de las obligaciones en todo proceso de contratación pública es el control de la ejecución de los trabajos. Este tipo de seguimiento se puede hacer construyendo un pequeño sistema de indicadores a partir de los proyectos de ejecución ofertados por los licitadores.

Este tipo de prácticas pueden ayudar a aportar credibilidad a la relación entre las entidades públicas, los creadores y las empresas del sector. Quizá es utópico pretender desterrar para siempre las sospechas o los infundios sobre favoritismos o clientelismos, pero sin duda disminuyen el margen de sospecha o credibilidad respecto a supuestos vicios en todos estos procedimientos.

Por otro lado, también es un sano ejercicio el exigir esquemas de evaluación a través de definición de indicadores a las empresas que licitan. Eso nos sirve para dos cosas eminentemente prácticas y posibilistas: Por un lado es un mecanismo claro de control de su contrato. Por otro es una manera de construir y asegurar la práctica evaluativa en nuestros servicios aprovechando el propio esfuerzo de las empresas colaboradoras en un contexto en el que la rutina y la burocracia nos lastra nuestra capacidad de acción.

Referencia:

• • Brun, J. La experiencia aragonesa de evaluación de proyectos escénicos

• • www2.ub.edu

5. Los observatorios. Estructuras estables para producir innovación en las intervenciones a partir del conocimiento

Una perspectiva de su evolución

En la década anterior y lógicamente antes de la crisis que barrió casi todo, en España había crecido la conciencia de una carencia en cuanto a datos y reflexiones que ayudasen a un mejor conocimiento del sector cultural, y fue cuajando la hipótesis de la figura de un observatorio como herramienta de apoyo a la toma de decisiones y de apoyo a los agentes, en algunas comunidades autónomas.

Algunas de las primeras iniciativas que se habían producido lo fueron vinculadas a las diputaciones provinciales, aunque tuvieron en su desarrollo un marcado acento como elementos formativos: El pionero de todos ellos fue el Centre de Recursos Culturals – CERC – de la Diputación de Barcelona, al que siguió miméticamente el SARC en Valencia. No fue hasta bastantes años después cuando se vio reflejada esta posibilidad en algunos programas políticos o planes estratégicos a nivel autonómico, como por ejemplo, en Cataluña, con el primer gobierno tripartito o en Euskadi, a partir del primer Plan Vasco de la Cultura.

A ellos se unió en un segundo momento la Diputación de Cádiz, con el Observatorio El Vigía, una estructura muy sencilla, pero que ha dado algunos frutos interesantes. Así mismo hubo una efímera presencia de un así auto-denominado Observatorio, el CERC en la Diputación de Granada, que tuvo en su corta duración una discreta intervención.

De todos ellos, a la postre, el que se consolidó de una forma más clara fue el Observatorio Vasco de Cultura, cuya creación se derivó del Plan Vasco de Cultura.

Paralelamente, y a un nivel local, la Comisión de Cultura de la Federación Española de Municipios y Provincias empezó a tener en esa década una cierta receptividad acerca de este tema, a partir de un proceso convergente que comenzó con el establecimiento de una Agenda Cultural de municipios y provincias, siguió por un proceso de redefinición del papel de los entes intermedios (Diputaciones, Cabildos, …) en la administración local en cultura, que se reafirmó en el Estudio de Estándares de diferentes tipologías de equipamientos culturales, así como ha culminado finalmente en la realización de la Guía para la evaluación de las políticas culturales locales, presentada en Madrid la semana pasada y en cuyo proceso este Gobierno ha participado activamente.

Finalmente, por cerrar este primer acercamiento cronológico, en el contexto europeo, ha habido diferentes iniciativas supranacionales . Por mencionar algunas, tenemos los observatorios de Grénoble en Francia y de Piamonte, en Italia, así como el ya clásico Departamento de Estudios y Prospectiva del Ministerio de Cultura Francés, toda una referencia a nivel continental.

Además, hubo un primer amago de creación de un observatorio dependiendo de la Comisión Europea hace algo más de 10 años, a partir del llamado Informe Ruffolo, redactado en 2001 y que señalaba que la unión Europea debía dotarse de una agencia de esta índole .

A partir de ese punto, con la participación de las redes culturales,, evoluciona el concepto que, finalmente recoge la Fundación Europea de la Cultura, con sede en Ámsterdam que pone en marcha un Laboratorio, fundamentalmente como una instancia de coordinación de iniciativas ya existentes.

Entre los otros proyectos a los que merece la pena hacer referencia está el denominado Eurocult 21 que, dentro del 5º Programa Marco Europeo de Investigación, a través de la red Eurocities y con participación de la red Encact y diversos municipios europeos abordó entre otros objetivos la creación de indicadores a través de talleres estatales. El correspondiente a España se celebró en octubre de 2004, y la conferencia final del proyecto tuvo lugar en Barcelona en Marzo de 2005.

Con la restauración del Ministerio de Cultura, tras las elecciones de 2004, se empezó a hablar de un posible observatorio cultural, vinculado a la Dirección General de Cooperación Cultural.

En noviembre de ese mismo año, el grupo socialista (PSOE) presenta y aprueba en el Congreso de los Diputados una proposición, no de ley, para el establecimiento de un sistema de información cultural.

Durante aproximadamente dos años desde la Dirección General de Cooperación Cultural se trabajó en la puesta en marcha de estos mecanismos de recogida de datos y reflexión. No obstante, el Ministerio se encontró ante una situación multipolar, a dos niveles:

Un primer nivel, especializado y por parte de agentes universitarios, independientes o del sector privado, en el que se encuentran Interarts (Barcelona), la Fundación Autor (SGAE-Sociedad General de Autores y Editores) (Madrid) o la Universidad de Deusto (Bilbao)

Un segundo nivel, los entes que habían trabajado desde un punto de vista territorial (Municipal, Autonómico), para lo cual estableció un convenio con la mencionada Federación Española de Municipios y Provincias (FEMP).

Sin especificar nunca muy bien cómo, la voluntad del Ministerio era articular todas estas iniciativas mediante dos instancias como eran:

• El Servicio Estadístico del Ministerio de Cultura
• La Conferencia Sectorial de Cultura (interautonómica)

Paralelamente, el Ministerio de Cultura estuvo realizando el Estudio sobre Hábitos y Consumo Culturales, apoyándose en la infraestructura de la Sociedad General de Autores y Editores (SGAE).

Por otro lado, internacionalmente y fuera del contexto europeo ha tenido mucha relevancia el Observatorio sobre la Diversidad Cultural, de Montreal, con un papel muy activo de cara a las discusiones que sobre ese asunto se celebraron en la UNESCO y que desembocaron en la Convención sobre la Diversidad Cultural.

La idea de creación de este Observatorio Red desde el Ministerio fue chocando con la complejidad del Estado Autonómico y sus diversas prioridades, así como la asimetría en el desarrollo de los distintos territorios.

Finalmente, con los cambios ministeriales que conllevaron la desaparición de la Dirección General de Cooperación Cultural y la puesta en marcha de una Dirección General de Industrias Culturales en su lugar, terminaron por aparcar ese proyecto.

Los observatorios, como uno de los posibles modelos para visualizar la función evaluadora de políticas culturales

Hay que señalar que uno de los ejes principales alrededor del cual debería articular su acción un observatorio de políticas culturales sería el de evaluar éstas, algo que no siempre es tenido en cuenta, al menos en el entorno geográfico en el que operamos habitualmente. La tradición evaluadora es escasa comparada con otros ámbitos de la acción pública: políticas medioambientales, cooperación al desarrollo, etc.

Quizá ello también pueda derivar de una perogrullada que, no por evidente, deja de tener sentido: Para poder evaluar las políticas hay que conocerlas primero y, para ello, antes habría que formularlas.

Según la profesora María Bustelo, la evaluación tiene la función, por un lado, de retroalimentar y mejorar la acción por otro, realizar un control de responsabilidades, y finalmente su comunicación. En sus propias palabras, improvement (la mejora), la accountability (la rendición de cuentas) y el enlightenment (la explicación pública).

También señala dicha autora que los procesos evaluadores deben tener cuatro niveles de análisis para ser completos:

• Hallazgos empíricos: recogida de hechos, datos e información
• Interpretaciones: Explicación sobre estos hechos y datos
• Juicios: Valoraciones acerca de los hallazgos y sus interpretaciones.
• Recomendaciones: sugerencias sobre posible líneas de acción

Como ya sabemos, los propósitos de la evaluación son facilitar el proceso de toma de decisiones, así como favorecer el aprendizaje organizativo. Frecuentemente se tiende a caer en lo que algunos han venido a denominar el espejismo tecnocrático, es decir la creencia que con poseer datos estadísticos tenemos resuelto el problema, sin elaborar conclusiones y reflexiones a partir de los mismos.

Algunas de las características principales de la evaluación de políticas culturales es que tienen un carácter político (las políticas y programas que evaluamos son resultado de decisiones políticas) y que dependen mucho del contexto, lo cual redunda en esa dificultad de lograr esa comparabilidad de la que ya hemos hablado.

Hemos de tener en cuenta algo importante para situarnos en su contexto apropiado, que no debemos confundir evaluación con investigación,. En un primer estadío, según mi forma de ver, se debe realizar una labor evaluadora antes que investigadora. Las diferencias principales entre ambos conceptos radican en el carácter de «aplicada» y «dirigida a la acción» que tiene la evaluación, frente al carácter «teórico» o «básico», que tiene la segunda.