Cookies Policy

The website of the University of Cádiz uses its own and third-party cookies to carry out analysis of use and measurement of traffic, as well as to allow the correct functioning in social networks, and in this way to improve your browsing experience.

If you want to configure cookies, press the button Customize Cookies. You can also access the cookie settings at any time from the corresponding link in the footer.

For more information about cookies you can consult the Cookies policy from the website of the University of Cádiz.

Cookies customization

The website of the University of Cádiz uses its own and third-party cookies to carry out analysis of use and measurement of traffic, as well as to allow the correct functioning in social networks, and in this way to improve your browsing experience.

For more information about cookies you can consult the Cookies policy from the website of the University of Cádiz. You can also access the cookie settings at any time from the corresponding link in the footer.

You can configure the website cookies according to their purpose:

  • Statistical analysis

    Third-party cookies (Google Analytics) are used on this site that allow the number of users to be quantified anonymously (personal data will never be obtained to identify the user) and thus be able to analyze the use made by users of our service, in order to improve the browsing experience and offer our content optimally.

  • Social networks

    Third-party cookies are used on this website that allow the proper functioning of some social networks (mainly YouTube and Twitter) without using any personal data of the user.

UniversidaddeCádiz
Observatorio Atalaya Servicio de Extensión Universitaria del Vicerrectorado de Cultura de la Universidad de Cádiz

6.14 La evaluación de proyectos y procesos culturales

6.14 ProyectosYProcesosCulturales: por David Roselló Cerezuela

 

Este documento presenta la evaluación de los proyectos culturales en toda su extensión. La evaluación tratada por sí sola no tiene sentido si no se la define como un aspecto directamente ligado al diseño del proyecto y a su desarrollo. Así, se debe concebir la evaluación como un instrumento para la mejora de los proyectos, buscando siempre detectar la manera de reconducirlo para optimizar el logro de los objetivos, la redefinición del proyecto o la reconducción de los elementos de su producción.

Este capítulo se inspira en gran medida del libro del mismo autor, Roselló, David. Diseño y evaluación de proyectos culturales (2004. 4ª edición actualizada en 2007 -­‐ 6ª edición 2011). Barcelona. Editorial Ariel.

1.La evaluación, una herramienta al servicio de los proyectos y las políticas culturales

Evaluar expresa, ante todo, la voluntad de mejorar los proyectos culturales en curso o futuros. Y esto es tan aplicable a los que ya terminaron con éxito como a los que les queda una sensación de fracaso. Por lo tanto, no evaluamos para premiar o castigar los equipos de profesionales que desarrollan los proyectos, sino siempre para mejorar estos proyectos en su desarrollo presente y futuro.

La evaluación de los proyectos culturales comporta actualmente, a la vez, interés por desarrollarla adecuadamente y dudas sobre cómo hacerlo. La ciencia social y la experimentación profesional han aportado múltiples respuestas tanto conceptuales como instrumentales. Aquí se combinan ambas.

En la gestión de las políticas culturales se aplican estas aportaciones conceptuales a la práctica profesional. Se busca ante todo, la herramienta útil para nuestro trabajo, por encima de la perfección académica aunque esta nos ayuda a mejorar nuestro trabajo. Así, la evaluación de los programas, proyectos, equipamientos y acciones culturales tendrá que saber adaptarse a las necesidades de trabajo de las instituciones, equipos y profesionales, y no necesariamente al revés si se quiere que sea efectiva.

Finalmente, hoy en día está ya muy aceptado que la evaluación de un proyecto cultural es imprescindible para saber si estamos trabajando en la dirección adecuada o debemos modificar algún aspecto del proyecto. Demasiado a la moda en los últimos tiempos, el tema de la evaluación ha sido motivo de preocupación para unos y ejercicio de laboratorio para otros. Sin caer en un extremo (“en cultura no se puede evaluar de manera precisa y todo intento nunca reflejará la realidad”) ni en el otro (“absolutamente todo es medible con una precisión matemática”) debemos hacer el esfuerzo para encontrar el punto de equilibrio que dé más credibilidad a los proyectos. Cuanto más complejas son las realidades, más necesario se evidencia el proceso de evaluación.

2. Hablemos de definiciones

Definir la evaluación ayuda a darle a esta un sentido u otro. Veamos:

Hay dos grandes visiones de la evaluación:

  • Una mirada hacia atrás: evaluar se asocia, a menudo, a una revisión valorada del trabajo hecho hasta la fecha, en la que se destacan básicamente los logros y los fracasos. Se comprueba, mediante una batería de indicadores prefijados, hasta qué punto se han logrado o se están logrando los resultados que nos habíamos En definitiva responde a la pregunta ¿Cómo fue todo, se lograron los resultados deseados?
  • Una mirada hacia delante: evaluar se asocia a un ejercicio de revisión encaminado, básicamente, a mejorar el proyecto en su continuidad, próximas ediciones u otras versiones futuras. Responde a la pregunta ¿Qué hay que cambiar para mejorar?

Técnicamente se usarán los mismos instrumentos y metodología pero el sentido y la intención final puede variar de una a otra visión. La opción que se hace aquí es la segunda: evaluar tiene mayor sentido en la medida que permite mejorar actuaciones posteriores. Para ello, evidentemente, deberemos revisar el trabajo realizado.

Una definición de síntesis y más completa sería: “La evaluación es un proceso sistemático mediante el cual se obtiene la información necesaria sobre los resultados, previstos o no, y el funcionamiento de un proyecto cultural para saber en qué medida se logran los objetivos y se desarrolla la producción, y poder tomar así las decisiones oportunas para reconducir dicho proyecto mediante la modificación de cualquiera de sus aspectos” (Roselló, 2004).

3. El momento de pensar en la evaluación

En muchos esquemas de planificación, se sitúa la evaluación al final, como un cierre del proyecto o como un retorno de contraste del diagnóstico. Pero es preferible situar la evaluación en el conjunto del esquema, en cada una de sus fases, que deberán y podrán ser evaluables. Así, se plantea la previsión de evaluación de los resultados cuando se definen los objetivos, y se determina la previsión de evaluación del desarrollo del proyecto en el momento de definir los elementos de la gestión: planificación general, formación del equipo, plan de comunicación, requisitos infraestructurales, presupuesto, etc.

La previsión de la evaluación no es, por lo tanto, una fase más del proyecto, sino que está presente, de manera transversal, en la mayoría de sus fases. Aquí se aborda un proceso que se inicia en el diseño mismo de cada parte del proyecto, que se ejecuta a lo largo del desarrollo del mismo y que se cierra una vez finalizado el proyecto con la ejecución de la mencionada evaluación. En consecuencia, trabajaremos la previsión de la evaluación de cada capítulo del esquema de nuestro proyecto, aunque luego podamos agrupar todos los aspectos ligados a la evaluación en un capítulo diferenciado.

4. Otros términos usados

Hay otros términos usados como sinónimos de evaluación, cada uno de ellos con sus matices y aportaciones:

  • Valoración: término menos comprometido que evaluación, pero se usa como sinónimo.
  • Seguimiento: hace más referencia al proceso de la evaluación que a sus Insiste en su carácter continuo o permanente.
  • Supervisión: puede destacar el carácter jerárquico del proceso de evaluación.
  • Control: término genérico asociado a evaluación
  • Control estratégico: más utilizado en el sector Indica una comprobación o verificación de un proceso para anular cualquier desviación.
  • Monitorización: destaca el carácter permanente en la obtención y análisis de datos necesarios para conformar la evaluación.
  • Memoria: hace referencia al documento final que recoge los resultados de la evaluación.

En un sentido más exacto, alguna/os autora/es consideran que el diagnóstico previo a la definición de un proyecto es ya en él mismo una evaluación de la realidad en la que nos disponemos a intervenir. Aunque formalmente esta acepción es correcta y gran parte de la metodología e instrumentos pueden ser los mismos, el sentido es diferente: el diagnóstico busca conocer una realidad sobre la que todavía no hemos intervenido para definir una propuesta de acción. La evaluación, vista como se enfoca aquí, es una visión sobre nuestras intervenciones, primero la pasada, para encarar la futura.

5. ¿Por qué se evalúa un proyecto cultural?

Identifiquemos algunas razones por las cuales debemos evaluar:

  • La razón principal para evaluar un proyecto, ya lo hemos visto, es para mejorarlo ya sea en su desarrollo actual, ya sea en futuras ediciones: reorientación de los objetivos, cambios en contenidos, estrategias o actividades, mayor dotación de medios, modificación en el modelo de gestión y de planificación, cambio de público destinatario,
  • También puede servir para justificar la necesidad o idoneidad de un nuevo impulso que continúe o complemente las propuestas del proyecto
  • Suele ser menos frecuente, pero ¿por qué no?, los resultados de la evaluación pueden servir para acordar la extinción del proyecto si se detecta que no hay motivo alguno para su continuidad. Por ejemplo, porque ya se han logrado los objetivos
  • Finalmente, la evaluación sirve para tomar decisiones institucionales de orden interno: una remodelación del equipo, un reconocimiento profesional, un ascenso, un premio, un incremento de medios, pero también un castigo, una destitución, un despido, una disminución de medios,
  • Fuera de esta lógica, se puede evaluar un proyecto simplemente como un acto rutinario de mecánica administrativa (se evalúa y se archiva el documento) pero que no repercutirá en

6. ¿Por qué NO evaluamos?

Igual que hay motivaciones para evaluar, las hay, en la práctica, para no hacerlo. Estas no suelen ser tan explícitas pero acaban marcando los hechos en los equipos y en los proyectos. Dicho de otra manera, si todo el mundo lo reconoce como un tema clave en la gestión de la cultura, ¿por qué nos cuesta tanto evaluar nuestros proyectos?

Veamos algunas razones:

  • La razón última de nuestro proyecto es la simple realización de la actividad (no hay proyecto que vaya más allá). Una vez ésta se ha llevado a cabo se considera que el proyecto se ha desarrollado No hay otros objetivos que la acción por la acción.
  • Se desprecia o desvaloriza la evaluación. Al no ser aparentemente tan urgente como el desarrollo del proyecto, se deja la evaluación para más adelante, para “cuando haya tiempo”, pero nunca se encuentra este
  • Se cree innecesario establecer un proceso riguroso. Basta con una simple percepción nuestra. Se suele caer en un cierto estado de auto-­‐complacencia que anula todo espíritu crítico.
  • Se busca el método perfecto para evaluar de una manera absolutamente fiable. Se puede llegar a una auto-­‐exigencia paralizadora que nunca llega a encontrar la manera de evaluar y termina dejándola de
  • Se desconoce la metodología para
  • Se tiene miedo a los resultados, sobre todo cuando éstos deberán exponerse en público o ante clientes, patrocinadores, medios o directivos de la institución. Se temen las Cuanta más información se muestre, más vulnerable se estará a posibles críticas.
  • Se considera que el resultado de la evaluación, sea lo que sea, tampoco afectará el futuro del proyecto y no conllevará cambios sustantivos. La lógica de los proyectos está desligada de su propia evaluación. Se puede ver, entonces, como una pérdida de
  • Se ve difícil establecer una causalidad directa entre nuestras intervenciones y unos resultados que pueden ser debidos a otros factores del mismo contexto.
  • Se ve la evaluación como algo externo al equipo, que debe ser realizado por otra persona o
  • Se tiene la tendencia a guardarse la información que se tiene y cuesta exponerla públicamente.
  • Se ve como la evaluación al equipo y no para el
  • Nuestros interlocutores (jefes, clientes, patrocinadores, ) no valoran el esfuerzo hecho en la evaluación y apenas se la miran.
  • Si nadie nos la .. ¿para qué hacerla?

La consecuencia de todas estas situaciones es que, por una razón u otra, se acaba no haciendo la evaluación de un proyecto o no se hace con todo el rigor necesario.

7. Ventajas de evaluar un proyecto cultural

Cerrando esta primera parte, debemos tener claros los argumentos a favor de evaluar. Así, aunque nadie nos lo pida, reconozca o valore, como profesionales que somos, tendremos el convencimiento propio de que estamos obrando correctamente. A modo de recopilación, ahí van algunos argumentos.

La evaluación de un proyecto sirve al equipo para:

  • Reorientar el sentido y la aplicación del proyecto para lograr los objetivos deseados u optimizar los recursos empleados para
  • Mejorar el proyecto en ediciones
  • Generar nuevas propuestas para nuevos proyectos o
  • Innovar en los proyectos para no seguir siempre en lo
  • Comparar, con la cautela por la diferencia de contextos, diferentes proyectos o
  • Poder demostrar ante terceros los éxitos
  • Mostrar un método de planificación y evaluación a la gente nueva en el equipo o en la profesión.
  • Apreciar y valorar en el seno del equipo el trabajo realizado y visibilizar los resultados obtenidos, tanto si son positivos como
  • Generar un debate interno en el equipo que va más allá de los elementos de la acción.
  • Demostrar al público el interés por los .. y podérselos transmitir.
  • Ofrecer una imagen de seriedad y profesionalidad ante
  • Consultar el proyecto y su memoria en el futuro, identificando las causas de los éxitos y de los fracasos de los proyectos propios y

8. ¿Qué ámbitos evaluamos?

Una vez tenemos el convencimiento claro de que hay que hacer siempre una buena evaluación de nuestras intervenciones, nos disponemos a ver cómo hacerla. Y lo primero que nos preguntamos es: ¿exactamente qué ámbitos hay que evaluar? Para ello necesitamos remitirnos al esquema que hemos empleado para elaborar el proyecto: la evaluación se llevará a cabo en diferentes partes de dicho esquema. Este es:

Bases contextuales del proyecto

Y a partir de él, establecemos cinco ámbitos de evaluación, cada uno de ellos correspondiendo a una parte del esquema:

Ámbito del contexto:

  • Evaluaremos el buen diagnóstico del ¿El punto de partida del proyecto era correcto? Miraremos hasta qué punto hicimos un buen análisis de la realidad en la que se inscribe el proyecto y si llegamos a un buen diagnóstico. En todo caso, nunca debe ser excusa para justificar el no haber logrado los objetivos deseados. Equivocarse en el análisis del contexto es tan grave como hacerlo en la ejecución del proyecto.

Ámbito de los resultados u objetivos

  • Evaluaremos los resultados obtenidos y medidos mediante indicadores cuantitativos y cualitativos previamente fijados. Nos indica la eficacia del proyecto: ¿hemos conseguido los objetivos que nos habíamos propuesto? Seguramente es la parte más importante de la evaluación, sobre la que centraremos más esfuerzo, tiempo y energía. Nos acaba midiendo hasta qué punto se han obtenido los objetivos/resultados deseados. Justifica, por lo tanto, el sentido concreto de desarrollar o haber desarrollado el proyecto y de cómo seguir con él.

Ámbito de la definición

  • Evaluaremos los demás aspectos que definen un proyecto para saber hasta qué punto fueron bien establecidos y cumplen con su función de contribuir a la obtención de los objetivos. No hay una lista universal y cerrada de indicadores de evaluación de la definición del

Ámbito del proceso

  • Evaluaremos el funcionamiento, de acuerdo con lo previsto, de todos los elementos que constituyen el proceso de producción o gestión del proyecto. Nos indica la eficiencia del proyecto en el caso que se obtengan los resultados

Ámbito del impacto

  • Finalmente, evaluaremos la repercusión del proyecto a largo plazo y a gran escala. A veces se observa su aportación a un programa o plan más amplio. La evaluación de impacto tiene un carácter político general y puede ser que no la hagamos nosotros/as sino un/a cargo superior dentro la institución o, directamente, un/a cliente externa/o.

9. ¿Cómo evaluamos?

Es necesario saber en cada caso qué ha funcionado mejor y peor, y preguntarse la razón de por qué ha sido así. Además plantearemos soluciones de mejora, ya sea en un proyecto en curso, ya sea al final de un proyecto con posible continuidad.

Para ello nos dotamos de un cuadro completo que va más allá de la lista de éxitos y fracasos. Los podremos usar tanto para la evaluación de objetivos o resultados como para la evaluación de la definición y del proceso.

Aspectos

Evaluación de objetivos o resultados

Evaluación de objetivos o resultados

Evaluación del proceso

Evaluación del proceso

10. ¿Cuándo se realiza la evaluación?

La evaluación de un proyecto se hace a lo largo de todas sus fases:

  • Diseño/planificación (antes de llevarlo a cabo)
  • Ejecución (durante su desarrollo)
  • Posterior (al terminar el proyecto).

Para ello se utiliza dos visiones complementarias:

“Película”: es la evaluación constante a lo largo del proyecto. Se trata de una evaluación continua y poco profunda. Sirve para detectar disfunciones en tiempo presente, para hacer un seguimiento en el que lo que importa es el resultado global. Por su inmediatez y rapidez se obtienen resultados poco detallados pero actuales. Se materializa en las reuniones regulares y rápidas en las que el equipo hace un repaso general del proyecto. Se evalúa, sobretodo, el proceso de producción y los pequeños resultados inmediatos. Y permite tomas decisiones en el momento para reconducir la marcha del proyecto. Se basa en percepciones pero también en valores de los indicadores que ya podemos medir.

“Foto”: es la evaluación que se hace periódicamente en diferentes momentos puntuales del proyecto y, sobre todo, a su fin. Se trata de una evaluación más en profundidad y en un momento fijado que ya es pasado. Sirve para detectar aciertos y errores para reorientar, si cabe, el proyecto o pensar ya en la próxima edición. Lo que importa es el estado concreto del proyecto en un momento dado. Se obtienen los resultados con detalle y profundidad pero desfasados, el proyecto sigue su curso o se ha terminado. Se materializa en los informes o reuniones específicas de balance de la situación del proyecto, con instrumentos y datos precisos. Se evalúa la globalidad del proyecto, en todas sus fases.

Los dos puntos de vista evaluativos se complementan aportando lo mejor de cada uno y lo que no proporciona el otro. Cuanto más largo en el tiempo es un proyecto, más justificado está el uso de ambos sistemas.

Tanto en un caso como en otro tiene que preverse la evaluación dentro el calendario de trabajo del equipo gestor. De no hacerse así al principio, una vez entrados en la acción, es más difícil pensar en ella. En algunos casos hay que prever el coste de la fase evaluativa en el presupuesto (expertos externos, encargo de informes, etc.).

11. ¿Quién realiza la evaluación?

Aquí igualmente hay dos posibilidades que también pueden complementarse entre ellas:

La evaluación interna

Es la que realiza el propio equipo “desde dentro” del proyecto. La lleva a cabo la misma gente que ha diseñado y gestiona el proyecto con la ventaja que lo conoce bien pero con el inconveniente que es más difícil ser objetivo, sobre todo si uno se implica a fondo.

De manera general, es preferible que todo el equipo se implique en la evaluación para que sea entendida como una responsabilidad del equipo sobre el trabajo de toda/os. Así, además, cada cual podrá y deberá asumir su parte en los éxitos y los fracasos.

La evaluación externa

Es la que realiza un agente externo al equipo y se hace “desde fuera” del proyecto. Si es una persona sin relación jerárquica se asimila más a un apoyo o un asesoramiento. Si es alguien con relación jerárquica superior se asemeja más a un control. Tiene la ventaja de ser más objetiva por tener un punto de vista menos comprometido con el proyecto y los efectos de sus resultados y el inconveniente de desconocer a fondo el proyecto.

12. Métodos generales de evaluación

De manera muy general hay cuatro tipos de evaluación de los cuales en la gestión  cultural trabajaremos básicamente con dos de ellos, aunque los otros dos siempre pueden ayudar en momentos y situaciones concretas. Veamos cuáles son:

Evaluación experimental. Se basa en la comparación de diferentes realidades en las que se ha intervenido de una manera, con una realidad sin tratamiento. Es un método más apropiado para pruebas científicas en las que se puede controlar todas las variables y modificar o aislar sólo una de ellas. En proyectos culturales suele ser poco útil para evaluaciones a corto plazo. Puede servir para observaciones a largo plazo cuando en una determinada realidad se ha venido trabajando con un modelo diferenciado del resto. Es el caso de los proyectos piloto. Obliga a conocer muy bien la influencia de todos los factores contextuales presentes. Ejemplo: se aplica un modelo de gestión a tres equipamientos culturales de la ciudad y a otro no. Al cabo del tiempo se compara el resultado de los tres con el proyecto no intervenido.

·         Evaluación reflexiva (también conocida como ante-­‐post). Se basa en la comparación de una realidad antes y después de la intervención. Es el método más utilizado en las políticas y la gestión cultural puesto que el análisis del contexto se hace dos veces, a poder ser, con los mismos métodos de análisis de la realidad. La primera nos sirve para fijar los objetivos y la segunda para comprobar si los hemos logrado. Este método nos permite seguir la evolución de un proyecto en el tiempo, por ejemplo, año tras año. Ejemplo: tenemos la trayectoria de un festival en los últimos cinco años. Evaluamos su comportamiento en el sexto año a poder ser con los mismos indicadores que antes.

·         Evaluación transversal. Se basa en la comparación con otras realidades en las que se ha intervenido de manera parecida. Es un método utilizado para comparar diferentes proyectos o partes del mismo entre sí. Instintivamente lo hacemos muy a menudo. Se trata de darle una dimensión más estructurada con elementos que se puedan comparar teniendo en cuenta que cada realidad es diferente. Por ello es un sistema en el que todo es siempre relativo. Aun considerando este factor puede dar una señal de disfunción en un proyecto determinado. Ejemplo: evaluamos la gira de un grupo artístico en diferentes ciudades del país. No siempre podremos usar los mismos indicadores porque cada realidad (ciudad, espacio, tiempo, agentes…) es diferente.

·         Evaluación de opinión. Se basa en la opinión de personas expertas sin tener que buscar datos comparativos concretos. Es el menos conciso de todos los métodos pero a menudo es el más fácil, rápido y barato de aplicar. Aun estar siempre presente, este método puede ser un buen complemento de los otros pero no debería ser el único de que disponemos. Sirve para una primera impresión momentánea de cómo va un proyecto o de su resultado final. A veces permite saber aquello que las cifras no dicen. Es casi indispensable en evaluaciones muy cualitativas o subjetivas. La opinión de personas expertas puede ser muy interesante en los proyectos. Ejemplo: queremos evaluar la calidad de  la obra expuesta en una convocatoria de artistas locales.

Ningún método es excluyente. Suele convenir el uso combinado de distintos métodos, se enriquecen y complementan mutuamente.

13. Los indicadores, herramientas para la evaluación

La evaluación requiere de unos instrumentos que llamaremos indicadores que nos ayudan a medir y conocer, tanto a lo largo del proyecto como al finalizar este, la situación detallada del mismo, los resultados obtenidos de acuerdo con los esperados y la aplicación de las fases de la producción o gestión.

No existe una lista universal y cerrada de indicadores válidos para la evaluación de todo proyecto. Si cada proyecto tiene unos objetivos propios, ha de tener unos indicadores de evaluación propios. Cada equipo debe establecer los indicadores de evaluación que le son más propicios para poder medir el éxito de su proyecto. No obstante, algunos de ellos, de resultados y, sobre todo, de proceso (número de asistentes, desviación de presupuesto o impacto en los medios de comunicación, por poner unos ejemplos) suelen estar presentes en muchos proyectos. En muchos casos el equipo debe crear indicadores nuevos que le den información precisa para su proyecto.

El indicador de evaluación nos informa de una situación o de un resultado. Sin contraste con algún valor de referencia es un simple dato que no sirve de mucho. Comparado con un valor conocido (por ejemplo, el del año pasado o el de otro proyecto) nos aporta información sobre su evolución. El equipo debe analizar entonces la razón de los cambios observados. El resultado obtenido por la suma de indicadores sirve entonces para tomar decisiones dado que raramente un solo indicador nos permite evaluar un proyecto sino que la suma de varios indicadores ofrece la posibilidad de medir el logro de todos los objetivos y estos, a su vez, llevarán a confirmar si sí, si no o en qué medida el proyecto (o sea sus objetivos) ha sido exitoso.

Ejemplo:

  • El diagnóstico nos indica que el año pasado se vendieron 350 catálogos de media de cada exposición.
  • El objetivo actual es «incrementar la cifra promedio de catálogos vendidos en cada exposición hasta los 400 ejemplares».
  • El indicador de evaluación será: «Número promedio de catálogos vendidos en cada exposición». Tendrá unas condiciones de aplicación del tipo: en un periodo de tiempo, sin contar los obsequiados, incluyendo las ventas por Internet, no incluye devoluciones y desapariciones, etc.
  • El resultado obtenido tendrá un sentido en la medida se acerque a los 400 ejemplares. Se puede contemplar una  horquilla  de  +/-­‐  10%,  entre  los  360  y  440  catálogos,  dentro  la  cual  se  considera logrado el objetivo. Muy por debajo de esta cifra se considerará un fracaso: no se alcanzó el objetivo. Y habrá que buscar las razones de Muy por encima seguro que será visto como un éxito espectacular… pero entonces habrá que hacerse la pregunta: ¿por qué no se supo prever un resultado más grande?

De acuerdo con los contenidos de la evaluación hay indicadores en los diferentes ámbitos, ya vistos anteriormente, en los que esta se organiza. Aquí se presentan sólo algunas posibilidades:

Ámbito del contexto

Miden como es y evoluciona el entorno en el que se inscribe el proyecto. Habrá indicadores que ayudan a conocer el territorio, el sector, las políticas, etc. Permiten hacer un diagnóstico del proyecto (ver apartado de contexto o diagnóstico en el capítulo de Diseño de proyectos culturales).

Ejemplo: número de bibliotecas existentes en el municipio (para un proyecto de fomento de la lectura).

De manera más concreta podemos valorar si supimos:

  • Presentar, justificar, argumentar y documentar bien la o las
  • Analizar bien el contexto territorial en el que se inscribía el
  • Conocer bien a fondo el sector cultural del que trataba el
  • Detectar las políticas existentes que podían darle sentido y
  • Identificar unos antecedentes o referentes, ya sean propios o ajenos en los que inspirarse o
  • Analizar bien a fondo las fortalezas y las debilidades de nuestra organización o equipo de
  • Conocer bien a fondo nuestro público destinatario (si lo consideramos elemento de contexto).

Ámbito de los resultados u objetivos

Aquí es imposible generalizar. La definición de indicadores dependerá de los objetivos de cada proyecto. Miden si se han obtenido o no, y en qué medida, los objetivos planteados o resultados deseados.

Ejemplo: número de nuevos carnets de socio registrados en las bibliotecas locales durante el tiempo  de ejecución de un proyecto de fomento de la lectura (admitiendo que incrementar el número de carnets fuera un objetivo).

Ámbito de la definición

Miden hasta qué punto los elementos de la definición del proyecto, otros que objetivos, (destinatarios, contenido, estrategias, acciones y modelo de gestión) fueron bien establecidos y cumplen con su función de contribuir a la obtención de los objetivos. Aquí se presentan algunos usados de manera bastante común, de acuerdo con los diferentes capítulos que configuran la definición del proyecto.

Ejemplo: implicar a las asociaciones del barrio en el proyecto (es una estrategia) ha servido para lograr mejor los objetivos (para un proyecto de fomento de la lectura).Sin ellas hubiera sido imposible alcanzarlos.

De manera general nos preguntaremos:

Indicadores de evaluación sobre la elección de los destinatarios

  • ¿Era el grupo elegido el más indicado para alcanzar los objetivos? ¿Lo conocíamos bien?
  • ¿Se pudo actuar de manera homogénea sobre el grupo? Si no, ¿en qué aspecto el grupo era demasiado heterogéneo (edad, procedencia, nivel, interés, )?
  • ¿Cómo reaccionaron los destinatarios a nuestras propuestas? ¿Quién y en qué mejor o peor?
  • ¿Ha habido concordancia entre destinatarios y objetivos?
  • ¿La interacción entre los grupos (si tenía que haber) ha funcionado?
  • ¿Se hubiera podido actuar también sobre otro grupo?
  • ¿Qué otro grupo de destinatarios será preferible para otra vez?
  • ¿El grupo de destinatarios era el más adecuado a la trayectoria de nuestra organización?
  • ¿El grupo de destinatarios era el más adecuado a nuestros recursos?

Indicadores de evaluación del contenido del proyecto

  • ¿En qué medida el contenido elegido era el más adecuado para alcanzar los objetivos? Si no, ¿qué otros contenidos permitirían alcanzarlos mejor?
  • ¿El contenido ha sido adecuado al grupo de destinatarios?
  • ¿El contenido era adecuado a la identidad y trayectoria de nuestra organización?

Indicadores de evaluación de las estrategias o metodología del proyecto

  • ¿En qué medida las estrategias eran las más adecuadas para alcanzar los objetivos? Si no, ¿qué otras estrategias permitirían alcanzar mejor los objetivos?
  • ¿Las estrategias han sido adecuadas al grupo de destinatarios?
  • ¿Las estrategias han sido adecuadas a la identidad de nuestra organización?
  • ¿Las estrategias han sido adecuadas a nuestros recursos?

Indicadores de evaluación de las acciones del proyecto

  • ¿En qué medida las acciones eran las más adecuadas para alcanzar los objetivos? Si no, ¿qué acciones o tipos de acción permitirían alcanzar mejor los objetivos?
  • ¿Las acciones han sido adecuadas al grupo de destinatarios?
  • ¿Las acciones han sido adecuadas a la identidad de nuestra organización?
  • ¿Las acciones han sido adecuadas a nuestros recursos?

En el capítulo de las acciones/actividades también valoraremos su desarrollo:

  • ¿Las acciones se han llevado a cabo de acuerdo con los criterios previstos?
  • ¿Hubo que cambiar algún aspecto de las acciones? En caso afirmativo ¿se supo reaccionar correctamente?

Indicadores de evaluación del modelo de gestión de un proyecto

  • ¿En qué medida el modelo de gestión era el más adecuado para alcanzar los objetivos? Si no ¿qué otro modelo de gestión permitiría alcanzar mejor los objetivos?
  • ¿Cómo ha funcionado/respondido cada uno de los agentes implicados? ¿Se han cumplido las previsiones y acuerdos establecidos?
  • ¿El modelo de gestión ha sido adecuado a la identidad de nuestra organización?
  • ¿El modelo de gestión ha sido adecuado a nuestros recursos?
  • ¿Todos los agentes se han sentido cómodos con su responsabilidad en este modelo de gestión?

Ámbito del proceso

Miden el uso racional de los recursos utilizados para conseguir los objetivos.

Ejemplo: el correcto funcionamiento de los recursos infraestructurales empleados en el proyecto. Se supone que si los medios cumplen su función, el proyecto se desarrolla con mayor eficiencia y, por lo tanto, se alcanzan más fácilmente los objetivos.

Tampoco hay una lista única de indicadores, pero aquí se presentan algunos de los más comunes, ordenados por los capítulos de la producción. En especial nos interesa saber:

Indicadores de evaluación de la planificación de la producción

  • ¿Se ha cumplido el cronograma de trabajo? ¿Por qué?
  • ¿Las tareas estaban bien definidas?
  • ¿Estaban bien temporalizadas y secuenciadas (duración y situación en el tiempo)?
  • ¿Las tareas estaban bien adjudicadas a personas y equipos?
  • ¿Se hubiera podido hacer de otra manera?
  • ¿Se ha tenido que hacer tareas no previstas? ¿Por qué? ¿Se resolvió bien?
  • ¿Se hizo un buen seguimiento del cumplimiento del cronograma?
  • ¿Se supo dar respuesta a los posibles desvíos del cronograma?
  • Propuestas de mejora para futuras ocasiones

Indicadores de evaluación del equipo humano

  • ¿El equipo de trabajo estaba bien definido (número de personas, formación, perfiles, funciones, )?
  • ¿La coordinación funcionó? ¿En qué mejor y en qué peor?
  • ¿La obtención y circulación de la información, la toma de decisiones, la ejecución de los decisiones, etc. fueron las correctas?
  • ¿La relación y coordinación con otras instituciones y equipos funcionó?
  • ¿Los conflictos o desacuerdos se resolvieron?
  • ¿Se hubiera podido hacer de otra manera?
  • Propuestas de mejora para futuras ocasiones

Indicadores de evaluación del plan de  comunicación

  • ¿La comunicación/difusión permitió el éxito de las actividades? ¿Por tanto, el logro de los objetivos?
  • ¿Era adecuada a los destinatarios?
  • ¿Era coherente con los principios de la institución?
  • ¿Han funcionado el mensaje, los canales, los soportes, los instrumentos, las cantidades, las ubicaciones, el coste…?
  • ¿El plan de patrocinio funcionó (si lo hubo)?
  • ¿Se hubiera podido hacer otro tipo de comunicación con mejores resultados?
  • Propuestas de mejora para futuras ocasiones

Indicadores de evaluación de las infraestructuras y requisitos logísticos y administrativos

  • ¿Funcionaron al servicio de la actividad? ¿En qué mejor y en qué peor?
  • ¿Se han resuelto correctamente las incidencias?
  • Propuestas de mejora para futuras ocasiones

Indicadores de evaluación de la gestión económica y financiera [Este capítulo puede tener autonomía propia como memoria económica]

  • ¿Se cumplió el presupuesto: ingresos y gastos previstos? ¿Por qué? ¿Se supo reaccionar a los desvíos presupuestarios detectados?
  • ¿La financiación/plan de tesorería funcionó?
  • Propuestas de mejora para futuras ocasiones

Ámbito del impacto

Miden los logros a largo plazo. Puede ser que no los mida el mismo equipo sino un cargo superior con más visión de conjunto o perspectiva temporal.

Ejemplo: incremento paulatino, año tras año de los índices de lectura en el municipio. Se mide con encuestas de hábitos culturales y se pueden cruzar los datos con el uso de las bibliotecas, las ventas en librerías, etc.

A su vez diferentes proyectos y sus objetivos pueden requerir de:

  • Indicadores cuantitativos: mediciones, registros, Aportan datos precisos que podemos clasificar, tabular, comparar, etc. Son únicos e incontestables, compartidos por todo el mundo.

Ejemplos: número de entradas vendidas en un concierto, de personas que asistieron a un espectáculo de circo en la calle, de documentos consultados en el archivo cultural local, de visitas a una página web, etc.

  • Indicadores cualitativos: observaciones, opiniones de expertos, etc. Aportan visiones personales que incluso pueden ser contradictorias entre ellas pero que ayudan a ver aspectos que las cifras no siempre indican.

Ejemplos: crítica de los medios de comunicación sobre un proyecto determinado, opinión de personas expertas acerca de las obras expuestas en una bienal, posicionamiento de las entidades culturales sobre una propuesta cultural, etc.

Como tantas veces, el uso combinado de indicadores cuantitativos y cualitativos ayuda a hacerse una idea mucho más sólida y completa de los resultados.

14. Características de los indicadores

Está muy determinado como deben ser los indicadores de evaluación para que sean realmente útiles al equipo (en particular los cuantitativos). En muchos casos se podrá acudir a los indicadores habituales y en otros habrá que diseñarlos específicamente para el proyecto. Sea como sea, los indicadores tienen que ser:

·         Ligados a los objetivos específicos y a los contenidos del proyecto.

Los indicadores dependen de los objetivos ya sea en relación directa (a cada objetivo le corresponden sus indicadores de evaluación), ya sea en relación de conjunto (al conjunto de objetivos  le corresponde un conjunto de indicadores), según sea el caso.

·         Actualizados.

Los indicadores deberán ser regularmente actualizados en la medida que cambia el contexto, los objetivos, el equipo o los instrumentos y posibilidades de evaluación.

·         Fijados previamente al inicio de la producción del proyecto (los de proceso) o a su realización (los de resultados).

Para ser objetivos y honestos, los indicadores nos tienen que servir para llevar a cabo la evaluación y no al revés: a partir de los resultados observados crear los indicadores a medida que más nos convengan… y que seguro acabarán por definir el éxito de nuestra acción. Esto evita hacerse indicadores o evaluaciones “a medida” (y siempre falsamente exitosas) al terminar el proyecto: siempre acabaremos encontrando una razón para considerar que el proyecto ha ido bien.

·         Objetivos, neutros, no interpretables

Todo el equipo tiene que compartir la misma noción de lo que se quiere medir y de cómo hacerlo, sin interpretaciones posteriores que ayuden simplemente a justificar un objetivo no alcanzado o un aspecto de la producción que ha funcionado mal. Para ello es conveniente debatir los indicadores en el seno del equipo y no darlos por entendidos prematuramente ni generar redactados confusos. La pregunta que nos hacemos es ¿seguro que la medición de estos indicadores nos permite conocer el logro de un objetivo determinado?

·         Medibles de manera sencilla.

El indicador tiene que poder ser comprobado de la manera más fácil posible para que sea útil al equipo. Indicadores muy interesantes y apasionantes pero de difícil medición no sirven de mucho.

·         Accesibles de acuerdo con nuestros recursos.

De la misma manera la medición de algunos indicadores de evaluación es conceptualmente muy sencilla pero extremadamente costosa o compleja con los medios que disponemos, lo que traducido a hechos reales, la hace imposible de ser llevada a cabo.

·         Fiables o confiables

Los indicadores tienen que dar siempre el mismo resultado cuando se midan más de una vez en el mismo contexto y proyecto. Y, en todo caso, cualquier cambio en el indicador debe corresponder a un cambio en la variable que mida.

  • Sensibles a las pequeñas variaciones del

En cultura, a menudo se trabaja con pequeños avances en los hábitos de las personas en el conjunto de la población. El indicador tiene que ser capaz de detectar estas posibles variaciones mínimas.

·         Perdurables en el tiempo.

Los indicadores deben poderse comparar en un mismo proyecto en el tiempo para observar su evolución, sobre todo cuando trabajamos a largo plazo.

·         Comparables con los de otros proyectos.

En la medida que sea posible, es conveniente que los indicadores tengan un carácter universal que permita comparar un proyecto con otro (con toda la cautela necesaria debido a las diferentes realidades del contexto).

·         Comprobables por terceros.

Para garantizar su objetividad es imprescindible que los indicadores sean, en su obtención y en su registro, comprobables por agentes externos al proyecto que puedan testificar, en un momento dado, de su autenticidad.

Sistema SMART

En inglés existe una versión simplificada de estos criterios aplicados a los objetivos, y por lo tanto a sus indicadores de evaluación, e identificados con el acrónimo SMART:

  • Specific: específicos, claros, concretos y
  • Measurable: medibles,
  • Agreed to: acordados, consensuados,
  • Realistic: realistas, posibles,
  • Time constrained: limitado o acotado en el

Alguna/os autora/es mencionan la «A» como Achievable o Attainable, o sea, alcanzable, posible.

15.Los instrumentos para obtener la información

A menudo la dificultad de la evaluación no es tanto fijarse un indicador sino encontrar la manera de medirlo y obtener un valor para él. La ciencia social aporta algunos instrumentos que, bien desarrollados, ayudan a obtener información y opinión. Estos son algunos de ellos:

  • Registros: censos, estadísticas existentes, actas de reuniones, documentos de trabajo de orden interno, etc.

Se trata de documentos que reflejan datos concretos e informaciones útiles para la evaluación. Puede que sean generados por el propio equipo o por otros agentes (instituciones públicas, fundaciones de estudios, etc.). Nos ayudan a obtener información tanto de tipo cuantitativo como cualitativo. A menudo, estos mismos registros nos ayudaron, en su momento, a establecer el diagnóstico del proyecto.

Ventajas: son fáciles de obtener, suelen contener mucha información y son fiables.

Inconvenientes: son fragmentarios y no siempre hay la información que nos interesa.

  • Mediciones: conteo de personas, talonarios de ventas de entradas, ingresos y gastos económicos, Se trata del resultado de métodos que suele aplicar el propio equipo para obtener una información muy precisa de orden cuantitativo. Se pueden definir previamente a la actuación.
    • Ventajas: son muy precisos, miden exactamente lo que nos interesa, permanecen en el tiempo,
    • Inconvenientes: pocos, si no es que precisan de sistemas cualitativos para su mejor comprensión. Suelen exigir tiempo y personal para su recopilación.
  • Encuesta: de opinión, de hábitos, Se trata de un buen método para conocer la opinión de las personas en general y de los usuarios de nuestro proyecto en particular. Se realiza mediante sistemas técnicos de muestreo o se aplica a la totalidad de los usuarios si la cifra es manejable. Es importante saber plantear bien la encuesta en términos de temas, de conceptos, de preguntas, de opciones de respuesta, etc. Existe toda  una técnica para plantear una encuesta que conviene manejar con rigor. Se pueden obtener informaciones de tipo cuantitativo y cualitativo.
    • Ventajas: es la mejor manera de obtener información y opiniones de las personas, perdura en el tiempo, es comparable, etc.
    • Inconvenientes: técnica compleja que puede resultar costosa si se deja, recomendable, en manos de No siempre es aplicable a nuestro público, puede comportar reticencias y engaños en las respuestas, etc.

·Entrevista personal: se trata de un método cualitativo de gran valor por la calidad de la información obtenida. Se basa en las opiniones de personas seleccionadas al azar o elegidas por su capacidad de visión sobre el tema tratado. Debe saberse realizar con todo su rigor para no condicionar en las opiniones o desperdiciar informaciones destacadas. Existe toda una técnica para realizar una buena entrevista personal. En algún momento, las entrevistas pueden ser un buen complemento de las encuestas u otros medios cuantitativos.

  • Ventajas: se obtiene información o matices sobre datos que otros sistemas no aportan. Es un sistema que aporta opiniones cualificadas, tiene un bajo coste y requiere poco tiempo.
  • Inconvenientes: los resultados son poco objetivos, dificultad de generalización y de contraste. Hay que saber manejar bien la técnica de la entrevista.

·Entrevista grupal: se trata de un método para percibir la opinión, posicionamiento, información, etc. de una comunidad a partir de la selección aleatoria o con variables controladas de un grupo reducido de personas. A medio camino entre la entrevista, por su dinámica, y la encuesta, por su mecánica en el muestreo, es un método cuantitativo consistente en extraer la información de un grupo que representa a la comunidad. Requiere de un muy buen manejo técnico del método.

  • Ventajas: utilidad del método para la obtención de información, sobre todo de tipo cualitativo, que otros métodos no
  • Inconvenientes: dificultad del manejo del método, coste si lo realiza un profesional y poca objetividad y cuantificación en la información

·Observación: se trata de un método simple de llevar a cabo pero complejo de analizar si no se sabe cómo hacerlo. Depende mucho de la capacidad de percepción y del punto de vista del observador. Suele utilizarse como complemento de todos los métodos anteriores. Ayuda a entender situaciones que sólo con la observación directa pueden ser comprensibles.

  • Ventajas: su sencillez en la aplicación, su alto valor informativo y su bajo
  • Inconvenientes: la complejidad de analizar lo observado, la difícil generalización y cuantificación de cuanto se observa y la posibilidad que requiera mucho tiempo.

16.Fases de la evaluación

La evaluación, tanto la de resultados como la de proceso y otras, tiene un recorrido temporal en etapas que se deben desarrollar en toda su extensión. Estas son:

  1. Fase del diseño: es el momento en que se decide la idoneidad y el tipo de evaluación: su metodología, los instrumentos (indicadores y otros), la temporalización, los agentes que la llevarán a cabo,
  2. Fase descriptiva: consta de la recogida, ordenación y sistematización de información sobre los aspectos previstos pero también sobre los imprevistos. Se hace mediante técnicas e instrumentos diseñados en la fase
  3. Fase comparativa o valorativa: es el análisis y comparación de los datos obtenidos en la fase descriptiva, y se hace contrastándolos con los valores expresados en el diseño del proyecto. Se busca saber hasta qué punto se han conseguido los resultados esperados o deseados pre-­‐establecidos en los objetivos y otros aspectos a
  4. Fase de proceso: una vez conocidos y valorados los resultados obtenidos en el proyecto, se trata de hacer un estudio de las causas estos resultados y cambios observados, tanto si se trata de fracasos (objetivos no alcanzados o proceso fallido) como de éxitos (objetivos o proceso positivo). Nos preguntamos el porqué de estos
  5. Fase de difusión: si el caso lo requiere, suele ser conveniente comunicar al equipo, a instancias superiores, a otros agentes o interlocutores o a la opinión pública los resultados de la evaluación. Puede ir desde un informe técnico interno hasta una memoria a publicar y publicitar.
  6. Fase de la toma de decisiones: si es necesario, sobretodo en el caso de proyectos que están en activo o ediciones que se suceden en el tiempo, los resultados de la evaluación toman todo su sentido si sirven para efectuar algún cambio en la orientación general del proyecto o en su mecánica

17.Método de trabajo y ejemplos finales

A modo de recopilación y ejemplos, se presentan tres casos de complejidad diferente que comparten un recorrido común:

  1. La evaluación de resultados siempre parte de los objetivos definidos en su momento y la evaluación de proceso siempre parte del diseño de la producción en el esquema general del proyecto (ver esquema en apartado 8 de este documento).
  2. En el diseño de objetivos o de la producción, se definieron unos valores deseables a las distintas variables con las que se trabaja. En el caso de los objetivos, se les llama resultados y suelen ser numéricos. En el caso de la producción o proceso son estándares compartidos que ilustran el buen funcionamiento de todos sus aspectos.
  3. A continuación se define un método de trabajo y unos instrumentos que permitirán conocer la nueva realidad fruto de nuestra intervención. Para ello se utilizan múltiples herramientas de captación de la información: recopilación documental, observación, registros, encuestas, cuestionarios, entrevistas, reuniones, grupos de discusión, redacción de informes, etc.
  4. Una vez obtenidos los valores de cada variable (de resultados o de proceso), se contrastan con el valor deseado y/o con estándares Se obtiene así una ratio entre el resultado deseado y el obtenido.
  5. Paralelamente se hace una ponderación o importancia relativa de cada indicador en relación a los otros indicadores. Habrá unos más determinantes y otros

Ejemplo 1 (Indicador cuantitativo)

Se trata de los casos más simples: objetivos cuantitativos, fáciles de medir con un solo indicador y de valorar.

  1. Objetivo: lograr un incremento del 10% de público en el festival de teatro en relación al año pasado (fueron 1.000 personas: lo sabemos por el diagnóstico que hicimos de nuestro proyecto).
  2. Método general: comparación entre el antes (resultado del año pasado) y el después (edición de este año).
  3. Indicador: número de espectadores de este año en relación a los del año pasado.
  4. Valor deseado del indicador: 100 personas (como mínimo).
  5. Instrumento: contabilización de la venta de entradas e
  6. Valor obtenido: 200 personas.
  7. Ratio: 200 en relación a 1.000 representa un incremento del 20%. Hemos logrado y superado el objetivo.

Ejemplo 2 (Indicador cualitativo):

Se trata de los casos en los que se necesita una evaluación cualitativa, imposible de medir numéricamente.

  1. Objetivo: incrementar la calidad de las obras expuestas en la muestra de artistas visuales, en relación a lo expuesto el año pasado.
  2. Método general: consulta de personas expertas del sector de las artes visuales para sondear su opinión. Son personas que visitaron la exposición del año pasado y emitieron su opinión, algo desfavorable sobre la calidad de la obra
  3. Indicador: apreciación de mejora de la calidad en el
  4. Valor deseado del indicador: opinión favorable sobre la muestra de arte, considerándola mejor que la del año pasado, en cuanto a la calidad de las
  5. Instrumentos: entrevistas con expertos, opinión de los medios de comunicación, posicionamiento de las entidades artísticas, opinión expresada por el público en unas encuestas, etc.
  6. Valor obtenido: opiniones, críticas, manifiestos
  7. Ratio/resultado: opinión generalizada positiva, este año la calidad de la obra artística es mejor que la del año anterior: Hemos logrado nuestro

Ejemplo 3 (Objetivo complejo – indicadores complementarios)

Se trata de un objetivo complejo, no medible con un solo indicador.

  1. Objetivo: conseguir la participación de las entidades culturales en la organización de las fiestas del
  2. Método general: combinación complementaria de diferentes indicadores medibles durante y al final del
  3. Indicadores: no existe un único indicador que mida por el mismo el concepto de participación, pero una suma combinada de indicadores puede orientar hacia la detección del éxito o del fracaso del
  4. Valor deseado: se aplicarán diferentes valores según sea el indicador. En todos los casos el valor deseado y obtenido tiene que comportar una medida de éxito del objetivo. Se pueden comparar los valores con los de años anteriores del mismo proyecto o con valores de otras realidades.
  5. Instrumentos: múltiples instrumentos para medir el valor de cada
  6. Valores obtenidos: serán los de cada indicador una vez medidos con los instrumentos con los que nos hemos dotado.
  7. Ratio/resultado: valores obtenidos iguales o superiores en comparación con lo que se esperaba o En general hemos logrado nuestro objetivo.

Bibliografía

BOULMETIS, John; DUTWIN, Phyllis. The ABCs of Evaluation: timeless
techniques for program and project managers. San Francisco: Jossey‐Bass, c2000. 207
p. ISBN 0787944327.

COHEN, Ernesto; FRANCO, Rolando. Evaluación de proyectos sociales. 5ª ed.
México: Siglo Veintiuno Editores, 2000. ISBN 968-23-1768-1.

GASCÓ HERNÁNDEZ, Milagros. L’avaluació de polítiques públiques culturals:
estudi empíric a l’Administració local [en línea]. Barcelona: Escola d’Administració
Pública de Catalunya, 2003. 460 p. ISBN 84-393-6099-1. Disponible en:
https://eapc.gencat.cat/web/.content/home/publicacions/col_leccio_estudis/21._l_aval
uaci__de_pol_tiques_p_bliques_culturals__estudi_emp_ric_a_l_administra/avaluaci
o.pdf

ROSELLÓ i CEREZUELA, David. Diseño y evaluación de proyectos culturales. 6ª
ed. Barcelona: Ariel, 2011. 240 p. ISBN 978-84-344-6721-7.