10. ¿Cuándo se realiza la evaluación?

La evaluación de un proyecto se hace a lo largo de todas sus fases:

• Diseño/planificación (antes de llevarlo a cabo)
• Ejecución (durante su desarrollo)
• Posterior (al terminar el proyecto).

Para ello se utiliza dos visiones complementarias:

“Película”: es la evaluación constante a lo largo del proyecto. Se trata de una evaluación continua y poco profunda. Sirve para detectar disfunciones en tiempo presente, para hacer un seguimiento en el que lo que importa es el resultado global. Por su inmediatez y rapidez se obtienen resultados poco detallados pero actuales. Se materializa en las reuniones regulares y rápidas en las que el equipo hace un repaso general del proyecto. Se evalúa, sobretodo, el proceso de producción y los pequeños resultados inmediatos. Y permite tomas decisiones en el momento para reconducir la marcha del proyecto. Se basa en percepciones pero también en valores de los indicadores que ya podemos medir.

“Foto”: es la evaluación que se hace periódicamente en diferentes momentos puntuales del proyecto y, sobre todo, a su fin. Se trata de una evaluación más en profundidad y en un momento fijado que ya es pasado. Sirve para detectar aciertos y errores para reorientar, si cabe, el proyecto o pensar ya en la próxima edición. Lo que importa es el estado concreto del proyecto en un momento dado. Se obtienen los resultados con detalle y profundidad pero desfasados, el proyecto sigue su curso o se ha terminado. Se materializa en los informes o reuniones específicas de balance de la situación del proyecto, con instrumentos y datos precisos. Se evalúa la globalidad del proyecto, en todas sus fases.

Los dos puntos de vista evaluativos se complementan aportando lo mejor de cada uno y lo que no proporciona el otro. Cuanto más largo en el tiempo es un proyecto, más justificado está el uso de ambos sistemas.

Tanto en un caso como en otro tiene que preverse la evaluación dentro el calendario de trabajo del equipo gestor. De no hacerse así al principio, una vez entrados en la acción, es más difícil pensar en ella. En algunos casos hay que prever el coste de la fase evaluativa en el presupuesto (expertos externos, encargo de informes, etc.).

11. ¿Quién realiza la evaluación?

Aquí igualmente hay dos posibilidades que también pueden complementarse entre ellas:

La evaluación interna

Es la que realiza el propio equipo “desde dentro” del proyecto. La lleva a cabo la misma gente que ha diseñado y gestiona el proyecto con la ventaja que lo conoce bien pero con el inconveniente que es más difícil ser objetivo, sobre todo si uno se implica a fondo.

De manera general, es preferible que todo el equipo se implique en la evaluación para que sea entendida como una responsabilidad del equipo sobre el trabajo de toda/os. Así, además, cada cual podrá y deberá asumir su parte en los éxitos y los fracasos.

La evaluación externa

Es la que realiza un agente externo al equipo y se hace “desde fuera” del proyecto. Si es una persona sin relación jerárquica se asimila más a un apoyo o un asesoramiento. Si es alguien con relación jerárquica superior se asemeja más a un control. Tiene la ventaja de ser más objetiva por tener un punto de vista menos comprometido con el proyecto y los efectos de sus resultados y el inconveniente de desconocer a fondo el proyecto.

12. Métodos generales de evaluación

De manera muy general hay cuatro tipos de evaluación de los cuales en la gestión  cultural trabajaremos básicamente con dos de ellos, aunque los otros dos siempre pueden ayudar en momentos y situaciones concretas. Veamos cuáles son:

Evaluación experimental. Se basa en la comparación de diferentes realidades en las que se ha intervenido de una manera, con una realidad sin tratamiento. Es un método más apropiado para pruebas científicas en las que se puede controlar todas las variables y modificar o aislar sólo una de ellas. En proyectos culturales suele ser poco útil para evaluaciones a corto plazo. Puede servir para observaciones a largo plazo cuando en una determinada realidad se ha venido trabajando con un modelo diferenciado del resto. Es el caso de los proyectos piloto. Obliga a conocer muy bien la influencia de todos los factores contextuales presentes. Ejemplo: se aplica un modelo de gestión a tres equipamientos culturales de la ciudad y a otro no. Al cabo del tiempo se compara el resultado de los tres con el proyecto no intervenido.

·         Evaluación reflexiva (también conocida como ante-­‐post). Se basa en la comparación de una realidad antes y después de la intervención. Es el método más utilizado en las políticas y la gestión cultural puesto que el análisis del contexto se hace dos veces, a poder ser, con los mismos métodos de análisis de la realidad. La primera nos sirve para fijar los objetivos y la segunda para comprobar si los hemos logrado. Este método nos permite seguir la evolución de un proyecto en el tiempo, por ejemplo, año tras año. Ejemplo: tenemos la trayectoria de un festival en los últimos cinco años. Evaluamos su comportamiento en el sexto año a poder ser con los mismos indicadores que antes.

·         Evaluación transversal. Se basa en la comparación con otras realidades en las que se ha intervenido de manera parecida. Es un método utilizado para comparar diferentes proyectos o partes del mismo entre sí. Instintivamente lo hacemos muy a menudo. Se trata de darle una dimensión más estructurada con elementos que se puedan comparar teniendo en cuenta que cada realidad es diferente. Por ello es un sistema en el que todo es siempre relativo. Aun considerando este factor puede dar una señal de disfunción en un proyecto determinado. Ejemplo: evaluamos la gira de un grupo artístico en diferentes ciudades del país. No siempre podremos usar los mismos indicadores porque cada realidad (ciudad, espacio, tiempo, agentes…) es diferente.

·         Evaluación de opinión. Se basa en la opinión de personas expertas sin tener que buscar datos comparativos concretos. Es el menos conciso de todos los métodos pero a menudo es el más fácil, rápido y barato de aplicar. Aun estar siempre presente, este método puede ser un buen complemento de los otros pero no debería ser el único de que disponemos. Sirve para una primera impresión momentánea de cómo va un proyecto o de su resultado final. A veces permite saber aquello que las cifras no dicen. Es casi indispensable en evaluaciones muy cualitativas o subjetivas. La opinión de personas expertas puede ser muy interesante en los proyectos. Ejemplo: queremos evaluar la calidad de  la obra expuesta en una convocatoria de artistas locales.

Ningún método es excluyente. Suele convenir el uso combinado de distintos métodos, se enriquecen y complementan mutuamente.

13. Los indicadores, herramientas para la evaluación

La evaluación requiere de unos instrumentos que llamaremos indicadores que nos ayudan a medir y conocer, tanto a lo largo del proyecto como al finalizar este, la situación detallada del mismo, los resultados obtenidos de acuerdo con los esperados y la aplicación de las fases de la producción o gestión.

No existe una lista universal y cerrada de indicadores válidos para la evaluación de todo proyecto. Si cada proyecto tiene unos objetivos propios, ha de tener unos indicadores de evaluación propios. Cada equipo debe establecer los indicadores de evaluación que le son más propicios para poder medir el éxito de su proyecto. No obstante, algunos de ellos, de resultados y, sobre todo, de proceso (número de asistentes, desviación de presupuesto o impacto en los medios de comunicación, por poner unos ejemplos) suelen estar presentes en muchos proyectos. En muchos casos el equipo debe crear indicadores nuevos que le den información precisa para su proyecto.

El indicador de evaluación nos informa de una situación o de un resultado. Sin contraste con algún valor de referencia es un simple dato que no sirve de mucho. Comparado con un valor conocido (por ejemplo, el del año pasado o el de otro proyecto) nos aporta información sobre su evolución. El equipo debe analizar entonces la razón de los cambios observados. El resultado obtenido por la suma de indicadores sirve entonces para tomar decisiones dado que raramente un solo indicador nos permite evaluar un proyecto sino que la suma de varios indicadores ofrece la posibilidad de medir el logro de todos los objetivos y estos, a su vez, llevarán a confirmar si sí, si no o en qué medida el proyecto (o sea sus objetivos) ha sido exitoso.

Ejemplo:

• El diagnóstico nos indica que el año pasado se vendieron 350 catálogos de media de cada exposición.
• El objetivo actual es «incrementar la cifra promedio de catálogos vendidos en cada exposición hasta los 400 ejemplares».
• El indicador de evaluación será: «Número promedio de catálogos vendidos en cada exposición». Tendrá unas condiciones de aplicación del tipo: en un periodo de tiempo, sin contar los obsequiados, incluyendo las ventas por Internet, no incluye devoluciones y desapariciones, etc.
• El resultado obtenido tendrá un sentido en la medida se acerque a los 400 ejemplares. Se puede contemplar una  horquilla  de  +/-­‐  10%,  entre  los  360  y  440  catálogos,  dentro  la  cual  se  considera logrado el objetivo. Muy por debajo de esta cifra se considerará un fracaso: no se alcanzó el objetivo. Y habrá que buscar las razones de Muy por encima seguro que será visto como un éxito espectacular… pero entonces habrá que hacerse la pregunta: ¿por qué no se supo prever un resultado más grande?

De acuerdo con los contenidos de la evaluación hay indicadores en los diferentes ámbitos, ya vistos anteriormente, en los que esta se organiza. Aquí se presentan sólo algunas posibilidades:

Ámbito del contexto

Miden como es y evoluciona el entorno en el que se inscribe el proyecto. Habrá indicadores que ayudan a conocer el territorio, el sector, las políticas, etc. Permiten hacer un diagnóstico del proyecto (ver apartado de contexto o diagnóstico en el capítulo de Diseño de proyectos culturales).

Ejemplo: número de bibliotecas existentes en el municipio (para un proyecto de fomento de la lectura).

De manera más concreta podemos valorar si supimos:

• Presentar, justificar, argumentar y documentar bien la o las
• Analizar bien el contexto territorial en el que se inscribía el
• Conocer bien a fondo el sector cultural del que trataba el
• Detectar las políticas existentes que podían darle sentido y
• Identificar unos antecedentes o referentes, ya sean propios o ajenos en los que inspirarse o
• Analizar bien a fondo las fortalezas y las debilidades de nuestra organización o equipo de
• Conocer bien a fondo nuestro público destinatario (si lo consideramos elemento de contexto).

Ámbito de los resultados u objetivos

Aquí es imposible generalizar. La definición de indicadores dependerá de los objetivos de cada proyecto. Miden si se han obtenido o no, y en qué medida, los objetivos planteados o resultados deseados.

Ejemplo: número de nuevos carnets de socio registrados en las bibliotecas locales durante el tiempo  de ejecución de un proyecto de fomento de la lectura (admitiendo que incrementar el número de carnets fuera un objetivo).

Ámbito de la definición

Miden hasta qué punto los elementos de la definición del proyecto, otros que objetivos, (destinatarios, contenido, estrategias, acciones y modelo de gestión) fueron bien establecidos y cumplen con su función de contribuir a la obtención de los objetivos. Aquí se presentan algunos usados de manera bastante común, de acuerdo con los diferentes capítulos que configuran la definición del proyecto.

Ejemplo: implicar a las asociaciones del barrio en el proyecto (es una estrategia) ha servido para lograr mejor los objetivos (para un proyecto de fomento de la lectura).Sin ellas hubiera sido imposible alcanzarlos.

De manera general nos preguntaremos:

Indicadores de evaluación sobre la elección de los destinatarios

• ¿Era el grupo elegido el más indicado para alcanzar los objetivos? ¿Lo conocíamos bien?
• ¿Se pudo actuar de manera homogénea sobre el grupo? Si no, ¿en qué aspecto el grupo era demasiado heterogéneo (edad, procedencia, nivel, interés, )?
• ¿Cómo reaccionaron los destinatarios a nuestras propuestas? ¿Quién y en qué mejor o peor?
• ¿Ha habido concordancia entre destinatarios y objetivos?
• ¿La interacción entre los grupos (si tenía que haber) ha funcionado?
• ¿Se hubiera podido actuar también sobre otro grupo?
• ¿Qué otro grupo de destinatarios será preferible para otra vez?
• ¿El grupo de destinatarios era el más adecuado a la trayectoria de nuestra organización?
• ¿El grupo de destinatarios era el más adecuado a nuestros recursos?

Indicadores de evaluación del contenido del proyecto

• ¿En qué medida el contenido elegido era el más adecuado para alcanzar los objetivos? Si no, ¿qué otros contenidos permitirían alcanzarlos mejor?
• ¿El contenido ha sido adecuado al grupo de destinatarios?
• ¿El contenido era adecuado a la identidad y trayectoria de nuestra organización?

Indicadores de evaluación de las estrategias o metodología del proyecto

• ¿En qué medida las estrategias eran las más adecuadas para alcanzar los objetivos? Si no, ¿qué otras estrategias permitirían alcanzar mejor los objetivos?
• ¿Las estrategias han sido adecuadas al grupo de destinatarios?
• ¿Las estrategias han sido adecuadas a la identidad de nuestra organización?
• ¿Las estrategias han sido adecuadas a nuestros recursos?

Indicadores de evaluación de las acciones del proyecto

• ¿En qué medida las acciones eran las más adecuadas para alcanzar los objetivos? Si no, ¿qué acciones o tipos de acción permitirían alcanzar mejor los objetivos?
• ¿Las acciones han sido adecuadas al grupo de destinatarios?
• ¿Las acciones han sido adecuadas a la identidad de nuestra organización?
• ¿Las acciones han sido adecuadas a nuestros recursos?

En el capítulo de las acciones/actividades también valoraremos su desarrollo:

• ¿Las acciones se han llevado a cabo de acuerdo con los criterios previstos?
• ¿Hubo que cambiar algún aspecto de las acciones? En caso afirmativo ¿se supo reaccionar correctamente?

Indicadores de evaluación del modelo de gestión de un proyecto

• ¿En qué medida el modelo de gestión era el más adecuado para alcanzar los objetivos? Si no ¿qué otro modelo de gestión permitiría alcanzar mejor los objetivos?
• ¿Cómo ha funcionado/respondido cada uno de los agentes implicados? ¿Se han cumplido las previsiones y acuerdos establecidos?
• ¿El modelo de gestión ha sido adecuado a la identidad de nuestra organización?
• ¿El modelo de gestión ha sido adecuado a nuestros recursos?
• ¿Todos los agentes se han sentido cómodos con su responsabilidad en este modelo de gestión?

Ámbito del proceso

Miden el uso racional de los recursos utilizados para conseguir los objetivos.

Ejemplo: el correcto funcionamiento de los recursos infraestructurales empleados en el proyecto. Se supone que si los medios cumplen su función, el proyecto se desarrolla con mayor eficiencia y, por lo tanto, se alcanzan más fácilmente los objetivos.

Tampoco hay una lista única de indicadores, pero aquí se presentan algunos de los más comunes, ordenados por los capítulos de la producción. En especial nos interesa saber:

Indicadores de evaluación de la planificación de la producción

• ¿Se ha cumplido el cronograma de trabajo? ¿Por qué?
• ¿Las tareas estaban bien definidas?
• ¿Estaban bien temporalizadas y secuenciadas (duración y situación en el tiempo)?
• ¿Las tareas estaban bien adjudicadas a personas y equipos?
• ¿Se hubiera podido hacer de otra manera?
• ¿Se ha tenido que hacer tareas no previstas? ¿Por qué? ¿Se resolvió bien?
• ¿Se hizo un buen seguimiento del cumplimiento del cronograma?
• ¿Se supo dar respuesta a los posibles desvíos del cronograma?
• Propuestas de mejora para futuras ocasiones

Indicadores de evaluación del equipo humano

• ¿El equipo de trabajo estaba bien definido (número de personas, formación, perfiles, funciones, )?
• ¿La coordinación funcionó? ¿En qué mejor y en qué peor?
• ¿La obtención y circulación de la información, la toma de decisiones, la ejecución de los decisiones, etc. fueron las correctas?
• ¿La relación y coordinación con otras instituciones y equipos funcionó?
• ¿Los conflictos o desacuerdos se resolvieron?
• ¿Se hubiera podido hacer de otra manera?
• Propuestas de mejora para futuras ocasiones

Indicadores de evaluación del plan de  comunicación

• ¿La comunicación/difusión permitió el éxito de las actividades? ¿Por tanto, el logro de los objetivos?
• ¿Era adecuada a los destinatarios?
• ¿Era coherente con los principios de la institución?
• ¿Han funcionado el mensaje, los canales, los soportes, los instrumentos, las cantidades, las ubicaciones, el coste…?
• ¿El plan de patrocinio funcionó (si lo hubo)?
• ¿Se hubiera podido hacer otro tipo de comunicación con mejores resultados?
• Propuestas de mejora para futuras ocasiones

Indicadores de evaluación de las infraestructuras y requisitos logísticos y administrativos

• ¿Funcionaron al servicio de la actividad? ¿En qué mejor y en qué peor?
• ¿Se han resuelto correctamente las incidencias?
• Propuestas de mejora para futuras ocasiones

Indicadores de evaluación de la gestión económica y financiera [Este capítulo puede tener autonomía propia como memoria económica]

• ¿Se cumplió el presupuesto: ingresos y gastos previstos? ¿Por qué? ¿Se supo reaccionar a los desvíos presupuestarios detectados?
• ¿La financiación/plan de tesorería funcionó?
• Propuestas de mejora para futuras ocasiones

Ámbito del impacto

Miden los logros a largo plazo. Puede ser que no los mida el mismo equipo sino un cargo superior con más visión de conjunto o perspectiva temporal.

Ejemplo: incremento paulatino, año tras año de los índices de lectura en el municipio. Se mide con encuestas de hábitos culturales y se pueden cruzar los datos con el uso de las bibliotecas, las ventas en librerías, etc.

A su vez diferentes proyectos y sus objetivos pueden requerir de:

• Indicadores cuantitativos: mediciones, registros, Aportan datos precisos que podemos clasificar, tabular, comparar, etc. Son únicos e incontestables, compartidos por todo el mundo.

Ejemplos: número de entradas vendidas en un concierto, de personas que asistieron a un espectáculo de circo en la calle, de documentos consultados en el archivo cultural local, de visitas a una página web, etc.

• Indicadores cualitativos: observaciones, opiniones de expertos, etc. Aportan visiones personales que incluso pueden ser contradictorias entre ellas pero que ayudan a ver aspectos que las cifras no siempre indican.

Ejemplos: crítica de los medios de comunicación sobre un proyecto determinado, opinión de personas expertas acerca de las obras expuestas en una bienal, posicionamiento de las entidades culturales sobre una propuesta cultural, etc.

Como tantas veces, el uso combinado de indicadores cuantitativos y cualitativos ayuda a hacerse una idea mucho más sólida y completa de los resultados.

14. Características de los indicadores

Está muy determinado como deben ser los indicadores de evaluación para que sean realmente útiles al equipo (en particular los cuantitativos). En muchos casos se podrá acudir a los indicadores habituales y en otros habrá que diseñarlos específicamente para el proyecto. Sea como sea, los indicadores tienen que ser:

·         Ligados a los objetivos específicos y a los contenidos del proyecto.

Los indicadores dependen de los objetivos ya sea en relación directa (a cada objetivo le corresponden sus indicadores de evaluación), ya sea en relación de conjunto (al conjunto de objetivos  le corresponde un conjunto de indicadores), según sea el caso.

·         Actualizados.

Los indicadores deberán ser regularmente actualizados en la medida que cambia el contexto, los objetivos, el equipo o los instrumentos y posibilidades de evaluación.

·         Fijados previamente al inicio de la producción del proyecto (los de proceso) o a su realización (los de resultados).

Para ser objetivos y honestos, los indicadores nos tienen que servir para llevar a cabo la evaluación y no al revés: a partir de los resultados observados crear los indicadores a medida que más nos convengan… y que seguro acabarán por definir el éxito de nuestra acción. Esto evita hacerse indicadores o evaluaciones “a medida” (y siempre falsamente exitosas) al terminar el proyecto: siempre acabaremos encontrando una razón para considerar que el proyecto ha ido bien.

·         Objetivos, neutros, no interpretables

Todo el equipo tiene que compartir la misma noción de lo que se quiere medir y de cómo hacerlo, sin interpretaciones posteriores que ayuden simplemente a justificar un objetivo no alcanzado o un aspecto de la producción que ha funcionado mal. Para ello es conveniente debatir los indicadores en el seno del equipo y no darlos por entendidos prematuramente ni generar redactados confusos. La pregunta que nos hacemos es ¿seguro que la medición de estos indicadores nos permite conocer el logro de un objetivo determinado?

·         Medibles de manera sencilla.

El indicador tiene que poder ser comprobado de la manera más fácil posible para que sea útil al equipo. Indicadores muy interesantes y apasionantes pero de difícil medición no sirven de mucho.

·         Accesibles de acuerdo con nuestros recursos.

De la misma manera la medición de algunos indicadores de evaluación es conceptualmente muy sencilla pero extremadamente costosa o compleja con los medios que disponemos, lo que traducido a hechos reales, la hace imposible de ser llevada a cabo.

·         Fiables o confiables

Los indicadores tienen que dar siempre el mismo resultado cuando se midan más de una vez en el mismo contexto y proyecto. Y, en todo caso, cualquier cambio en el indicador debe corresponder a un cambio en la variable que mida.

• Sensibles a las pequeñas variaciones del

En cultura, a menudo se trabaja con pequeños avances en los hábitos de las personas en el conjunto de la población. El indicador tiene que ser capaz de detectar estas posibles variaciones mínimas.

·         Perdurables en el tiempo.

Los indicadores deben poderse comparar en un mismo proyecto en el tiempo para observar su evolución, sobre todo cuando trabajamos a largo plazo.

·         Comparables con los de otros proyectos.

En la medida que sea posible, es conveniente que los indicadores tengan un carácter universal que permita comparar un proyecto con otro (con toda la cautela necesaria debido a las diferentes realidades del contexto).

·         Comprobables por terceros.

Para garantizar su objetividad es imprescindible que los indicadores sean, en su obtención y en su registro, comprobables por agentes externos al proyecto que puedan testificar, en un momento dado, de su autenticidad.

Sistema SMART

En inglés existe una versión simplificada de estos criterios aplicados a los objetivos, y por lo tanto a sus indicadores de evaluación, e identificados con el acrónimo SMART:

• Specific: específicos, claros, concretos y
• Measurable: medibles,
• Agreed to: acordados, consensuados,
• Realistic: realistas, posibles,
• Time constrained: limitado o acotado en el

Alguna/os autora/es mencionan la «A» como Achievable o Attainable, o sea, alcanzable, posible.

15.Los instrumentos para obtener la información

A menudo la dificultad de la evaluación no es tanto fijarse un indicador sino encontrar la manera de medirlo y obtener un valor para él. La ciencia social aporta algunos instrumentos que, bien desarrollados, ayudan a obtener información y opinión. Estos son algunos de ellos:

• Registros: censos, estadísticas existentes, actas de reuniones, documentos de trabajo de orden interno, etc.

Se trata de documentos que reflejan datos concretos e informaciones útiles para la evaluación. Puede que sean generados por el propio equipo o por otros agentes (instituciones públicas, fundaciones de estudios, etc.). Nos ayudan a obtener información tanto de tipo cuantitativo como cualitativo. A menudo, estos mismos registros nos ayudaron, en su momento, a establecer el diagnóstico del proyecto.

Ventajas: son fáciles de obtener, suelen contener mucha información y son fiables.

Inconvenientes: son fragmentarios y no siempre hay la información que nos interesa.

• Mediciones: conteo de personas, talonarios de ventas de entradas, ingresos y gastos económicos, Se trata del resultado de métodos que suele aplicar el propio equipo para obtener una información muy precisa de orden cuantitativo. Se pueden definir previamente a la actuación.
  • Ventajas: son muy precisos, miden exactamente lo que nos interesa, permanecen en el tiempo,
  • Inconvenientes: pocos, si no es que precisan de sistemas cualitativos para su mejor comprensión. Suelen exigir tiempo y personal para su recopilación.
• Encuesta: de opinión, de hábitos, Se trata de un buen método para conocer la opinión de las personas en general y de los usuarios de nuestro proyecto en particular. Se realiza mediante sistemas técnicos de muestreo o se aplica a la totalidad de los usuarios si la cifra es manejable. Es importante saber plantear bien la encuesta en términos de temas, de conceptos, de preguntas, de opciones de respuesta, etc. Existe toda  una técnica para plantear una encuesta que conviene manejar con rigor. Se pueden obtener informaciones de tipo cuantitativo y cualitativo.
  • Ventajas: es la mejor manera de obtener información y opiniones de las personas, perdura en el tiempo, es comparable, etc.
  • Inconvenientes: técnica compleja que puede resultar costosa si se deja, recomendable, en manos de No siempre es aplicable a nuestro público, puede comportar reticencias y engaños en las respuestas, etc.

·Entrevista personal: se trata de un método cualitativo de gran valor por la calidad de la información obtenida. Se basa en las opiniones de personas seleccionadas al azar o elegidas por su capacidad de visión sobre el tema tratado. Debe saberse realizar con todo su rigor para no condicionar en las opiniones o desperdiciar informaciones destacadas. Existe toda una técnica para realizar una buena entrevista personal. En algún momento, las entrevistas pueden ser un buen complemento de las encuestas u otros medios cuantitativos.

• Ventajas: se obtiene información o matices sobre datos que otros sistemas no aportan. Es un sistema que aporta opiniones cualificadas, tiene un bajo coste y requiere poco tiempo.
• Inconvenientes: los resultados son poco objetivos, dificultad de generalización y de contraste. Hay que saber manejar bien la técnica de la entrevista.

·Entrevista grupal: se trata de un método para percibir la opinión, posicionamiento, información, etc. de una comunidad a partir de la selección aleatoria o con variables controladas de un grupo reducido de personas. A medio camino entre la entrevista, por su dinámica, y la encuesta, por su mecánica en el muestreo, es un método cuantitativo consistente en extraer la información de un grupo que representa a la comunidad. Requiere de un muy buen manejo técnico del método.

• Ventajas: utilidad del método para la obtención de información, sobre todo de tipo cualitativo, que otros métodos no
• Inconvenientes: dificultad del manejo del método, coste si lo realiza un profesional y poca objetividad y cuantificación en la información

·Observación: se trata de un método simple de llevar a cabo pero complejo de analizar si no se sabe cómo hacerlo. Depende mucho de la capacidad de percepción y del punto de vista del observador. Suele utilizarse como complemento de todos los métodos anteriores. Ayuda a entender situaciones que sólo con la observación directa pueden ser comprensibles.

• Ventajas: su sencillez en la aplicación, su alto valor informativo y su bajo
• Inconvenientes: la complejidad de analizar lo observado, la difícil generalización y cuantificación de cuanto se observa y la posibilidad que requiera mucho tiempo.

16.Fases de la evaluación

La evaluación, tanto la de resultados como la de proceso y otras, tiene un recorrido temporal en etapas que se deben desarrollar en toda su extensión. Estas son:

1. Fase del diseño: es el momento en que se decide la idoneidad y el tipo de evaluación: su metodología, los instrumentos (indicadores y otros), la temporalización, los agentes que la llevarán a cabo,
2. Fase descriptiva: consta de la recogida, ordenación y sistematización de información sobre los aspectos previstos pero también sobre los imprevistos. Se hace mediante técnicas e instrumentos diseñados en la fase
3. Fase comparativa o valorativa: es el análisis y comparación de los datos obtenidos en la fase descriptiva, y se hace contrastándolos con los valores expresados en el diseño del proyecto. Se busca saber hasta qué punto se han conseguido los resultados esperados o deseados pre-­‐establecidos en los objetivos y otros aspectos a
4. Fase de proceso: una vez conocidos y valorados los resultados obtenidos en el proyecto, se trata de hacer un estudio de las causas estos resultados y cambios observados, tanto si se trata de fracasos (objetivos no alcanzados o proceso fallido) como de éxitos (objetivos o proceso positivo). Nos preguntamos el porqué de estos
5. Fase de difusión: si el caso lo requiere, suele ser conveniente comunicar al equipo, a instancias superiores, a otros agentes o interlocutores o a la opinión pública los resultados de la evaluación. Puede ir desde un informe técnico interno hasta una memoria a publicar y publicitar.
6. Fase de la toma de decisiones: si es necesario, sobretodo en el caso de proyectos que están en activo o ediciones que se suceden en el tiempo, los resultados de la evaluación toman todo su sentido si sirven para efectuar algún cambio en la orientación general del proyecto o en su mecánica

17.Método de trabajo y ejemplos finales

A modo de recopilación y ejemplos, se presentan tres casos de complejidad diferente que comparten un recorrido común:

1. La evaluación de resultados siempre parte de los objetivos definidos en su momento y la evaluación de proceso siempre parte del diseño de la producción en el esquema general del proyecto (ver esquema en apartado 8 de este documento).
2. En el diseño de objetivos o de la producción, se definieron unos valores deseables a las distintas variables con las que se trabaja. En el caso de los objetivos, se les llama resultados y suelen ser numéricos. En el caso de la producción o proceso son estándares compartidos que ilustran el buen funcionamiento de todos sus aspectos.
3. A continuación se define un método de trabajo y unos instrumentos que permitirán conocer la nueva realidad fruto de nuestra intervención. Para ello se utilizan múltiples herramientas de captación de la información: recopilación documental, observación, registros, encuestas, cuestionarios, entrevistas, reuniones, grupos de discusión, redacción de informes, etc.
4. Una vez obtenidos los valores de cada variable (de resultados o de proceso), se contrastan con el valor deseado y/o con estándares Se obtiene así una ratio entre el resultado deseado y el obtenido.
5. Paralelamente se hace una ponderación o importancia relativa de cada indicador en relación a los otros indicadores. Habrá unos más determinantes y otros

Ejemplo 1 (Indicador cuantitativo)

Se trata de los casos más simples: objetivos cuantitativos, fáciles de medir con un solo indicador y de valorar.

1. Objetivo: lograr un incremento del 10% de público en el festival de teatro en relación al año pasado (fueron 1.000 personas: lo sabemos por el diagnóstico que hicimos de nuestro proyecto).
2. Método general: comparación entre el antes (resultado del año pasado) y el después (edición de este año).
3. Indicador: número de espectadores de este año en relación a los del año pasado.
4. Valor deseado del indicador: 100 personas (como mínimo).
5. Instrumento: contabilización de la venta de entradas e
6. Valor obtenido: 200 personas.
7. Ratio: 200 en relación a 1.000 representa un incremento del 20%. Hemos logrado y superado el objetivo.

Ejemplo 2 (Indicador cualitativo):

Se trata de los casos en los que se necesita una evaluación cualitativa, imposible de medir numéricamente.

1. Objetivo: incrementar la calidad de las obras expuestas en la muestra de artistas visuales, en relación a lo expuesto el año pasado.
2. Método general: consulta de personas expertas del sector de las artes visuales para sondear su opinión. Son personas que visitaron la exposición del año pasado y emitieron su opinión, algo desfavorable sobre la calidad de la obra
3. Indicador: apreciación de mejora de la calidad en el
4. Valor deseado del indicador: opinión favorable sobre la muestra de arte, considerándola mejor que la del año pasado, en cuanto a la calidad de las
5. Instrumentos: entrevistas con expertos, opinión de los medios de comunicación, posicionamiento de las entidades artísticas, opinión expresada por el público en unas encuestas, etc.
6. Valor obtenido: opiniones, críticas, manifiestos
7. Ratio/resultado: opinión generalizada positiva, este año la calidad de la obra artística es mejor que la del año anterior: Hemos logrado nuestro

Ejemplo 3 (Objetivo complejo – indicadores complementarios)

Se trata de un objetivo complejo, no medible con un solo indicador.

1. Objetivo: conseguir la participación de las entidades culturales en la organización de las fiestas del
2. Método general: combinación complementaria de diferentes indicadores medibles durante y al final del
3. Indicadores: no existe un único indicador que mida por el mismo el concepto de participación, pero una suma combinada de indicadores puede orientar hacia la detección del éxito o del fracaso del
4. Valor deseado: se aplicarán diferentes valores según sea el indicador. En todos los casos el valor deseado y obtenido tiene que comportar una medida de éxito del objetivo. Se pueden comparar los valores con los de años anteriores del mismo proyecto o con valores de otras realidades.
5. Instrumentos: múltiples instrumentos para medir el valor de cada
6. Valores obtenidos: serán los de cada indicador una vez medidos con los instrumentos con los que nos hemos dotado.
7. Ratio/resultado: valores obtenidos iguales o superiores en comparación con lo que se esperaba o En general hemos logrado nuestro objetivo.