Categoría: Investigación

Las sociedades actuales exigen, cada vez con más fuerza, respuestas de los gobiernos ante los problemas sociales y las nuevas necesidades que surgen en entornos muy complejos. Esto supone uno de los mayores retos a los que se enfrentan hoy en día los responsables públicos, teniendo en cuenta que la transparencia y la responsabilidad deben convertirse en el eje básico de toda acción política y que la austeridad y la eficiencia son la base de una buena gestión y una obligación en un contexto de crisis económica como el actual.

Los síntomas de esos problemas sociales a los que se ha hecho referencia, son el punto de partida de la toma de conciencia sobre la necesidad de una política pública como respuesta del sistema político-administrativo a una situación de la realidad social que es juzgada como políticamente inaceptable. Es decir, tal y como establecen Subirats et al. (2012), toda política pública apunta a la resolución de un problema público reconocido como tal en la agenda gubernamental. Pero no todos los problemas sociales generan respuestas gubernamentales en forma de políticas públicas, aunque la falta de respuesta o inacción también podría considerarse como una política pública teniendo en cuenta que para Dye (2013) “una política pública es lo que los gobiernos deciden hacer o no hacer”.

De cualquier forma, como se apuntaba, ciertos problemas no generan necesariamente políticas públicas, sobre todo porque no están articulados debido a la falta de visibilidad de sus consecuencias, por la falta de voz o representación política de los afectados o porque sus efectos serán observables únicamente a largo plazo. También existe la posibilidad de que las alternativas de intervención pública no sean viables o no gocen del consenso necesario. Por otra parte, ciertas políticas públicas pueden interpretarse no como una acción colectiva para tratar de resolver un problema social, sino como un instrumento para el ejercicio del poder. Por tanto, como afirma Subirats et al (2012) se debe situar al Estado “en un punto intermedio entre la visión del Estado-ventanilla neutro y atento a todas las reivindicaciones sociales, y la del Estado cautivo y manipulado por un grupo organizado”. En definitiva, se podría decir que el volumen total de problemas que preocupan a la sociedad es más amplio que el de problemas que reciben atención por parte de las administraciones públicas. No todos los problemas detectados tienen la misma prioridad para los decisores públicos y sólo algunos de ellos tienen la entidad suficiente para convertirse en problemas públicos y pasar por tanto a formar parte de la agenda política (Tamayo Sáez 1997). Se convierten los problemas, de esta forma, en construcciones políticas cuya conceptualización dependerá de la percepción e intereses de los diferentes actores que participen en el proceso de definición de los mismos.

Establecido el momento en que un proceso de cambio o inestabilidad social se convierte en un problema ante el que debe responder el sistema político-administrativo, se puede definir la política pública, siguiendo a Subirtas et al. (2012) como

“una serie de decisiones o de acciones, intencionalmente coherentes, tomadas por diferentes actores, públicos y a veces no públicos[1] (cuyos recursos, nexos institucionales e intereses varían) a fin de resolver de manera puntual un problema políticamente definido como colectivo. Este conjunto de decisiones y acciones da lugar a actos formales, con un grado de obligatoriedad variable, tendentes a modificar la conducta de grupos sociales que, se supone, originaron el problema colectivo a resolver (grupos-objetivo), en el interés de grupos sociales que padecen los efectos negativos del problema en cuestión (beneficiarios finales)”.

Desde esta perspectiva de las políticas públicas como el conjunto de decisiones y acciones que lleva a cabo un gobierno para solucionar unos determinados problemas, puede entenderse que existe un proceso que se inicia cuando un gobierno o un directivo público detecta la existencia de un problema que, por su importancia, merece su atención y termina con la evaluación de los resultados que han tenido las acciones emprendidas para eliminar, mitigar o variar ese problema (Tamayo Sáez 1997). Los diferentes autores definen varias etapas dentro del proceso o ciclo de las políticas públicas, que se pueden concretar en cuatro etapas básicas dentro de las cuales, en algún caso, se podría hablar de fases internas. En la Figura 1 se muestra el ciclo de políticas pública definido tras revisar diferentes propuestas, cuyas etapas se comentan a continuación.

Figura 1: El ciclo de las políticas públicas. Fuente: Elaboración propia.

• Etapa de definición del problema, que a su vez estaría dividida en la fase de surgimiento e identificación del problema y la fase de incorporación del problema a la agenda política. En la fase de surgimiento, una determinada situación produce una serie de efectos tales como una necesidad, colectiva, una carencia o una insatisfacción que se puede identificar o bien directamente o a través de ciertos elementos que la hacen visible. Una vez identificado el problema, la incorporación del mismo a la agenda política, dependerá del tratamiento político que se le dé, en función de la percepción que los decisores públicos tengan del mismo por su mayor o menor presencia en los media, el conocimiento científico que se tenga del mismo, la difusión de informaciones, el lobbying, la visibilidad de los afectados, etc… (Subirats et al. 2012)
• Etapa de diseño de la política pública, dividida del mismo modo que la anterior en dos fases:
  • Fase de formulación de alternativas. Una vez definido el problema, deben plantearse una serie de objetivos y metas relevantes a alcanzar, a partir de los cuales iniciar la búsqueda de alternativas (instrumentos y procesos), que debe pasar por examinar todas las soluciones posibles para el logro de las metas planteadas y analizar las consecuencias para cada alternativa de política con su probabilidad de ocurrencia.
  • Fase de decisión de la alternativa más adecuada. Con las diferentes alternativas planteadas, el siguiente paso sería compararlas teniendo siempre presentes los objetivos y metas previamente definidas y elegir la solución cuyos resultados proporcionan un mayor alcance de los mismos, mayores beneficios con costos iguales o menores costos con beneficios iguales[2].
• Etapa de implementación de la política pública. En esta etapa se ponen en marcha y se ejecutan las alternativas o soluciones seleccionadas en la etapa anterior. Se lleva a cabo la secuencia programada de acciones[3] definidas en busca de los objetivos planteados. Generalmente se identifican dos modelos de implementación:
  • Implementación como un proceso de abajo‐arriba (bottom‐up): El énfasis se desplaza hacia el punto de prestación del servicio: lo que ocurre cuando la entidad encargada de prestar un determinado servicio es determinante para el éxito o el fracaso de la política pública.
  • Implementación como un proceso de arriba‐abajo (top‐down): Consiste en que una vez adoptada la decisión, ésta es ejecutada por las unidades administrativas correspondientes.
• Etapa de evaluación de la política pública. La evaluación se constituye como parte fundamental del ciclo de las políticas públicas pues funciona como retroalimentación del proceso ya que la intervención pública no concluye con la evaluación de sus resultados, sino que ésta puede dar lugar a una nueva definición del problema que originó el ciclo. En definitiva, la evaluación pretende determinar los resultados y los efectos de una intervención pública.

El ciclo o proceso de las políticas públicas establece, en definitiva, el camino de la acción pública y si se tiene en cuenta que Mény y Thoenig (1992) definen el análisis de políticas públicas como el estudio de la acción de los poderes públicos en el seno de la sociedad, se deduce que la evaluación, que forma parte del ciclo, está incluida dentro del campo de estudio del análisis de políticas públicas. Esta idea es compartida por una gran parte de los autores que se han especializado en el tema, en gran medida por el carácter multidisciplinar del análisis de políticas públicas. Wildavsky (1980) por ejemplo, afirma:

“El análisis de políticas públicas es un campo aplicado cuyos contenidos no pueden precisarse a través de lo que serían los limites propios de las disciplinas científicas, sino que será la naturaleza del problema planteado la que determinará los instrumentos que será necesario utilizar”.

Sin embargo, aunque la evaluación es una disciplina intrínsecamente unida al análisis de las políticas públicas, hasta el punto que forma parte de su corpus doctrinal (Ruiz Martínez 2012), en los últimos tiempos, la evaluación ha ido ganando relevancia como área de estudio particular, cuyo objeto de conocimiento es la acción pública, entendida ésta como el conjunto de decisiones, el proceso por el que se adoptan y su materialización. De hecho, Subirats et al. (2012) distinguen tres grandes corrientes del análisis de políticas públicas que persiguen finalidades diferentes sin ser por ello mutuamente excluyentes. La primera corriente de pensamiento relaciona el análisis de políticas públicas y la Teoría del Estado; la segunda se centra en el funcionamiento de la acción de los poderes públicos; la tercera y de más reciente desarrollo, se centra en explicar los resultados de la acción pública y sus efectos en la sociedad basándose en los objetivos que persigue y/o a sus efectos indirectos o no previstos, situándose claramente en la perspectiva de la evaluación.

[1] En el desarrollo de una política pública interviene una variedad de actores, gubernamentales y no gubernamentales. Los actores gubernamentales pueden pertenecer a uno o varios niveles de gobierno y administración: local, regional, estatal o europeo. Los actores no gubernamentales (como sindicatos, iglesias, asociaciones, organizaciones no gubernamentales, etc.) también pueden operar en distintos ámbitos: local, regional, estatal, europeo o internacional.

[2] Respecto del proceso de toma de decisiones que tiene lugar en esta etapa del ciclo de las políticas públicas, es importante considerar los diferentes enfoques existentes. Tradicionalmente se considera siempre un modelo racional tradicional de toma de decisiones pero el propio Simon (1957, citado por Tamayo Sáez 1997) concluyó que la aplicación del modelo racional puro de adopción de decisiones es impracticable en la realidad debido a la presencia de una serie de limitaciones que merman las capacidades del decisor. Lindblom (1959, citado por Parrado Díez 2007) propuso una interpretación distinta a la del modelo racional sobre cómo es el cambio y cuánto cambian las organizaciones. Su propuesta inició la escuela del incrementalismo. La base del incrementalismo se encuentra no en las metas ideales de la organización sino en las políticas presentes de la organización. A partir de ellas, los responsables públicos adoptan decisiones que suponen cambios incrementales o marginales. Como consecuencia, sólo se revisan unas cuantas alternativas y consecuencias, dado que las políticas actuales condicionan las soluciones incrementales susceptibles de ser practicadas.

[3] Respecto del proceso o ciclo de las políticas públicas, es interesante hacer un comentario a tener en cuenta. Se ha comentado que en la etapa de diseño de la política pública se plantean una serie de alternativas compuestas de instrumentos y procesos, es decir, se define el conjunto de acciones que se implementarán en la siguiente etapa. Es obvio por tanto, que toda política debe ser instrumentalizada para poder ser ejecutada. Esto significa, que una política pública podrá estar a su vez integrada por planes o programas (dependiendo del alcance de la misma) y que dentro de esos planes o programas se definirán una serie de proyectos o de actuaciones públicas. En muchas ocasiones, es complicado delimitar la frontera entre grandes programas públicos y políticas, pero teniendo en cuenta que la evaluación, desde su origen, y particularmente en el mundo anglosajón, ha estado ligada a programas (Merino Cuesta 2010), aquellas referencias que se hacen a evaluación de programas se pueden entender como sinónimo de evaluación de políticas aunque en realidad existan ciertos matices diferenciadores.

AEA365 | A Tip-a-Day by and for Evaluators, es el blog de la American Evaluation Association y en el se recogen todo tipo de recursos, informaciones, consejos, etc. para profesionales del ámbito de la evaluación, disponibles en la red. En este sentido, el objetivo del blog es publicar una entrada diaria (de ahí su nombre) y para ello las personas encargadas del mantenimiento del mismo (Sheila B. Robinson, Liz Zadnik, Sara Vaca y Jayne Corso) preparan semanas temáticas, como por ejemplo, la «Bloggers week» en la que dan cabida a otros blogs en los que se habla también de evaluación. En este sentido, la entrada de hoy 21 de junio habla de un servidor y del presente blog, «Comprehensive evaluation/Evaluación integral».

Es, sin duda, un orgullo que el blog de la más importante de las asociaciones de evaluación del mundo se haya fijado en este humilde y recién creado portal para incluirlo en su «Bloggers week», además dentro ya, del Año Internacional de la Evaluación. Se trata de un importante estímulo para seguir trabajando en el impulso de la evaluación de políticas públicas y una prueba más de la importancia que esta herramienta tiene en ciertos países como EE.UU., de donde, al menos en este aspecto, deberíamos tomar ejemplo.

La historia de la evaluación de políticas públicas es relativamente reciente, ya que se puede hablar de un campo que se ha desarrollado en las últimas décadas, a pesar de que existen referencias sobre algunos trabajos de evaluación de la primera mitad del siglo XX. Concretamente, después de la Segunda Guerra mundial, la práctica de la evaluación de programas y políticas públicas se extiende al conjunto del mundo anglosajón y a la Europa del Norte, mientras que su desarrollo en los países latinos es más tardío. Tradicionalmente se individualizan tres grandes oleadas de difusión de la evaluación en las que se desarrollaron diferentes aspectos sobre la evaluación, algunos bastante opuestos, pero otros complementarios. Por otra parte, Derlien (2001) defiende la tesis de que desde los años 60 a los 90, el énfasis político sobre la evaluación ha pasado desde la función de información a la de reasignación. Se describen brevemente, a continuación, cada una de estas etapas de desarrollo.

Primer periodo: “Optimismo frente a los programas y optimismo frente a la evaluación” (1960-1970)

A partir de los años 60 empieza a hablarse en EE.UU., y un poco más tarde en Canadá, de la práctica de la evaluación, como una disciplina consolidada y actividad científica, surgida como respuesta a la preocupación por determinar los efectos de los programas de la Great Society[1], impulsados por el Presidente Johnson. Este primer movimiento de evaluación estuvo muy unido al proceso de planificación y programación y, por tanto, al papel de los administradores de los programas (Derlien 2001). El momento coincidió con un gran desarrollo de las ciencias sociales, lo que llevó a considerar las ventajas de medir los resultados de las políticas de reforma con métodos experimentales. Empezaba a emerger, aunque con menor intensidad, también en Europa, y fundamentalmente en aquellos países[2] donde existe un desarrollo importante de la política de bienestar social (Suecia o Alemania) o en conexión con los programas de ayuda internacional de la Organización de las Naciones Unidas (ONU) y varias de sus agencias (Instituto Navarro de Administración Pública 2011).

En este período, detractores y defensores de las políticas sociales se mostraron partidarios de la evaluación para obtener información sobre mejores resultados y costes. La función de información predominó durante la fase de despegue del movimiento de evaluación en los años 60 (Derlien 2001). Los defensores veían en la evaluación la posibilidad de legitimar y justificar el incremento del gasto público y los detractores buscaban argumentos en los que fundamentar su crítica, con el propósito de posponer su generalización o reclamar su eliminación. Durante este período, existen dos figuras relevantes (AEVAL 2010):

• La primera es la de Donald Campbell, psicólogo y sociólogo que mantenía que los programas políticos debían ser considerados como experimentos y que los políticos debían mantener una actitud experimental y desapegarse de los proyectos, una vez aplicados. De esta forma, buscaba que el experimentalismo académico ofreciera las respuestas sobre sus éxitos o fracasos. Bajo el enfoque de Campbell, evaluar es medir científicamente la eficacia de las intervenciones públicas observando la evolución de las variables de impacto a través de dos muestras estadísticamente comparables de beneficiarios y no beneficiarios. La experimentación fue favorecida por el sistema federal norteamericano, que permitió aplicar los programas en algunos Estados, controlando los resultados antes de su implementación a escala general. Este hecho condujo a un proceso de institucionalización de la evaluación con la creación de unidades de evaluación y la aprobación de normativa para regular la evaluación de las acciones públicas.
• Michael Scriven es la segunda figura importante de este período, para el que la lógica de la evaluación es completamente inversa a la que aplicaba el experimentalismo. Scriven no trata de ver si un programa se ha desarrollado como debía o si los objetivos se han alcanzado, sino de descubrir si el programa en sí es bueno o no. De esta forma, se empieza a pensar en términos de calidad y se busca atribuir un valor a los programas, intentando, a la vez, que sean los implicados los que aporten su idea de valor sobre las intervenciones.

Segundo Período: “Pesimismo respecto a los Programas y desencanto respecto a la evaluación (1970-1980)”

A finales de los años 70 e inicios de los 80, la evaluación es sistemática y generalizadamente aplicada en una gran mayoría de los países desarrollados. En este segundo período, la evaluación se ocupa principalmente de cuestiones de output y, en menor medida, del impacto. Es el caso del Reino Unido durante el mandato de Margaret Thatcher, de los Países Bajos o de Noruega. La mala situación económica fruto de la crisis del petróleo y la crítica situación fiscal promovió que la evaluación se hiciera por vía del proceso presupuestario. Por consiguiente, la perspectiva y la función de evaluación cambiaron ligeramente, puesto que en lugar de implementar programas, el énfasis se ponía más bien en la reducción de los programas ineficaces para, de esta forma, recortar el presupuesto nacional. (Derlien 2001).

EE.UU. sigue siendo el país con un mayor nivel de institucionalización. Es allí donde la función de evaluación se encuentra ya normalizada e integrada en el sistema político administrativo a través de unidades u organismos especializados, en el nivel ejecutivo, pues se cuenta con estructuras de evaluación en los departamentos y agencias públicas, pero sobre todo en el nivel legislativo con organismos fundamentales para el desarrollo de la evaluación, no solo a nivel de los EE.UU. sino también a nivel global: la General Accounting Office[3], el Congressional Research Service, la Congressional Budget Office y la Office of Technological Assessment (Instituto Navarro de Administración Pública 2011).

En esta etapa, la institucionalización de la evaluación es progresiva y empieza a considerarse limitada la creciente intervención pública experimentalista del período anterior. El pesimismo del título del epígrafe, se refiere a la sensación fruto de apreciar que los programas iniciados en el anterior período no han conseguido los logros que perseguían. Por ejemplo, no se consigue erradicar el desempleo en el breve espacio de tiempo que se esperaba; la rehabilitación de los guetos no es tan simple como se creía; y resolver el fracaso escolar es una tarea complicada. Ante este panorama, se concluye que hay efectos asociados a los programas y políticas que no se controlan, y así, comienza a considerarse la idea de los efectos perversos de las políticas públicas. Durante este periodo los evaluadores mantienen dos posiciones distintas (AEVAL 2010):

• La primera de ellas es la que orienta la investigación de Rossi y Freeman[4], que mantiene que el diseño de los programas o políticas es el que dificulta la evaluación de los mismos, pues se plantean unos objetivos demasiado difusos o genéricos. En este sentido, se detecta en ocasiones, una cierta incoherencia entre necesidades apreciadas, objetivos planteados y medidas adoptadas, de forma que la emisión de un juicio de valor válido resulta muy complicada, haciéndose necesaria una reformulación de las intervenciones para facilitar su evaluabilidad.
• La segunda posición, es la defendida por los llamados “naturalistas” que sostienen la necesidad de estudiar un programa en la realidad donde se desarrolla, sin buscar la generalización. Esta postura incide en el hecho de que el evaluador debería tratar de ver qué sucede en los programas, ayudar a las personas implicadas y responsables a expresar su juicio sobre la intervención, evaluar y negociar con las diversas partes interesadas dinamizando el proceso y no mantenerse al margen, externos al sistema, sin ensuciarse las manos.

La función de evaluación predominante en los años 80 durante la segunda etapa de institucionalizaciones estaba destinada claramente a ayudar a realizar una asignación racional del presupuesto. Ahora, los actores principales no son ya los administradores de los programas, sino las oficinas auditoras, los Ministerios de Hacienda y las unidades centrales, a quienes les compete la elaboración global del presupuesto y su estructura interna (Derlien 2001).

Tercer Periodo: “Institucionalismo, pluralismo y evaluación”

El final de los años 80 e inicio de los 90, con las presidencias de Reagan y Bush, es un período en EE.UU., que en cuanto a evaluación se refiere, se caracteriza por el fortalecimiento del proceso de institucionalización de la evaluación al crearse un instituto específico para la evaluación dentro de la General Accounting Office que posteriormente, se reorganiza en la División de Evaluación de Programas y Metodologías. A pesar de ello, el problema de los efectos perversos de los programas se agudiza, concluyéndose que los resultados no son los esperados, con lo que los parlamentarios empiezan a solicitar evaluaciones sobre los aspectos negativos para decidir sobre los recortes de gastos. Se constata la complejidad de los programas, al estar compuestos por diversas partes cuyos resultados pueden ser muy desiguales, por lo que se busca analizar el mérito de las acciones singulares para entender, en cada caso, qué es lo necesario (AEVAL 2010).

Por otra parte, en los 90 se inicia en Europa una oleada de evaluaciones motivada, fundamentalmente, por la obligación reglamentaria de realizar evaluación de los programas cofinanciados con Fondos Estructurales, fruto evidentemente de la preocupación de los países más desarrollados, que transfieren rentas a los menos desarrollados, por conocer los resultados que se consiguen con la aplicación de los Fondos de Ayuda[5]. Esta obligación supuso un impulso determinante para la implantación de la evaluación en los países miembros, donde comienzan a aparecer evaluaciones de programas de ámbito regional y local, razón por la que la evaluación ha estado, y sigue estando en la actualidad, fuertemente vinculada a proyectos europeos (Instituto Navarro de Administración Pública 2011).

[1] Precisamente en enero de 2014 se conmemoraron en EE UU los 50 años de la política contra la pobreza del presidente Lyndon B. Johnson, que fue creador del seguro de salud para los ancianos (Medicare) y para los pobres (Medicaid), de las ayudas federales para la educación y de una política de la vivienda de bajo coste. Johnson defendió la construcción de una gran sociedad (The Grat Society) en una nación donde la igualdad de oportunidades y una alta calidad de vida fueran el patrimonio de todos (Estefanía 2014).

[2] Según Derlien (2001) el primer grupo de países que impulsó la evaluación de políticas durante los años 60 eran “países con una situación económica próspera y con presupuestos en crecimiento que permitían a los gobiernos embarcarse en costosos programas de intervención social, incluyendo educación y salud. En este contexto surgieron sistemas formales de planificación que, o estaban limitados a una planificación económica a medio plazo (República Federal Alemana) o, intentaban integrar el presupuesto con la programación (EE.UU., Suecia y Canadá)”.

[3] La General Accouting Office cambió posteriormente su nombre por el de Government Accountability Office, lo que significó un cambio también en el enfoque de su actuación. En otras entradas se hablará sobre este organismo.

[4] El manual de estos autores “Evaluation: A Systematic Approach”, representó por muchos años el texto fundamental para ayudar a los políticos a reformular los programas y a evaluar sus diversas fases.

[5] Se trata de algo similar a lo que ocurre en el seno de las organizaciones internacionales de fomento del desarrollo, tal y como se comprobará en siguientes entradas.