Una evaluación multidimensional de los consejos consultivos españoles: evidencias de la búsqueda infructuosa del caso modélico

INTRODUCCIÓN[Subir]

En los últimos años asistimos a un proceso de refortalecimiento de la participación ciudadana en la toma de decisiones públicas. Medidas como los planes de Gobierno Abierto^[1] contemplan la potenciación de «espacios institucionalizados de encuentro y diálogo entre todos los actores públicos y sociales implicados en materia de gobierno abierto» (‍Ministerio de Política Territorial y Función Pública, 2020: 12). Entre ellos encontramos a los consejos consultivos que, surgidos al compás de la Transición, son las instituciones participativas más frecuentes en España (‍Font, 2020).

Esta nota de investigación busca contribuir al conocimiento de estos mecanismos, existentes en diferentes niveles territoriales y en los que la ciudadanía es consultada sobre políticas específicas. Se definen por su existencia formal y el reconocimiento por la Administración pública, su vocación de permanencia y la presencia ciudadana en su composición. Mediante su evaluación responderemos a varios interrogantes: ¿podría afirmarse la existencia de una dinámica según la cual algunos consejos alcanzan mejores resultados que otros? ¿Qué factores pueden determinarlo? Entre los casos evaluados, ¿detectamos alguno similar a lo que podría catalogarse como un consejo ideal? La investigación dará respuesta a si algún caso destaca objetivamente por cumplir la «promesa subyacente» que Navarro (‍2008: 84) atribuye a los canales participativos: tender un «puente democrático» participativo entre administración pública y ciudadanía.

Sin un criterio uniforme, la ciencia política ha afrontado la evaluación de los mecanismos participativos conformando una «caja de herramientas» (‍Rodríguez y Ajangiz, 2007: 185) con indicadores elaborados para diversos fines y realidades. Iniciativas recientes como el proyecto LATINNO, que persigue una «evaluación comparativa» (‍Pogrebinschi y Ross, 2019: 325) entre innovaciones democráticas latinoamericanas, constituyen abordajes sistemáticos de gran escala, útiles para conocer el desempeño de estas instituciones. Nuestra evaluación persiste en el afán comparativo y se inspira en un marco teórico —extendido en este campo— basado en dimensiones o «bienes democráticos» (‍Smith, 2009). Este autor trataba de capturar ventajas y limitaciones de las innovaciones democráticas, sin llegar a medir el funcionamiento de casos concretos. Nuestro trabajo mantendrá constante el diseño institucional básico (consejos) para fijarnos en cómo los detalles organizativos que varían entre ellos desembocan en diferentes funcionamientos y resultados. Utilizaremos diversos indicadores para averiguar en qué medida los consejos cumplen con lo que de ellos espera la teoría democrática, concretada en la aproximación de Smith (íd.). Consideraremos casos exitosos o modélicos aquellos con evaluaciones positivamente destacadas en todas las dimensiones.

Emplearemos una muestra grande, heterogénea y que reúne tres tipos de consejos sectoriales. Cada caso se evaluará mediante un bloque objetivo, según sus diseños institucionales (normativas) más otro subjetivo, basado en una encuesta de satisfacción a sus miembros^[2]. Crearemos rankings para ambas esferas y estudiaremos qué relación mantienen para luego descubrir qué consejos lideran cada dimensión y qué patrones detectamos. Nuestros resultados evidencian las dificultades para señalar un consejo ideal en la muestra, si bien hallaremos indicios suficientes para afirmar que un grupo de consejos con unos rasgos comunes tiende, en mayor medida que otros, a acercarse a cumplir aquella aspiración.

Tras justificar nuestro marco teórico, en el apartado metodológico describimos las muestras e indicadores utilizados. En la sección de resultados exploramos si existe una dinámica de consejos mejor y peor puntuados y también qué relaciones existen entre los bloques evaluativos. Presentaremos los resultados desde lo global (agregaremos los consejos por temática) hacia lo individual, respondiendo así al interrogante principal: si algún caso destaca positivamente en todas las dimensiones analizadas.

DE UN MARCO TEÓRICO A UNA EVALUACIÓN MULTIDIMENSIONAL[Subir]

La consolidación de los mecanismos participativos empuja a la investigación comparada (‍Rodríguez y Ajangiz, 2007; ‍Navarro, 2008; ‍Galais et al., 2013; ‍Christensen, 2020) a buscar instrumentos para valorar si su funcionamiento responde a los ideales de calidad democrática que los fundan. Varios referentes teóricos proponen marcos para evaluarlos. Tal es el caso de Fung, cuyas tres dimensiones analíticas (los participantes, su comunicación y toma de decisiones conjunta y la influencia de dichas decisiones) integran la noción de «cubo de la democracia» (‍Fung, 2006: 65). Otra propuesta influyente proviene de Smith (‍2009), quien trabajando con seis dimensiones (y subdimensiones), ofrece una gran riqueza explicativa y facilita la operativización de los aspectos evaluables. Nosotros trasladaremos su sistema a un mecanismo (consejos) cuya realidad y funcionamiento no es ampliamente conocido^[3].

Siguiendo el enfoque de Smith, tendremos la ventaja de comparar únicamente entre consejos —mecanismos de una misma naturaleza—, redundando ello en mayor precisión evaluativa. Para conseguirlo, establecemos unos «patrones de comparación específicos y operacionalizables, que permitan elaborar indicadores de rendimiento» (‍Navarro, 2008: 88) y, además, siguiendo la estrategia utilizada entre otros por Carr y Halvorsen (‍2001), Rowe et al. (‍2004) o Fobé et al. (‍2013), utilizaremos un bloque de indicadores basado en una encuesta de satisfacción a participantes junto con el bloque de indicadores de diseño.

El marco teórico lo constituyen seis dimensiones o «bienes democráticos» (‍Smith, 2009). Junto a las de «inclusividad», «juicio informado», «control popular» y «transparencia», Smith refiere a otras dos de tipo institucional —«eficiencia» y «transferibilidad»^[4]—, útiles para determinar cuán «practicables» (ibid.: 13) son las instituciones participativas. A continuación, se definen dichas dimensiones:

METODOLOGÍA[Subir]

Los resultados proceden de una base de datos (n = 2013) elaborada para un estudio multinivel de los consejos consultivos de la Administración pública española, que comprendió los niveles: nacional, regional (las diecisiete CC. AA.) y municipal (las ciudades más pobladas, incluyendo aquellas con más de 250 000 habitantes o que rebasasen los 175 000, siempre que fueran capitales provinciales)^[6]. Primero se mapearon los consejos con informaciones como su denominación, temática, nivel territorial y contacto, partiendo de sus sitios web. Cuando no fue posible encontrar datos online, fueron solicitados a las Administraciones. De este marco muestral se extrajo una submuestra, seleccionando consejos que versasen sobre políticas públicas diversas y con características dispares para obtener una muestra representativa del espectro de consejos. Entre ellos fueron analizados los educativos (consejos con arraigo y relativos a una política tradicional), los medioambientales (menos asentados y diferenciados por su composición y grado de institucionalización) y los de inmigración (novedosos en el tiempo y centrados en políticas públicas cuyo núcleo es la identidad). También se estudiaron los consejos distritales en cuanto ejemplo de consejos territoriales. De los 101 casos que cumplían con estos criterios serían excluidos 31 por estar inactivos y/o por el rechazo a colaborar, lo que resultó en una muestra final de 70 consejos.

Para cada consejo fueron codificados aspectos de sus documentos normativos (actas, reglamentos) con información sobre infraestructura, objetivos, composición, organización y métodos de trabajo. Se añadieron codificaciones sobre su presencia en internet para obtener indicadores de visibilidad y transparencia (base Diseño)^[7]. Posteriormente fue enviado un cuestionario online a sus miembros (base Satisfacción), preguntándoles acerca del funcionamiento de los consejos y su grado de satisfacción como participantes. El trabajo de campo se completó entre noviembre de 2017 y marzo de 2018. En 27 casos la Administración facilitó el contacto directo con las personas encuestadas, con una tasa de respuesta del 30 % de los miembros. En los otros 43 casos la Administración medió en la aplicación del cuestionario a través de los coordinadores de los consejos, lo que dio lugar a una tasa de respuesta menor: se obtuvo alguna respuesta en el 78 % de consejos y de un 13 % del total de consejeros. Debemos advertir que contar solo con las respuestas de quiénes desearon participar implica asumir que lo han hecho los miembros más comprometidos y activos, si bien encontramos entre ellos a los más críticos pero también los más complacientes. No obstante, se aminora el sesgo de autoselección utilizando las medias y no las respuestas individuales directas de los participantes. Además, siguiendo a investigaciones anteriores (‍Font et al., 2016), fue buscada la proporcionalidad entre representantes de la ciudadanía y Administraciones, ajustándonos a la realidad de estos espacios. La investigación prescinde de los quince consejos distritales de la muestra dada su particular naturaleza —territorial y submunicipal— y su no comparabilidad con los sectoriales. Para evitar sesgos, otros siete consejos fueron excluidos por el excesivo protagonismo de los perfiles de la Administración pública en las respuestas al cuestionario^[8]. Así, la muestra utilizada es de 48 consejos (tabla 1) y 421 participantes encuestados.

RESULTADOS[Subir]

Profundizaremos en nuestros datos con cuatro grandes pasos. Primero, comprobaremos si existe una dinámica general y concluyente de consejos que ofrecen mejores y peores resultados. Segundo, examinaremos globalmente los resultados en las cinco dimensiones y en su doble componente diseño-satisfacción. Esto facilitará la identificación de factores asociados a mejores o peores valoraciones de cada consejo individual, fijándonos especialmente en la temática del consejo, pero sin perder de vista el nivel territorial al que pertenece. Finalmente, valoraremos si algún caso podría considerarse ideal o modélico, o cuáles se aproximarían a conseguirlo.

En la primera mirada a la relación entre las cinco dimensiones, las observaremos de forma global. Para los análisis posteriores, las descompondremos secuencialmente mediante rankings de puntuaciones en diseño y satisfacción. Agregando ambas puntuaciones, extraeremos los grupos de consejos destacados en cada dimensión. ¿Nos encontramos un escenario con consejos con buenos resultados de forma integral o, por contra, los consejos se han especializado en resolver bien solo algunos aspectos, desatendiendo otros? La tabla 2 apunta a un escenario más similar al primero: asistimos a una dinámica general de consejos próximos y otros alejados del modelo ideal.

Todas las dimensiones correlacionan entre sí positivamente, en un rango que oscila entre correlaciones débiles y no significativas (0,11) hasta otras muy elevadas (0,75), pero donde nueve de las diez correlaciones son estadísticamente significativas. En todo caso, para la de juicio informado observamos una más débil significación, explicable por el indicador elegido para esta dimensión de proporción de expertos (establecida por cada consejo), con una elevada variabilidad entre casos.

Ahora podemos fijarnos en lo que ocurre en el interior de cada una de ellas. La tabla 3 relaciona los componentes diseño y satisfacción de cada dimensión mediante correlaciones. La constatación principal sintoniza con anteriores trabajos, órganos consultivos que ya habían señalado una relativa inconsistencia entre dificultades institucionales y un elevado grado de satisfacción de buena parte de los participantes (‍Sarasa y Guiu, 2001; ‍Fobé et.al, 2013). En nuestro caso, solo en dos dimensiones existe una correlación significativa (pero no espectacularmente alta) entre ambos bloques, mientras que en otras dos es cercana a cero y en una es incluso levemente negativa (pero no significativa). Realidad normativa y satisfacción van pues por caminos diferentes y será preciso recordarlo para mirar ambas esferas de forma independiente.

Analizamos ahora una primera fotografía del conjunto de los consejos. En la figura 1 se representan, comparativamente, el ideal y la realidad. Un consejo ideal estaría representado gráficamente con la forma de un pentágono (línea exterior), esto es, con máximas puntuaciones para todas las dimensiones. Por contra, en nuestra representación de los promedios del total de casos observamos que los polígonos de sus puntuaciones diseño y satisfacción (líneas interiores azul y naranja, respectivamente) aparecen alejados del ideal.

Las puntuaciones resultan superiores en el aspecto subjetivo para todas las dimensiones. Como hemos visto, pese a que los diseños suelen ser mejorables, las experiencias participativas son valoradas, en general, positivamente. En este punto conviene tener presente que algunos ítems de la encuesta abordan preguntas cuyas respuestas están más directamente determinadas por el diseño institucional —apelando a mecanismos formalizados—, dándose esto precisamente en las dos dimensiones (inclusividad y transparencia) para las cuales comprobábamos existe una cierta correlación entre bloques (véanse en el anexo 2, por ejemplo, ítems como satisfacción con el grado de diversidad de la composición del plenario o claridad del proceso consultivo).

Empleando ahora un enfoque agregado —por temática— para el examen de las puntuaciones, queda patente que los consejos medioambientales evaluados se caracterizan por unas puntuaciones pobres en diseño y que únicamente destacan positivamente en juicio informado, por una diferencial presencia de personas expertas en su seno. Las puntuaciones en satisfacción son más elevadas, sobre todo, para sus dimensiones inclusividad y eficiencia. Sus promedios de puntuaciones están alejados del ideal (véase en la figura 2, sobre todo, lo reducido del polígono de las puntuaciones diseño).

Respecto al conjunto de consejos de inmigración (figura 3), también sus puntuaciones promedio indican una generalizada pobreza en su diseño, especialmente para las dimensiones juicio informado y control popular. En cuanto a la percepción que tienen sus integrantes, el de transparencia es el aspecto más negativamente valorado, siendo más complacientes sus respuestas en las dimensiones inclusividad y juicio informado.

Por último, son los educativos los mejor puntuados. En diseño, su punto más sólido es la eficiencia (4,20 puntos de promedio), mientras que los encuestados destacan —al igual que sucedía en los consejos de las otras temáticas— su inclusividad (3,70 puntos de promedio). En la figura 4 se aprecia que, en conjunto, los consejos educativos son los que más se acercan más a reproducir la figura del pentágono, síntoma de favorables puntuaciones en todas las dimensiones. Resulta factible pensar, pues, que este conjunto comprenderá los casos más próximos al ideal.

A continuación, se analizan individualmente los casos mejor posicionados en ambos bloques. Las disposiciones normativas contemplarán en mayor o menor medida un diseño orientado a garantizar las cinco dimensiones de calidad democrática estudiadas. Analizando resultados, de los 25 puntos que un consejo puede acumular en diseño, el máximo obtenido es 20 (Consejo Escolar de la Comunidad de Madrid). En los primeros puestos (gráfico 1) encontramos únicamente consejos educativos (y de nivel autonómico), excepción hecha del Consejo de Protección de la Naturaleza de Aragón. En las posiciones más bajas se agrupan la mayoría de los medioambientales y de inmigración, con nulas puntuaciones en una o varias dimensiones, es decir, su diseño se parece menos al ideal normativo adaptado de Smith (‍2009).

Atendiendo ahora a la percepción de los encuestados, la distribución varía notablemente en el orden de los casos y también en la uniformidad observada en la distribución (gráfico 2). Como vemos, la distribución de las puntuaciones totales basadas en la encuesta tiene menor amplitud, oscilando entre los 11,64 y los 18,98 puntos. Liderando esta clasificación ya no solo encontramos a los consejos educativos, sino también a los de otras temáticas. Aunque decae la presencia de los educativos en las mejores posiciones, esta es aún notable. De ellos, el mejor puntuado es el autonómico extremeño. Por su parte, el mejor calificado de los de inmigración es el bilbaíno —un consejo local—, con 18,67 puntos de 25 posibles. De los medioambientales destaca el de La Rioja, con una puntuación total de 17,84.

Hemos comprobado que estos mecanismos pueden estar bien diseñados, pero no generar satisfacción —y de ahí las diferencias entre clasificaciones—, pero ¿podemos señalar un grupo de consejos que se aproximen a dicho ideal en mayor medida que el resto? ¿Cómo comprobarlo? Descartada la posibilidad de señalar un consejo absolutamente modélico, identificaremos aquellos con mayor regularidad de buenas puntuaciones en ambos bloques^[10]. Para ello, elaboramos tablas clasificatorias por dimensión^[11], dispuestas según las puntuaciones agregadas (diseño más satisfacción), de modo que para cada dimensión los casos con mejores puntuaciones son los situados en los cuartiles superiores. Tomando en cuenta dichas mejores puntuaciones^[12], fueron recontadas las presencias de cada caso en esos primeros cuartiles (tabla 4)^[13].

Ninguno emerge entre los mejor posicionados en todas las dimensiones, pero un conjunto de siete casos destaca en al menos tres, cumpliendo los patrones ya mencionados: son educativos y de nivel autonómico. Por delante de todos, los más cercanos a la idea de modélico son los consejos educativos extremeño y manchego, que sobresalen en cuatro de las cinco dimensiones. Pese a que el extremeño (figura 5) tiene una baja puntuación en juicio informado (debido a la escasa presencia de personas expertas en su seno), sus personas encuestadas se mostraron satisfechas con los ítems relativos a esta dimensión. Por su parte, el educativo manchego, que en principio cumplía con los estándares para coliderar todas las dimensiones, resultó excluido del primer cuartil en la dimensión eficiencia, pues su puntuación para esta dimensión en el bloque satisfacción resultó ligeramente menor que la puntuación promedio de todos los casos. Este último consejo es el más cercano a coliderar todas las dimensiones, muy cercano por ello al ideal (figura 6).

CONCLUSIONES[Subir]

En esta investigación hemos evaluado los consejos sectoriales españoles partiendo de una muestra de casos —pertenecientes a distintos temáticas y niveles territoriales— y utilizando dos bloques evaluativos diferentes. Una primera conclusión es que, además de apreciar una dinámica reveladora de la existencia de unos consejos próximos y otros alejados del modelo ideal, la relación entre las puntuaciones obtenidas en ambos bloques evaluativos es prácticamente inexistente. Esto encaja con algunas investigaciones previas que comprobaron desigualdades en los niveles de satisfacción, situación justificada por Seller debido a las «diferentes expectativas subjetivas esperadas en relación a los beneficios objetivos conseguidos por los actores participantes» (‍2008: 21). Así, un consejo con un diseño robusto puede no funcionar correctamente, generando insatisfacción entre sus participantes.

Ninguno de los casos puede considerarse como modélico. Si bien un pequeño grupo puntúa mejor en algunas dimensiones, ninguno sobresale en todas. Los rankings revelan que la temática del consejo, unida a su nivel territorial, determinan los resultados. Los consejos educativos se imponen frente al resto por influencia de la puntuación obtenida gracias a su diseño, más que por el componente satisfacción. El marco legislativo común del que parten los consejos educativos españoles de nivel autonómico explica que tengan las mismas atribuciones «y semejantes modos de funcionamiento» (‍Mandingorra, 2015: 19), uniformidad que se ha visto reflejada en los resultados de esta evaluación. Los dos casos con mejores resultados son, precisamente, los consejos escolares autonómicos manchego y extremeño, posicionados entre los mejor puntuados hasta en cuatro dimensiones.

Los consejos de inmigración, cuyo recorrido es más reciente y tienen un diseño institucional menos desarrollado, puntuaron bajo especialmente en el aspecto informativo (escasa presencia experta) y en control popular, reflejando una baja capacidad de influencia-control. Sus integrantes valoraron positivamente, sobre todo, la dimensión inclusividad. El balance sobre los medioambientales resulta negativo, en sintonía con investigaciones previas (‍Alarcón et al., 2020). Pese a que alguno (sobre todos, destaca el Consejo para la Protección de la Naturaleza de Aragón, véase tabla 4) aparece entre los mejor puntuados, observamos un panorama general en el que los esfuerzos en diseño parecen orientarse al aspecto informativo (otorgan importancia a la presencia de expertos), quedando desprovistos aspectos clave como la inclusividad y la transparencia.

Hay varios aspectos en los que sería necesario mejorar y profundizar esta línea de trabajo. Primero, la selección de indicadores y su ajuste a la teoría política entraña una dificultad de base en el esfuerzo de adaptación del marco conceptual a la realidad de los consejos. En segundo lugar, se evidenciaron divergencias entre los bloques evaluativos, por lo que en varias dimensiones hay ausencia o inexistencia de correlación entre puntuaciones. Aunque ya hemos visto que este resultado aparece en trabajos anteriores, su contundencia genera cierta inquietud. Las diferencias entre las percepciones de los participantes reflejan el «ambiente político competitivo» en el que se desenvuelven los consejos, cuyos resultados provienen de múltiples fuentes (stakeholders) con diferentes «demandas de legitimidad» (‍Van Damme et al., 2011). Así, coincidimos con la visión de aquellos investigadores para quienes el concepto de calidad democrática «consta de dos necesarios e interdependientes componentes: el de oportunidad-estructura […] y el ciudadano, referido a cómo los ciudadanos pueden insuflar vida dentro de aquellas oportunidades» (‍Mayne y Geissel, 2016: 634). Por ello, se antojan interesantes futuras evaluaciones centradas en los perfiles y expectativas de quienes participan, para averiguar qué está sucediendo cuando buenos diseños no se traducen en valoraciones positivas y por qué también ocurre lo contrario.

Respecto a la variable nivel territorial, su relevancia en los resultados es indudable. Investigaciones previas (‍Brugué et al., 2021) ya subrayaron su efecto a nivel subjetivo (según se desciende de nivel administrativo, percepción más positiva de su funcionamiento). Aquí hemos comprendido que esta variable también debe ser contemplada para comparar entre diseños institucionales. El carácter cuantitativo de esta investigación implica que generalmente se impongan los consejos educativos regionales, con normativas similares y mayor grado de formalización. Aspirar a obtener evaluaciones más precisas en esta línea de estudios de n-grande requiere que futuras evaluaciones se planteen comparativas estrechas entre casos de un mismo nivel para profundizar en sus dinámicas de funcionamiento diferenciales y combinar las aproximaciones cuantitativas y cualitativas para alcanzar el propósito.

Por último, y retomando nuestro objetivo principal, resultaría interesante un análisis exhaustivo de diversos aspectos y dinámicas propias para ver qué diferencia a los consejos que han resultado más cercanos al ideal del resto e identificar así prácticas virtuosas aplicables en otros casos. Sería muy enriquecedor, para profundizar en el conocimiento de estos mecanismos, afrontar nuevas evaluaciones sobre consejos de temáticas diferentes a las analizadas. De este modo podrían identificarse más claramente los factores explicativos (cuáles son y en qué medida) que vinculan las características de la temática con los resultados de sus consejos.