Los retos de medir la democracia: Una revisión de los índices de democracia

INTRODUCCIÓN[Subir]

Medir la democracia en el mundo, su salud, su calidad, su funcionamiento, no es tarea fácil. Han transcurrido varias décadas desde que algunas instituciones decidieron poner en marcha proyectos para tratar de evaluar la evolución de este sistema de autogobierno en el mundo^[1]. La crisis del liberalismo decimonónico en las primeras décadas del siglo xx, el ascenso del fascismo en los treinta y el estallido de la Segunda Guerra Mundial alentaron preguntas en torno a las razones del florecimiento y consolidación de las democracias en algunos países y, por el contrario, al desarrollo de regímenes autoritarios en otras naciones. ¿Qué explicaba la adopción de una u otra vía en cada país? ¿Existían elementos objetivos, mensurables, capaces de explicar la elección de uno u otro camino? En el contexto de la Guerra Fría, el interés académico por estas cuestiones se tornó en interés geopolítico o, cuanto menos, se entremezclaron de manera compleja ambas inquietudes. El cierto aire de autocomplacencia que se instaló entre los países capaces de sobrellevar la crisis de postguerra por la vía capitalista levantando el imponente edificio del Estado de Bienestar ayudó a plantear estas cuestiones en clave de búsqueda de requisitos para el éxito, desarrollando una perspectiva prospectiva y prescriptiva de las mediciones de la democracia en el mundo. Más allá de la, en ocasiones, mecánica identificación entre democracia y desarrollo económico de libre mercado que se instaló entre los intelectuales de los sesenta, la búsqueda de indicadores o requerimientos específicos para el buen funcionamiento de la democracia se convirtió en la norma. Este es el contexto en el que se gestaron las principales instituciones que se planteaban medir la democracia en el mundo en los setenta y estos condicionantes, aunque superados en algunos casos, han marcado el carácter de las mediciones, incluso entre aquellos índices más recientes que, aunque más sofisticados y adaptados a los tiempos, siguen en parte siendo deudores de estos primeros intentos de medición. En este sentido, pienso que existen al menos tres elementos que, en diferentes grados, siguen marcando el carácter de las principales instituciones medidoras de la democracia.

En primer lugar, la concepción formal/institucional de la democracia sigue siendo la hegemónica entre los principales índices, a pesar de que algunos intelectuales habían puesto claramente el acento en aspectos sociales o culturales. No me refiero solo al propio Alexis de Tocqueville (‍2020), sino a autores como John Dewey que durante los felices años veinte ya advertían que la democracia debía entenderse no solo como un conjunto de normas y reglas para ordenar la sociedad y favorecer la economía, sino como «un estilo de vida» (‍Dewey, 2004). Ya por entonces tenían más predicamento trabajos como el de James Bryce (‍1921) que realizó uno de los primeros estudios comparativos de democracia en el mundo atendiendo fundamentalmente a cuestiones relacionadas con las elecciones. Esta tensión permanente en el mundo de las ideas entre una concepción formal o procedimental de la democracia y una concepción más amplia y sustantiva ha estado presente durante todo el siglo xx^[2] y aunque los trabajos en torno al capital social han ayudado a ensanchar y enriquecer el concepto de democratización, no cabe duda que la pugna entre ambas concepciones se ha saldado con la victoria de la formulación institucional, porque resulta esencial para el funcionamiento de la democracia y porque apunta a cuestiones más fácilmente mensurables.

Tras la hegemónica concepción formal de la democracia hay una cuestión que también ha marcado, y en parte sigue marcando,^[3] las estrategias de medición de la democracia. Me refiero a la concepción excesivamente elitista de la democracia. Hoy está superada la idea de que este modelo político es la consecuencia racional de las decisiones tomadas por unas sabias y poderosas élites. Sabemos que la acción colectiva de los no poderosos, de los que no tienen acceso directo al poder, también construye la democracia con sus desafíos en forma de movimientos sociales (‍Markoff, 1998; ‍Tarrow, 1998). Sin embargo, en el imaginario colectivo (y en los planteamientos generales de algunos de los índices de democracia) aún pervive una concepción de la democracia confeccionada y desarrollada «desde arriba». Evidentemente el manejo de esta concepción de la democracia en algunos de los indicadores no se debe solo a esta lectura desde arriba que durante años impregnó los estudios sobre democracia, sino también a una cuestión práctico-metodológica. La acción gubernamental deja unas huellas más fáciles de rastrear que las que deja la movilización popular.

El segundo elemento problemático de los índices de democracia se refiere a la hegemónica escala nacional de sus análisis. Tras la Segunda Guerra Mundial se consolidaba en el mundo el principio de las nacionalidades. Prueba de ello es el modo en el que se desarrolló el llamado proceso de descolonización. Efectivamente el proceso de construcción de los estados nacionales que se había consagrado en el mundo occidental en la segunda mitad del siglo xix, se fue expandiendo a principios del siglo xx como consecuencia del fenómeno del Imperialismo Colonial y continuó su consolidación mundial vinculado al proceso de descolonización en el contexto, no lo olvidemos, de la Guerra Fría. El mundo quedaba definitivamente organizado en naciones. Parece lógico que los índices manejaran con naturalidad la escala nacional para medir la democracia en el mundo. Hoy, a pesar de concepciones multiescalares de los procesos de democratización que priman no solo la esfera nacional e internacional, sino también la local, son todavía escasos los esfuerzos por incorporar a los índices de democracia escalas geográfica y políticamente más reducidas.

En tercer y último lugar, los actuales índices de democracia fueron construidos pensando en un tipo de amenazas (para la democracia) que hoy han cambiado. El peligro de la involución sigue existiendo, pero la forma de quebrar una democracia ya no es la misma (‍Bermeo, 2016; ‍Levitsky y Ziblatt, 2018; ‍Maerz et al., 2020). Estrategias sofisticadas de control de la opinión pública parecen haber sustituido a los golpes de estado militares como fórmula para minar la democracia en el mundo actual. Esto ha obligado a girar el foco de las mediciones de la democracia hacia la calidad de la misma, pero todavía queda un largo camino por recorrer para que los índices vuelvan a tener, si alguna vez la tuvieron, cierta capacidad predictiva para atisbar los peligros reales de quiebra democrática.

Por todo ello este artículo se cuestiona hasta qué punto los índices de democracia más utilizados hoy en día son válidos. Hasta qué punto han perdido algunas de sus virtudes y cuáles parecen ser sus márgenes de mejora. Por supuesto, no se plantea aquí en ningún caso una «enmienda a la totalidad». Las mediciones y clasificaciones de la salud democrática de los países constituyen hoy herramientas útiles y proporcionan fotografías de indudable valor para afrontar los grandes retos de futuro de este modelo político. De hecho, son innegables los avances teóricos y metodológicos desarrollados en las últimas décadas incorporando variables tratadas de manera cada vez más compleja. Prueba de ello es el nivel de sofisticación de V-Dem que en su afán por incorporar variables socioculturales maneja una cantidad ingente de información que solo es posible gracias a los medios técnicos actuales.

En última instancia, lo que pretendo es mostrar las limitaciones de estos índices y señalar las fortalezas y debilidades de cada uno de ellos. Para eso comenzamos con un breve recorrido histórico de los principales índices de democracia. Pasamos, en segundo lugar, a realizar una comparación de todos los índices en base a una serie de criterios comunes con el objetivo de establecer una clasificación de los mismos desentrañando sus diferentes características. Por último, planteo en las conclusiones finales las limitaciones de estos índices y, por un lado, la necesidad de seguir incorporando nuevas variables relacionadas con problemas de desigualdad socioeconómica para reflejar con mayor precisión la compleja realidad de la democracia en su ejercicio práctico y, por otro lado, la necesidad también de contemplar, a pesar de las dificultades metodológicas, la posibilidad de descender en el análisis a la escala local dado que es aquí donde se materializa primero la identidad política ciudadana y donde se ejerce también la democracia.

LOS ÍNDICES DE DEMOCRACIA. CRITERIOS PARA SU COMPARACIÓN[Subir]

Aunque en la década de 1990 se hicieron diversas propuestas para medir la democracia, ya existían previamente dos grandes índices: Freedom in the World, realizado por Freedom House (‍Freedom House 2022b) y Polity, desarrollado por el Center for Systemic Peace (‍Marshall y Gurr 2020). Estos dos índices tienen su origen en los años 70 y aunque en ellos estuvieron involucrados algunos científicos sociales^[4] que otorgaron una cierta base académica a los proyectos, estuvieron también marcados por sus vinculaciones con intereses políticos concretos en el contexto de la Guerra Fría. Freedom House es una organización dedicada a la promoción de la libertad en el mundo, financiada por USAID y el Departamento de Estado de Estados Unidos (‍Freedom House, 2021; ‍Freedom House, 2022a) y Center for Systemic Peace fue durante años financiada por el gobierno estadounidense y la CIA (‍Polity IV Project, 2014; ‍Milbank, 2021). En un contexto geopolítico diferente, la mayoría de los índices que surgieron a partir de los años 90 parecen tener una base más académica, aunque, por supuesto, no exentos de sesgos marcados por cosmovisiones concretas y parciales. En 2006 se puso en marcha Democracy Index (‍The Economist Intelligence Unit, 2022) por parte de The Economist Intelligence Unit, empresa asociada al periódico británico The Economist y dedicada a la asesoría de empresas inversoras. Mayor vinculación académico-universitaria tendría el proyecto V-Dem que arrancó a principio de la década de 2010 con la participación de varios especialistas (‍Coppedge, Gerring y Lindberg, 2012) que confluían ahora tras haber formado parte de proyectos de medición previos.

Para realizar la comparación de los principales índices se han consultado los orígenes de cada uno de los éstos^[5] y posteriormente se ha estudiado su funcionamiento en base a las siguientes características que van a ser utilizadas en este artículo como guía para el contraste^[6]

Los índices seleccionados para la comparación son los más tratados en la literatura especializada (‍Coppedge y Reinicke, 1990; ‍Foweraker y Krznaric, 2001; ‍Coppedge et al., 2011) hasta alcanzar un total de 11^[7]. Evidentemente otros índices han quedado fuera por las limitaciones de espacio de este artículo

Antes de tratar las características señaladas hemos de pararnos y observar cuál es la unidad de análisis manejada por los índices. Esta es una de las pocas cuestiones en las que parece que todos coinciden; la unidad geográfico-política es el estado-nación. Este consenso tiene sentido al entender estas mediciones como herramientas para comparaciones internacionales y comprobar hipótesis sobre el comportamiento de las democracias. Pero esta decisión conlleva problemas asociados con el territorio y su evolución sociopolítica a lo largo del tiempo. Los más obvios tienen que ver con los cambios institucionales en análisis diacrónicos. Por ejemplo, cuando dos estados se fusionan o un territorio es declarado independiente. o el caso más común de colonias que se independizan^[8]. Los menos obvios se refieren a las diferencias dentro de los propios estados: el impacto de los distintos gobiernos locales o las diferentes actitudes políticas según el territorio.

Estos problemas suelen ignorarse en beneficio de una mayor posibilidad para la comparación, pero no podemos olvidar que si se busca un conocimiento en detalle de la democracia esta estrategia puede ser problemática. Los cambios en la configuración político-territorial de los estados no deberían ser un impedimento para estudiar la situación democrática de las personas que habitan ese territorio. Por otro lado, el hegemónico foco en el estado como institución puede conllevar resultados anómalos en las mediciones cuando dos estados se unen. El caso paradigmático es el de la reunificación de Alemania. Así, la mayoría de índices que recogen datos previos a la reunificación puntúan mucho más alto a la República Federal Alemana que a la República Democrática Alemana. Es lógico pensar que en el momento en el que la segunda se integra en la primera su puntuación de democracia bajara, pues la cultura política de burócratas, políticos y ciudadanía sería menos democrática. Sin embargo, las puntuaciones de la República Federal Alemana apenas indican ningún cambio, a pesar de que hay estudios que explican diferencias claras en la cultura política de los dos territorios (‍Conradt, 2015).

La ausencia de niveles distintos al nacional en los índices resulta llamativa si tenemos en cuenta la literatura sobre gobernanza multinivel generada en los últimos 25 años (‍Piattoni, 2009). En dicha literatura se ha puesto el foco especialmente en la Unión Europea y cómo el nivel estatal ha cedido espacio ante esta institución supranacional, así como la interacción de las instituciones subnacionales con la Unión Europea. Este traspaso de poder e importancia del estado no se queda sólo en el ámbito institucional o económico, hay movimientos sociales que aprovechan esta infraestructura institucional fuera del estado para protestar y buscar nuevos lugares donde ser escuchados (‍Tarrow, 2005; ‍Della Porta y Diani, 2006). Estas realidades políticas y sociales se enmarcan fuera del nivel estatal y muy posiblemente se pierden en la recolección de datos de los índices al no tenerlas en cuenta.

Pasemos a continuación a analizar cada una de las seis características que, como señalamos, van a guiar nuestro análisis.

En cuanto a la cobertura geográfica (i) de los índices hay que señalar que depende, evidentemente, del objetivo de cada uno de ellos. Algunos (por ejemplo, V-Dem o Polity 5) buscan abarcar tantos casos como sea posible, poniendo normas para excluir microestados. Otros tienen como objetivo medir estados con características concretas, Es el caso de BTI que se centra en la democracia en estados en desarrollo, por lo que excluye de sus medidas a los estados miembros de la OCDE. Otro buen ejemplo de este tipo de índices es Political Regime Change Dataset, dedicado a analizar estados del «tercer mundo», por lo que solo incluyen «los estados de América Latina, Oriente Medio, África y Asia (excluyendo Japón, Australia y Nueva Zelanda) y que tenían al menos 1 millón de habitantes en 1980» (‍Gasiorowski, 1996: 473).

La cobertura temporal (i) varía más entre índices, no solo en función de la fecha de inicio para la medición, sino, sobre todo y tal y como puede observarse en la Figura 1, en relación al número de años estudiados. La mayoría recogen años a partir de la segunda guerra mundial o la década de 1970, pero algunos se remontan a principios del siglo xix o finales del siglo xviii. Esta amplitud temporal permite incluir en la comparación grandes cantidades de estados, con la notable excepción de Political Regime Change Dataset. Este índice establece el origen de sus mediciones en la fecha de independencia de los casos o su establecimiento como estado «moderno» a juicio del autor (Gasiorowski, 1996: 473), lo que permite, por ejemplo, establecer el punto histórico de inicio para un país como Afganistán en 1747, país que además aparecerá de manera inalterada con la misma categoría desde ese año y hasta 1992, último año que se incluye en el índice.

En general podemos diferenciar dos grandes tipos de índices según su estrategia de medición en cuanto a la cobertura temporal: los índices históricos y los índices actuales. Los primeros fijan una fecha a partir de la cual medir los casos y realizan un trabajo de investigación histórica para obtener los datos Estos índices suelen actualizarse para ajustar mediciones poco precisas. Los índices actuales suelen comenzar a medir en un momento dado cercano al año de nacimiento del propio índice y se va actualizando de manera recurrente a partir de ahí Estos últimos fijan su fecha de inicio en su primera edición y no suelen ajustar o corregir sus mediciones previas. La mayoría de los índices se incluyen en la primera categoría, pero algunos de los más conocidos y utilizados lo hacen en la segunda, por ejemplo: Freedom in the World, Democracy Index o BTI.

En cuanto a las variables utilizadas (ii) por cada índice para medir la democracia, en la tabla 2 podemos ver cuántas maneja cada uno y si tienen o no variables de determinados temas generales. Como se puede observar, todos los índices miden las instituciones políticas de los casos, mientras que pocos de ellos miden variables relacionadas con los derechos sociales, la existencia de prensa independiente o el dinamismo de la sociedad civil y la cultura política. La ausencia de estas variables suele ser debido al uso de concepciones eminentemente institucionales de la democracia lo que, en última instancia, limita seguramente los posibles resultados para estudiar y evaluar el «estado de forma» de la democracia.

Los índices tienen aproximaciones muy distintas a la creación y tratamiento de sus variables. En primer lugar, aquellos ejercicios que no manejan variables y que se encuentran en la frontera de lo que entenderíamos como un índice operativo con investigación de base (BNR y Political Regime Change Dataset) se basan en el criterio de su creador al tratar los casos y la definición de democracia, sin variables o agregación alguna y sin puntuación numérica. En segundo lugar, están los índices «minimalistas», aquellos con pocas variables (Measures of Democracy y Effective Democracy Index) El primero utiliza variables para competición y participación política, mientras el segundo utiliza el resultado de Freedom House y lo ajusta con datos de corrupción. Estos índices tienen la ventaja de ofrecer la sensación al usuario de saber qué se está midiendo y con qué peso. Desde un punto de vista científico el riesgo de debilidad analítica es alto por la excesiva simplificación al reducir fenómenos complejos a un par de variables sencillas. Por ejemplo, Measures of Democracy utiliza competición y participación política de la siguiente manera. La competición se mide restando el porcentaje de votos del partido más votado en las elecciones al 100%. En caso de que esa información no esté disponible o crea que representa mejora las relaciones de poder entre partidos utiliza la distribución de asientos en el parlamento con la misma fórmula. La participación política se mide mediante el porcentaje de participación en las elecciones, y se suma un 5% por cada referéndum, hasta un máximo de 70% (‍Vanhanen, 2003: 57-64).

Podemos asumir que se mide la democracia institucional exclusivamente, pero no hay medidas sobre el funcionamiento de las instituciones o si las elecciones son justas y limpias.

Pasa lo mismo con Effective Democracy Index, que reduce los resultados de Freedom House al ajustarlos con datos de corrupción del Banco Mundial, pero ¿es el resultado representativo de la democracia efectiva? En el origen de Effective Democracy Index está una crítica al índice de Vanhanen y a Freedom House. El primero por su medición exclusiva de variables electorales y el segundo por sus mediciones de libertades civiles y políticas sólo desde una visión institucional que ignora si éstas son implementadas o no. A esto precisamente se referían Inglehart y Welzel (‍2006) cuando señalaban:

¿Para medir cuánta libertad tiene la gente a la hora de hacer elecciones se debe ajustar con medidas de corrupción? Inglehart y Welzel lo consideran un indicador de la «integridad de la élite» y hablan de correlaciones con otras medidas. En ningún momento se pueden negar esas correlaciones, pero no se está midiendo el concepto planteado. Existe un conflicto entre el objetivo de las variables y lo que miden éstas: se quiere medir la libertad de las personas para tomar elecciones, y lo que se mide es la corrupción que existe en las élites. Aunque por razones explicativas y en su agregación sólo hay dos variables, este índice realmente tiene en cuenta todas las variables que mide Freedom House, es por ello que en la tabla 2 se puede ver que trata los mismos temas que este índice. Estas cuestiones, fueron planteadas por Knutsen (‍2010) y respondidas en defensa de la metodología por Alexander, Inglehart, y Welzel (‍2012). Con respecto a la crítica sobre el ajuste con datos de corrupción se responde que se cambió en una versión posterior a la publicada en el libro (‍Inglehart y Welzel, 2006) por los datos del Rule of Law Index del Banco Mundial.

Un tercer grupo sería el que corresponde a aquellos índices que cuentan con más de dos variables, pero menos de diez. Estos se encuentran en un punto en el que el funcionamiento sigue siendo sencillo y se puede explicar con cierta facilidad. En este grupo podemos situar a Polity5 y Democracy and Dictatorship. Sin embargo, de nuevo estos índices tienen un foco muy claro en la democracia electoral y su funcionamiento. En los dos casos se miden exclusivamente variables relacionadas con los partidos, las elecciones, el funcionamiento del poder legislativo y el del ejecutivo. Democracy and Dictatorship mide cómo se eligen ambos poderes, el estado del legislativo en ese año, el estado legal de los partidos, la existencia real de los mismos y si existen partidos externos al régimen. Por último, tiene en cuenta dos variables de control que miden si el caso se clasificaría como democrático si el único criterio fuera la existencia de elecciones multipartidistas y la capacidad de consolidación de los gobiernos en el poder. Por otro lado, Polity5 utiliza para su agregación la competitividad en la elección del ejecutivo, la posibilidad de presentarse a jefe del ejecutivo para los ciudadanos, las limitaciones al poder del ejecutivo, la competitividad de la participación política y la regulación de ésta. Los dos índices muestran claras limitaciones al dejar fuera otros factores institucionales tales como el funcionamiento de la justicia o las concretas acciones legislativas o ejecutivas.

El cuarto grupo está formado por los índices de alcance medio, con entre 11 y 100 variables. Estos índices tienen una aproximación más amplia a la democracia, introduciendo ítems sobre los derechos de los ciudadanos, funciones del estado, economía o cultura política. No todos los índices que aquí se agrupan utilizan todos estos grupos de variables, pero sí alguno de ellos. Los índices incluidos en este grupo serían BTI, Freedom in the World y Democracy Index.

El quinto y último grupo está constituido por los índices más amplios, aquellos que tienen más de 100 variables: Global State of Democracy y V-Dem. Estos índices entran en todos los grupos de variables que se han comentado y realizan precisos ajustes manejando una gran cantidad de información. Es particular la gran cantidad de variables que mide V-Dem que salva los problemas de operatividad que esto conlleva de una manera compleja pero efectiva. Este índice plantea varias agregaciones para distintas definiciones de democracia, por lo que no usa todas las variables presentes en el índice en cada agregación. En los documentos que V-Dem pone a disposición de los usuarios a través de su web se pueden encontrar, por tanto, agregaciones distintas, algunas de ellas bajo esquemas conceptuales de democracia diferenciados. Estas agregaciones corresponden a las diferentes variedades de democracia con las que trabajan^[9].

En cuanto al sistema de puntuación (iii)^[10] de las democracias que utilizan los índices analizados debemos señalar que la mayoría desarrollan algún tipo de escala, aunque hay varias excepciones que presentan los resultados con valores cualitativos, normalmente de manera dicotómica diferenciando simplemente entre países democráticos y no democráticos (Measures of Democracy, Democracy and Dictatorship y BNR), o introduciendo una tercera posibilidad de régimen semidemocrático (Political Regime Change Dataset). Estos índices suelen establecer su puntuación en base a alcanzar unos mínimos en las variables medidas (Measures of Democracy y Democracy and Dictatorship) o basado en criterios observacionales propios con escasa o nula formulación cuantitativa (BNR y Political Regime Change Dataset).

Estas mediciones carecen de una característica que aquellas con escalas más amplias suelen tener: agregación de variables. Algunos de los índices son exclusivamente una agregación o ponderación de otras medidas. Como hemos señalado, Effective Democracy Index es exactamente esto, se pondera las puntuaciones de Freedom in the World con los datos de corrupción del Banco Mundial. Eso sí, para los índices que miden una gran cantidad de variables la agregación de las mismas es un paso delicado, la fórmula debe representar la medición de democracia deseada. Un buen ejemplo de esto es la forma de agregar de V-Dem: presentan 5 fórmulas distintas utilizando variables determinadas y otorgándoles pesos distintos según 5 definiciones de democracias. Estas agregaciones distintas comparten variables, pero les dan pesos distintos para representar la idea de democracia a la que se refieren. Otras agregaciones son más sencillas, unas suman las variables para obtener una puntuación total (Democracy Index y Freedom House), otras restan dos agregaciones contrarias (Polity5 resta la puntuación de autocracia a la de democracia, por lo que la puntuación final va de -10 a 10), calculando la media de varias agregaciones temáticas (BTI utiliza la media de las dimensiones políticas y las dimensiones económicas) o incluso no agregando (Global State Of Democracy, que presenta las variables y agregaciones por grupos, pero no ofrece una puntuación unificada). La agregación es pues un elemento delicado, pues la justificación teórica de la fórmula elegida debe ser sólida, el peso dado a cada variable y cómo se hace debe resultar en una representación de la democracia coherente al menos con la definición utilizada por el índice^[11].

Algunos de los índices que tienen agregación también otorgan una etiqueta cualitativa a los casos. Cada caso utiliza sus propias etiquetas y normas para otorgarlas. Así, Democracy Index divide a los estados en Full democracies, Flawed Democracy, Hybrid Regimes y Authoritarian regimes, en base a las puntuaciones totales y Freedom House dividía los casos entre Free, Partly Free y Not Free en base a sus puntuaciones hasta 2020, cuando decidieron eliminar dicha clasificación. Este cambio se debe según la metodología de la edición de 2021 a una búsqueda de la simplificación de la muestra de resultados metodológicos. De esta manera Freedom House simplificó su forma de presentar la información y centró la atención mediática que recibe en los resultados, en lugar de las etiquetas^[12].

En cuanto a la recolección de la información (iv) podemos dividir los índices analizados en dos grupos según la forma de abordar la recogida de información. Por un lado, los que utilizan fuentes secundarias basadas en mediciones ya elaboradas por otros índices u organismos (Measures of Democracy o Effective Democracy Index, por ejemplo), Por otro lado, aquellos que manejan su propia información primaria (V-Dem o Democracy Index). En cualquier caso, la mayor parte codifica la información en distintos grados, pues permite convertir variables cualitativas en cuantitativas, y la mayoría de variables que se pueden asociar a la democracia tienen un carácter cualitativo. La codificación también permite de manera sencilla estandarizar medidas externas, por ejemplo: Democracy Index utiliza diversas encuestas transnacionales para algunas variables y establece qué respuestas en dichas encuestas corresponden a sus valores para las variables (en su caso: 0, 0.5 y 1).

La forma de codificar puede variar enormemente entre índices, uno de los aspectos donde más claras son las diferencias es la transparencia de este proceso y la cantidad de codificadores implicados. Algunos índices (Freedom in the World o Democracy Index, por ejemplo) son poco claros con los procesos de codificación y los controles que éstos tienen. Se trata de un proceso opaco en el que normalmente no se ofrecen fuentes que corroboren las puntuaciones otorgadas y, como veremos posteriormente, suelen carecer de validación interna. Otros índices (V-Dem o Polity5, por ejemplo) sí ofrecen información sobre el proceso de codificación, cuántos codificadores hay por caso, cómo son seleccionados y qué tipos de prueba de validación se realizan para comprobar su trabajo otorgando mayor fiabilidad y confianza a las mediciones.

En cuanto a la transparencia (v) en los índices no se limita a mostrar los procesos y controles que existen en la codificación, el problema actual está más centrado en la presentación de la metodología y las variables de una forma accesible para el que lo consulte, así como hacer accesible los resultados en formatos que permitan trabajar y analizarlos. La mayoría de los índices publican sus resultados^[13] pero la accesibilidad de estos varía, como se puede observar en la columna que bajo este título se puede ver en la Tabla 1. Características de los índices. Los menos accesibles son los que presentan sus resultados en un libro o artículo y que presentan dificultades para trabajar con ellos debido al formato Los índices que hacen esto son aquellos que se publicaron de manera puntual antes del año 2000 (Measures of Democracy, BNR y Political Regime Change Dataset). El caso de Democracy Index resulta más sorprendente ya que comienza su publicación en el año 2006 en formato digital, pero se presenta siempre en PDF, lo cual complica bastante su uso. Además, en su web sólo se muestran accesibles las ediciones a partir de 2020, en cada edición sólo aparecen los datos para el año de ese informe. Esta forma de presentar sus resultados plantea problemas en el caso de querer utilizar su información, teniendo que buscar formas alternativas de acceso a los documentos de años previos y obligando a pasarlos de forma manual a los programas estadísticos.

Por otro lado, muchos de los índices presentan sus datos en formatos compatibles con programas estadísticos. Todos los que no se han nombrado previamente presentan sus datos en un formato compatible con Excel (.xlsx o .csv), además hay varios que permiten el uso en otros programas, como STATA, R o SPSS. Por último, algunos índices presentan útiles herramientas en sus webs que permiten manejar la información sin necesidad de programas estadísticos. Estas herramientas van desde la visualización de datos a la creación de mapas y gráficas.^[14]

Por último, en cuanto a las medidas para asegurar la validez y fiabilidad (vi) de las mediciones en los índices hay que señalar que son poco habituales. De todos los índices analizados sólo cuatro tratan este tema en su metodología (como se puede observar en la columna «Validez o fiabilidad» de la Tabla 1. Características de los índices). La presentación de mediciones que sustenten la fortaleza de las mismas es tradición en muchas disciplinas académicas, pero no así en muchos de estos índices. En general los índices más antiguos no tienen este tipo de medidas, aunque por ejemplo Polity lo incorporó en el año 2000. Se debe tener en cuenta que validez y fiabilidad son dos conceptos relacionados, pero no son lo mismo. La validez hace referencia a la capacidad de la herramienta de medir lo que se ha propuesto, mientras que la fiabilidad se refiere a la consistencia de la herramienta y la metodología, o la capacidad de esta para que distintas personas usándola obtengan los mismos resultados (‍Adcock y Collier, 2001: 530-532).

Con respecto a la validez, ningún índice presenta en su metodología que se haya hecho ninguna prueba o comprobación de la misma, por lo que se entiende que este tipo de procedimientos no se llevan a cabo. La fiabilidad en cambio sí que está presente en los cuatro índices. La forma más común de medir la fiabilidad es mediante los Inter-coder reliability tests. Estas pruebas miden la cercanía en las mediciones de distintos codificadores, lo que permite ver si hay sesgos o los conceptos a codificados no están suficientemente claros. En base a estas pruebas los índices pueden tratar de corregir esos problemas de diversas maneras. Son herramientas de calidad interna que facilitan la mejora de la codificación. Los Inter-coder reliability tests son utilizados en V-Dem y Polity. V-dem en particular deja claro cómo enfrenta estos problemas, otorgando pesos a codificadores de distintas formas según los resultados. También presentan en su metodología algunas de las mejoras que pretenden implantar en un futuro a través de modelos de medición. Como otra medida de fiabilidad presentan la comparación de su índice de poliarquía con Polity y Freedom House en lo que se suele llamar validación convergente. Muestran que hay ciertas correlaciones entre variables, pero asumen la limitación de este método, especialmente cuando ellos mismos dudan de la validación de los índices con los que se comparan (‍Coppedge et al., 2022: 24-25).

Esta forma de validar es utilizada también por Global State of Democracy, que presenta correlación de cada una de sus variables con distintas mediciones (algunos de los índices de democracia más conocidos y tratados aquí, pero también con herramientas de medición de derechos humanos o justicia) (‍Tufis y Hudson, 2021: 75-82).

El otro índice que incluye alguna medida de fiabilidad es BTI, sin embargo, es poco claro en su funcionamiento. Las puntuaciones a las variables pasan por un proceso en el que son revisadas por expertos, coordinadores regionales y otras personas que trabajan en el índice hasta llegar a la junta directiva. En estas revisiones se hacen calibraciones y se discuten los resultados (‍Donner et al., 2020).

Por último, existen estudios externos a los índices que los comparan y analizan. Elff y Ziaja (‍2018) buscan sesgos en algunas de las variables de Freedom House, Polity, Democracy Index y V-Dem. La conclusión de este trabajo es que hay pruebas robustas de desviaciones sistemáticas que atribuyen a errores sistemáticos en las fuentes. Este tipo de comparaciones externas pueden promover la mejora de los índices y actúan como una especie de «auditorías» externas que pueden permitir futuras mejoras en los índices

CONCLUSIÓN[Subir]

Los índices de democracia gozan de buena salud en la actualidad, la creación de V-dem agrupando a muchos de los autores de breves proyectos previos desarrollados en los 90 y los 2000 y su filosofía de ampliar las mediciones dota de una gran base de datos a los científicos sociales. No obstante, los índices presentan aún serias limitaciones que deben ser tenidas en cuenta

En la actualidad se siguen actualizando y publicando de manera relativamente periódica seis de los índices aquí tratados (Freedom in the World, Democracy Index, Polity5, V-Dem, Global State of Democracy y BTI)^[15], lo que puede ser interpretado como muestra de la buena salud de la que gozan estas metodologías, a pesar de los problemas de accesibilidad a los datos que presentan. De hecho, durante la preparación de este artículo se han encontrado dificultades para acceder a las metodologías y resultados de algunos de los índices (principalmente aquellos que ya no se actualizan). Este problema se ejemplifica bien en Measures of Democracy/Index of Democratization. Se publicó originalmente como Index of Democratization en el libro Democratization: A comparative Analysis of 170 Countries (‍Vanhanen, 2003) conteniendo datos desde 1999 hasta el año 2001. En principio enlazaba a una web donde se encontraba el resto de los datos, pero dicho enlace no parece ya estar operativo debido a que han cambiado la dirección de la base de datos.^[16]. Es necesario leer publicaciones posteriores del autor para saber que este trabajo se continuó con ligeros cambios metodológicos con otro nombre: Measures of Democracy. Los datos del proyecto bajo este nombre se encuentran en otra web (‍Finnish Social Science Data Archive, 2019). Esta dificultad en la búsqueda de información de un índice cuyo proyecto es esencialmente el mismo no genera demasiada confianza y desincentiva el uso de la herramienta.

En otros casos los problemas se localizan en torno a la presentación de datos que suelen mostrarse en formatos incómodos para su uso posterior o solo se manejan en monografías o artículos académicos que pueden tener un acceso difícil para una parte del público general. Afortunadamente en los índices que se siguen publicando estos problemas son menos graves y suelen tener webs relativamente accesibles.

Pero independientemente de este tipo de cuestiones de formato, existen otras profundas limitaciones determinadas por el uso generalizado de concepciones estáticas y linéales de la democracia que lleva a formulaciones, en ocasiones, tautológicas para explicar los procesos de democratización. Me refiero fundamentalmente a dos elementos que pueden considerarse puntos débiles de los índices de democracia y que constituyen serios desafíos metodológicos para el futuro.

En cuanto a la primera de las limitaciones, me refiero a la hegemónica visión de la democracia atendiendo a sus características institucionales y procedimentales por encima de las culturales. Es cierto que algunos índices (V-Dem, Democracy Index y GSoD) miden cada vez más variables relacionadas con la cultura política, pero el foco se suele situar en las instituciones y su funcionamiento, olvidando que estas se sustentan en la cultura política de la población. Incluso Effective Democracy Index tiene este problema, lo que es llamativo dado que se presenta en un libro dedicado al cambio cultural y la democracia (‍Inglehart y Welzel, 2006).

La escasez de este tipo de variables se puede explicar en la complejidad de su medición cuando se maneja una gran cantidad de casos. Por un lado, el uso de encuestas está limitado en partes del mundo y puede comportar un coste económico elevado y, por otro lado, el estudio de casos mediante métodos cualitativos conlleva mucho tiempo. En este sentido es lógico pensar que los grandes índices no incluyan estas mediciones de tipo cultural, pero esto contrasta cada vez más con las corrientes académicas que otorgan gran importancia a la cultura política en la democracia (‍Almond y Verba, 1989), ya sea a través de conceptos como el capital social que establece Putnam (‍1994) y que matizan posteriormente otros autores (‍Tarrow, 1996; ‍Ostrom, 1999; ‍Boix y Posner, 2000; ‍Vásquez-González, 2018) o a través del estudio de fenómenos relacionados con la cultura política (‍Markoff, 1998; ‍Brugué, Font, y Carmona, 2003; ‍Inglehart, 2003; ‍Tilly y Tarrow, 2016; ‍Fishman; 2017; ‍Radcliff, 2019).

Es relevante, por ejemplo, el ejercicio de Fuchs y Roller (‍2018) en que se complementan mediciones de índices con la percepción subjetiva de los ciudadanos a través de datos de encuestas. Este planteamiento utiliza preguntas indirectas sobre democracia de la Encuesta Mundial de Valores y la Encuesta Social Europea para obtener información sobre la cultura política.

La segunda limitación está relacionada con esta primera y se refiere a la dificultad para incorporar la realidad local de la práctica democrática a los índices. La importancia de la cultura política aumenta al descender al terreno local. En ese contexto los comportamientos de los ciudadanos y las interacciones políticas que se encuentran en la vida diaria son clave. Este escenario político local ofrece una visualización de las dinámicas democráticas o autocráticas. Por ello la medición del funcionamiento de la democracia a nivel local podría aportar mucho a los estudios de democracia, así como convertirse en una poderosa herramienta para hacer estudios sobre la relación entre este funcionamiento político local y elementos históricos, económicos y sociológicos.

Sin embargo, sigue siendo el estado-nación casi el único objeto de medición. No es común en las definiciones de democracia o en las metodologías de los índices hacer referencia a que la democracia sea un fenómeno intrínsecamente de escala nacional, pero sí que es la escala utilizada. Esta estandarización tiene sentido en el uso de los índices como herramientas para hacer comparaciones internacionales y para la combinación con otras mediciones estandarizadas a nivel nacional, pero no necesariamente en la operacionalización del concepto de democracia. Esta ausencia de aproximaciones a otras escalas genera vacíos importantes en el estudio de la democracia. Una aproximación cuantitativa a escalas subestatales podría ser interesante en muchos estudios, por ejemplo, las ideas de Putnam sobre la distinción entre el norte y el sur de Italia en cuestión democrática (‍Putnam, 1994) se verían reforzadas o desestimadas por una herramienta así. Una sensibilidad a escalas locales abriría una oportunidad a las teorías deliberativas y participativas de la democracia (‍Cunningham, 2002: 163-183; ‍Lafont, 2021) para analizar casos de estudio, realizar investigaciones comparativas o similares con mayor facilidad. En la actualidad V-Dem agrega un índice de democracia deliberativa, pero mantiene la escala nacional.

Hay, además, razones históricas para otorgar más importancia a los niveles locales Tenemos constancia de prácticas de gobierno con características democráticas en distintos momentos de la historia y en lugares muy diversos. Existen ejemplos tanto en la historiografía más clásica o eurocéntrica con los casos de la Atenas clásica y las ciudades-repúblicas italianas, circunscritas ambas a ciudades o extensiones territoriales pequeñas (‍Dunn, 1995), como en la historiografía más alternativa con los casos del reino mesopotámico de Mari, en el tercer y segundo milenio antes de Cristo (‍Keane, 2018: 136-153; ‍Stasavage, 2021: 48-50); las repúblicas de la India Antigua, entre el siglo vi a.C. y el siglo ii d.C. (‍Muhlberger, 2011; ‍Stasavage, 2021: 50-52), las instituciones y principios presentes en el Islam más temprano, como la shura y el waqf (‍Keane, 2018: 153-179; ‍Stasavage, 2021: 193-208); los thing nórdicos y en particular el de la mancomunidad islandesa conocido como althing, entre 930 y 1264 (‍Dahl, 1992: 44; ‍Pires Boulhosa, 2011); o el autogobierno de las aldeas de los hurones, en Norteamérica (‍Stasavage, 2021: 52-56).

Consciente de lo arriesgado de este tipo de argumentos debemos evidentemente advertir que no estamos afirmando que estos pueblos o culturas deban ser calificados hoy como democráticos, pero sí que existieron prácticas de gestión política interesantes a escalas no estatales que los historiadores están rescatando al atender a la escala local incluso cuando ya en la época moderna y contemporánea existían los estados y las naciones (‍Isakhan y Stockwell, 2011; ‍Keane, 2018).

A pesar de estos problemas los índices son unas herramientas con gran utilidad para muy diversos estudios en las ciencias sociales y especialmente algunos de ellos parecen tener un futuro prometedor gracias al crecimiento en importancia, las constantes revisiones de la metodología y las mejoras en la presentación de la información. No obstante, el decalaje entre las concepciones formales de democracia que manejan y la naturaleza de la crisis actual que sufre este modelo social y político, limita la capacidad que tienen como «herramientas de predicción». Podríamos decir que resultan eficaces para identificar quiebras repentinas de la democracia, pero algo más lentas y torpes para identificar nuevas amenazas que pasan por una lenta y más sutil erosión de la calidad democrática que abre las puertas a otras opciones de corte autoritario.

Debido a la naturaleza compleja de los índices, es necesario conocer suficiente sobre estos para que, en el momento de utilizarlos o consultarlos, quede claro qué se está midiendo y cuáles son las limitaciones que han moldeado la medición. Esta es la principal intención de este artículo: realizar un recorrido por las características de algunos de los principales índices de democracia para que los interesados en los mismos tengan una idea general de su funcionamiento, las lógicas que los impulsan y sus puntos débiles.