RESUMEN

Tras aprobarse la estrategia de mainstreaming de género en la IV Conferencia Mundial de la Mujer de Naciones Unidas (Beijing, 1995), la igualdad de género ha ido tomando cada vez más peso como un elemento clave que incluir no solo en la fase de diseño y formulación de las políticas, sino también en su evaluación. A este respecto, en las últimas décadas diferentes propuestas teórico-metodológicas se han ido desarrollando en materia de evaluación e igualdad de género. Esta nota de investigación persigue contribuir a la literatura y práctica emergente sobre evaluación de políticas de igualdad de género. En concreto, a partir de una revisión de la literatura existente sobre evaluación y género, reflexiona sobre qué implica evaluar el éxito y cómo hacerlo en estas políticas concretas. Los resultados ponen sobre la mesa la pertinencia de definir el «éxito» de dichas políticas y los criterios específicos de evaluación de las mismas, de modo contextualizado y negociado. Asimismo, sugieren la utilización de diversas herramientas —desarrolladas en el campo de las políticas de género y de la evaluación— para captar la complejidad del cambio en materia de igualdad de género.

Palabras clave: programas y políticas públicas, políticas de igualdad de género, género y evaluación, criterios de evaluación, evaluación feminista.

ABSTRACT

After the gender mainstreaming strategy was approved at the 4th World Conference on Women of United Nations (Beijing, 1995), gender equality has been increasingly recognized as a key element to be included not only in the phases of policy design and formulation but also in the evaluation. In this regard, for the last decades different theoretical-methodological proposals have been developed for evaluation and gender equality. This research note aims at contributing to the emerging literature and practice on evaluation of gender equality policies. Specifically, based on the review of the existing literature on evaluation and gender equality, it reflects on what does assessing success mean and how to do it in the case of gender equality policies. The results show the relevance of defining success of this kind of polices as well as the specific criteria to evaluate them, in a contextualised and negotiated way. The results also suggest using several methodological tools -developed in the field of gender equality policies and evaluation- in order to capture the complexity of the change in gender equality.

Keywords: public programmes and policies, gender equality policies, gender and evaluation, evaluation criteria, feminist evaluation.

Cómo citar este artículo / Citation: Espinosa-Fajardo, J. y Bustelo, M. (2019). ¿Cómo evaluamos el éxito de las políticas de igualdad de género? Criterios y herramientas metodológicas. Revista Española de Ciencia Política, 49, 151-‍172. Doi:  https://doi.org/10.21308/recp.49.07

SUMARIO

  1. Resumen
  2. Abstract
  3. INTRODUCCIÓN
  4. LA IGUALDAD DE GÉNERO EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS
    1. La evaluación con enfoque de género: reflexiones sobre el proceso de evaluación y la valoración del éxito en términos de igualdad
    2. La evaluación de políticas de igualdad: aportes sobre criterios de evaluación
  5. REPENSANDO LA EVALUACIÓN DEL ÉXITO DE LAS POLÍTICAS DE IGUALDAD: CRITERIOS Y HERRAMIENTAS METODOLÓGICAS
    1. Criterios de evaluación
    2. Herramientas metodológicas
  6. CONCLUSIONES
  7. AGRADECIMIENTOS
  8. Notas
  9. Referencias

INTRODUCCIÓN[Subir]

Desde finales de la década de los noventa del siglo xx, la igualdad de género se ha ido incorporando como un tema clave en los debates teórico-metodológicos de la disciplina de la evaluación, así como en la práctica evaluativa de los organismos internacionales, las Administraciones públicas y las organizaciones sociales. Como efecto de la IV Conferencia Mundial de Naciones Unidas sobre la Mujer (Beijing, 1995) y de la adopción de la estrategia de mainstreaming de género, la inclusión de la perspectiva de género en evaluación comenzó a considerarse como un elemento clave para promover políticas públicas más eficaces en la promoción de la igualdad de género y del desarrollo humano. En esta línea, en las dos últimas décadas se ha producido una demanda de este tipo de praxis por parte de diferentes agencias del sistema de Naciones Unidas, Administraciones públicas, organizaciones sociales feministas y la comunidad evaluadora sensible al género. También con un foco en la igualdad, tanto la Unión Europea como la Administración pública española han impulsado la evaluación del impacto de género de todas las políticas públicas y han promovido la evaluación de las políticas de igualdad de género. El objetivo ha sido la mejora y aprendizaje sobre dichas políticas públicas y su potencial transformador de género, así como la rendición de cuentas sobre los avances y desafíos en materia de igualdad.

En la actualidad, la Agenda 2030 reconoce la igualdad de género y el empoderamiento de las mujeres como elemento central para el desarrollo sostenible a la par que la Agenda Global de Evaluación (2016-‍2020) subraya la igualdad entre mujeres y hombres como un valor clave en todo proceso evaluativo ( ‍Evalpartners. 2016. Global Evaluation Agenda 2016-‍2020. EvalPartners. Disponible en: https://bit.ly/2SZyI17 [consulta: 23 de febrero de 2019].EvalPartners, 2016). En este contexto de desarrollo de los contenidos de género en la evaluación, cabe reflexionar sobre qué implica la evaluación de políticas específicas de igualdad de género y cómo evaluar el «éxito» de las mismas.

Para ello, el presente artículo revisa las diferentes contribuciones teóricas y metodológicas que se han desarrollado en las últimas dos décadas en el área de la evaluación y el género. De forma específica, examina la amplia y reciente literatura sobre evaluación con enfoque de género y la pone en diálogo con las aún reducidas referencias relativas a la evaluación de políticas de igualdad de género propiamente dicha. En este sentido, el artículo pretende contribuir al debate teórico y metodológico sobre este tipo de evaluación sectorial y, con ello, a la práctica de las Administraciones públicas a este respecto, entendiendo la misma como una pieza clave para avanzar hacia sociedades más equitativas.

Con esta finalidad, el artículo se divide en dos grandes partes. En primer lugar, se presentan las diferentes propuestas para incluir la perspectiva de género en todo proceso evaluativo y para evaluar políticas de igualdad de género. A partir de aquí, en un segundo epígrafe se reflexiona sobre cómo evaluar el éxito de estas políticas sectoriales y, en concreto, qué criterios y herramientas pueden resultar de interés al respecto. El tercer apartado cierra el trabajo con unas conclusiones finales.

LA IGUALDAD DE GÉNERO EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS[Subir]

En las últimas décadas, la evaluación de políticas públicas se ha conformado como una disciplina con carácter propio dentro de la ciencia política y, hoy por hoy, se entiende como una actividad diferenciada de la investigación social. Aparte de medir y analizar las políticas públicas, la evaluación persigue enjuiciar y emitir juicios de valor sobre su diseño, implementación y/o resultados. En este sentido, se define como un proceso sistemático de análisis y valoración de la práctica política que tiene como finalidad el aprendizaje, la mejora y la rendición de cuentas al inicio, durante o al final de la ejecución de la política, además de contribuir a la iluminación para acciones futuras ( ‍Stufflebeam, Daniel y Anthony J. Shinkfield. 1987. Evaluación sistemática. Guía teórica y práctica. Madrid: Paidós; MEC.Stufflebeam y Shinkfield, 1987).

Por su parte, la igualdad de género, como hemos mencionado, comienza a ser considerado un tema clave en la evaluación de políticas públicas tras la Conferencia de Beijing (1995). Desde entonces, y a escala internacional, ha habido una demanda creciente en relación con la evaluación de cualquier política pública desde una perspectiva de género. Así ha quedado recogido en la Agenda 2030, en la Agenda Global de Evaluación (2016-‍2020) —promovida por EvalPartners

EvalPartners constituye un partenariado global, impulsado por la International Organization for Cooperation in Evaluation (IOCE) y UNICEF, que se orienta a fortalecer capacidades para impulsar políticas basadas en la evidencia así como sistemas y políticas de evaluación que pongan en el centro la equidad. Puede consultarse más información sobre esta iniciativa global en: https://evalpartners.org/about/about-us.

‍[2]
en la Semana Global de la Evaluación (2015, Nepal)— y en la creación de la iniciativa global EvalGender+

EvalGender+ constituye una de las cinco iniciativas globales que en 2015 se impulsan en el seno de EvalPartners y tiene como objetivo fortalecer la capacidad de demandar, desarrollar y usar evaluaciones con un foco en la igualdad de género y la equidad social. Toda la información sobre dicha iniciativa se encuentra disponible en: https://www.evalpartners.org/evalgender.

‍[3]
. En paralelo, hemos asistido a un impulso de la evaluación del impacto de género y de la evaluación de políticas de igualdad de género. Desde comienzos del siglo, en la Unión Europea la evaluación del impacto de género se comprende como un instrumento central para avanzar en la implementación del mainstreaming de género y, con ello, hacia sociedades más equitativas ( ‍EIGE. 2016. Gender Impact Assessment. Gender Mainstreaming Toolkit. EIGE. Disponible en: https://bit.ly/2tIWYW1.EIGE, 2016). En la misma dirección, en el escenario estatal, la Ley Orgánica 3/2007 para la Igualdad Efectiva de Mujeres y Hombres subraya la necesidad de realizar informes de impacto de género para asegurar que las leyes y políticas no reproduzcan la desigualdad estructural de género. En relación con la evaluación de las políticas de igualdad, diferentes han sido los ejercicios impulsados especialmente en Europa y América Latina ( ‍Zermeño, Fabiola. 2012. Cerrando el círculo. Ruta para la gestión de evaluaciones de políticas públicas de igualdad de género. Agència Catalana de Cooperació al Desenvolupament y PNUD. Disponible en: https://bit.ly/2T47Z3k [consulta: 23 de febrero de 2019].Zermeño, 2012;  ‍Bustelo, María. 2004. La evaluación de las políticas de género en España. Madrid: Ediciones La Catarata.Bustelo, 2004). No obstante, su praxis ha sido desigual y en el escenario europeo se ha visto afectada —como la evaluación de impacto de género— por los recortes ligados a la crisis y su especial repercusión en las políticas de igualdad ( ‍Paleo, Natalia y Alba Alonso. 2014. «¿Es solo una cuestión de austeridad? Crisis económica y políticas de género en España», Revista de Investigaciones Feministas, 5: 36-‍68.Paleo y Alonso, 2014).

En cuanto a los desarrollos teóricos y metodológicos relativos a evaluación y género, han ido en aumento en los últimos años y nos encontramos en un momento de florecimiento en este campo. Ahora bien, los aportes más significativos en esta materia versan sobre cómo incorporar la perspectiva de género en los marcos generales de evaluación ( ‍Stephens, Anne, Ellen D. Lewis y Shravanti Reddy. 2018a. Inclusive Systemic Evaluation for Gender Equality, Environments and Marginalized Voices. ONU Mujeres. Disponible en: https://bit.ly/2StM80j [consulta: 23 de febrero de 2019].Stephens et al., 2018a,  ‍Stephens, Anne, Ellen D. Lewis y Shravanti Reddy. 2018b. «Towards an Inclusive Systemic Evaluation for the SDGs: Gender equality, Environments and Marginalized voices (GEMs)», Evaluation 24 (2): 220-‍236. Disponible en: https://doi.org/10.1177/1356389018766093.2018b;  ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014;  ‍Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.Podems, 2010;  ‍Sielbeck-Bowen, Kathryn A., Sharon Brisolara, Denise Seigart, Camille Tischler y Elizabeth Whitmore. 2002. «Exploring Feminist Evaluation: The Ground from Which We Rise», New Directions for Evaluation, 96: 3-‍8. Disponible en: https://doi.org/10.1002/ev.62.Sielbeck-Bowen et al. 2002). A este respecto, todavía son escasas las referencias relativas a la evaluación de políticas y programas específicos de igualdad de género ( ‍Zermeño, Fabiola. 2012. Cerrando el círculo. Ruta para la gestión de evaluaciones de políticas públicas de igualdad de género. Agència Catalana de Cooperació al Desenvolupament y PNUD. Disponible en: https://bit.ly/2T47Z3k [consulta: 23 de febrero de 2019].Zermeño, 2012;  ‍Abarca, Humberto y Alejandra Faúndez. 2011. Evaluación con enfoque de igualdad de género y derechos humanos. Sistematización de la práctica en América Latina y El Caribe. Santiago de Chile: ONU Mujeres. Disponible en: https://bit.ly/2T4xUbe [consulta: 23 de febrero de 2019].Abarca y Faúndez, 2011;  ‍Bustelo, María. 2004. La evaluación de las políticas de género en España. Madrid: Ediciones La Catarata.Bustelo, 2004;  ‍Hunt, Juliet y Ria Brouwers. 2003. Review of Gender and Evaluation. Final Report to DAC Network on Development Evaluation. París: OECD.Hunt y Brouwers, 2003) y la más relevantes y recientes provienen de los estudios de género y política, pero no del campo de la evaluación ( ‍Krizsan, Andrea y Emanuela Lombardo. 2013. «The quality of gender equality policies: A discursive approach», European Journal of Women’s Studies, 20 (1): 77-‍92. Disponible en: https://doi.org/10.1177/1350506812456462.Kriszan y Lombardo, 2013).

No obstante, las diferentes contribuciones en materia de evaluación y género invitan a pensar y debatir sobre la evaluación del éxito de las intervenciones que promueven la igualdad de género. Grosso modo, el éxito de las políticas se vincula con su buen diseño, su buena ejecución y sus buenos resultados. Aplicado al ámbito específico de la igualdad de género, esto se traduce en un diseño que responda a las problemáticas existentes en materia de desigualdad de género y discriminación contra las mujeres; en unos procesos y mecanismos que aseguren un adecuado abordaje del problema, y en unos resultados que impliquen cambios en relación a la situación de partida. La literatura examinada alimenta la reflexión sobre la evaluación de políticas de igualdad de género propiamente dicha, un área aún en proceso de desarrollo.

¿Qué supone la evaluación? ¿Cómo evaluar el éxito en términos de igualdad de género? ¿Qué criterios pueden definirse para evaluar el éxito de las políticas de igualdad? ¿Hay un conjunto de criterios de evaluación que pueden usarse en todas las ocasiones o los criterios deberían ser específicos, adaptados a los diferentes contextos y políticas? ¿Qué herramientas pueden utilizarse para llevar a cabo una evaluación del éxito de las políticas de igualdad? A continuación, se revisan las referencias más relevantes relativas a la incorporación del enfoque de género en evaluación

En los últimos años, diferentes han sido las propuestas teóricas y metodológicas relativas a la incorporación del enfoque de género en evaluación. Entre ellas cabe destacar: la «evaluación feminista» (

Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.

Brisolara et al., 2014
;

Hay, Katherine, Ratna M. Sudarshan y Ethel Mendez. 2012. «Why a Special issue on Evaluating Gender and Equity», Indian Journal of Gender Studies, 19 (2): 179-‍186. Disponible en: https://doi.org/10.1177/097152151201900201.

Hay et al.,2012
;

Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.

Podems, 2010
;

Sielbeck-Bowen, Kathryn A., Sharon Brisolara, Denise Seigart, Camille Tischler y Elizabeth Whitmore. 2002. «Exploring Feminist Evaluation: The Ground from Which We Rise», New Directions for Evaluation, 96: 3-‍8. Disponible en: https://doi.org/10.1002/ev.62.

Sielbeck-Bowen et al. 2002
); la «evaluación sensible al género» (

Ligero Lasa, Juan Andrés, Julia Espinosa Fajardo, Carmen Mormeneo Cortés y María Bustelo Ruesta. 2014. Diferentes aproximaciones para hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo. Madrid: MAEC.

Ligero et al., 2014
); la «evaluación con enfoque transformador de género» (

Espinosa, Julia y María Tamargo. 2015. «¿Cómo integrar un enfoque transformador de género en la evaluación de políticas públicas? Debates y propuestas», SinerGias-Cuadernos del Área Género, Sociedad y Políticas. Buenos Aires: FLACSO- Argentina.

Espinosa y Tamargo, 2015
); la «evaluación desde una perspectiva de género+» (

Bustelo, María. 2017. «Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process», Journal of Women, Politics and Policy, 38 (1): 84-‍101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211.

Bustelo, 2017
), y la «evaluación responsiva al género» (

Bamberger, Michael, Marco Segone y Florencia Tateossian. 2016. Evaluating Sustainable Development Goals With a «No one left behind» lens through equity-focused and gender-responsive evaluations. Nueva York: ONU Mujeres, EvalGender+ y IOCE.

Bamberger et al., 2016
;

UNEG. 2011. Handbook for Integrating Human Rights and Gender Equality Perspectives in Evaluations in the UN System. Nueva York: UNEG. Disponible en: https://bit.ly/2ICK1rl [consulta: 23 de febrero de 2019].

UNEG, 2011
;

ONU Mujeres. 2011. UN Women’s Guide to GE / HR Responsive Evaluation. Nueva York: ONU Mujeres. Disponible en: https://bit.ly/2cnV9FE [consulta: 23 de febrero de 2019].

ONU Mujeres, 2011
).

‍[4]
, así como a la evaluación de políticas de igualdad para, en el siguiente apartado, presentar propuestas específicas relativas a qué criterios y herramientas parecen los más idóneos para evaluar el éxito de dichas políticas.

La evaluación con enfoque de género: reflexiones sobre el proceso de evaluación y la valoración del éxito en términos de igualdad [Subir]

En las últimas dos décadas hemos asistido a la emergencia de diferentes propuestas teórico-metodológicas relativas a cómo incorporar la perspectiva de género en evaluación para generar políticas públicas con mayor poder transformador en materia de igualdad. Las mismas exploran el propio proceso de evaluación de políticas, en qué consiste y qué implica medir y valorar el éxito en términos de igualdad de género. En este sentido, ayudan a repensar la evaluación de las políticas de igualdad propiamente dichas.

Si revisamos la publicación seminal sobre «evaluación feminista» ( ‍Seigart, Denise y Sharon Brisolara (eds.). 2002. «Feminist Evaluation. Explorations and Experiences», New Directions for Program Evaluation, 96: 1-‍2.Seigart y Brisolara, 2002;  ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014), la definición que realizan de los principios de la «evaluación feminista» aporta reflexiones sobre qué supone evaluar y qué es necesario considerar si queremos examinar el éxito de las políticas públicas en relación con la igualdad de género.

Por una parte, entre los principios de la «evaluación feminista» (ver cuadro 1) se subraya que el conocimiento generado en la evaluación está marcado por quien conoce; es contingente cultural, social y temporalmente, y es un poderoso recurso que debe ser de y para la gente que lo genera, lo sostiene y lo comparte. Además, se reconoce que existen múltiples formas de conocer, algunas más privilegiadas que otras. En esta dirección, se sostiene que nuestros entendimientos y conocimientos evaluativos son parciales y deben ser considerados dentro de sus contextos, que algunas voces suelen ser sistemáticamente ignoradas o silenciadas y que ciertas lógicas o racionalidades están más legitimadas que otras. Por lo tanto, en toda evaluación es necesario cuestionar lo que se considera conocimiento, cómo se genera y quién es capaz de generarlo.

En esta misma línea, la «evaluación feminista» subraya la importancia de la participación de las personas en la construcción del significado y de incluir perspectivas múltiples y diversas en los procesos evaluativos. Desde una perspectiva feminista, la «objetividad» se vincula con la rendición de cuentas, el posicionamiento y la conciencia de la parcialidad ( ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014: 18). La evaluación no puede comprenderse solo como una actividad técnica sino profundamente política, algo que viene subrayándose desde hace tiempo en la literatura clásica sobre evaluación de programas (entre otros,  ‍Palumbo, D. J. (ed.). 1987. The Politics of Program Evaluation. Newbury Park: Sage.Palumbo, 1987;  ‍Weiss, Carol H. 1998. Evaluation. Methods for Studying Programs and Policies. Second Edition. Upper Saddle River (NJ): Prentice Hall.Weiss, 1998). Para las evaluadoras feministas la acción y la incidencia política son respuestas adecuadas moral y éticamente ( ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014).

Cuadro 1.

Principios de la evaluación feminista

  1. El conocimiento es contingente cultural, social y temporalmente.

  2. El conocimiento es un recurso poderoso que sirve a propósitos explícitos o implícitos.

  3. La evaluación es una actividad política; las experiencias, perspectivas y características personales de los evaluadores provienen y conducen a una postura política particular.

  4. Los métodos de investigación, las instituciones y las prácticas son construcciones sociales.

  5. Hay múltiples modos de conocimiento.

  6. La acción y la incidencia política son respuestas adecuadas moral y éticamente para las evaluadoras feministas.

  7. La discriminación de género es sistémica y estructural.

  8. Las desigualdades de género son una manifestación de la injusticia social. Esta discriminación intersecciona con la raza, la clase y la cultura y está inextricablemente ligada a los tres.

Fuente: Brisolara et al. ( ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.2014: 23-‍31).

En esta misma línea, Hay —en su capítulo del Special issue on Evaluating Gender and Equity de la Indian Journal of Gender Studies— añade que no hay una definición de éxito «correcta» sino que conviven definiciones diferentes y competitivas en la evaluación de políticas. En este punto, propone que la evaluación parta de la identificación de la «teoría del programa» —la concepción teórica sobre cómo se produce el cambio esperado—, evidencie las diferentes visiones sobre el programa e indague en las lagunas que impiden un mejor abordaje de las desigualdades de género. La evaluación ha de ser un espacio para mostrar las diferentes definiciones del éxito y cuestionar los discursos dominantes. Las evaluadoras y evaluadores feministas, además, han de asumir la responsabilidad de que las evaluaciones sean útiles para los diferentes agentes implicados en la ejecución y no solo para las agencias financiadoras ( ‍Hay, Katherine, Ratna M. Sudarshan y Ethel Mendez. 2012. «Why a Special issue on Evaluating Gender and Equity», Indian Journal of Gender Studies, 19 (2): 179-‍186. Disponible en: https://doi.org/10.1177/097152151201900201.Hay et al., 2012). De igual modo, Podems subraya que las evaluadoras y evaluadores feministas han de cuestionar la posición subordinada de las mujeres en la sociedad, ser reflexivos e integrar los ideales feministas en su planteamiento y desarrollo de la evaluación ( ‍Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.Podems, 2010).

La relevancia del papel de los y las profesionales de la evaluación en la valoración del éxito en términos de igualdad es también destacada en las propuestas de Ligero et al. ( ‍Ligero Lasa, Juan Andrés, Julia Espinosa Fajardo, Carmen Mormeneo Cortés y María Bustelo Ruesta. 2014. Diferentes aproximaciones para hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo. Madrid: MAEC.2014) y aquellas publicadas desde los organismos internacionales ( ‍Bamberger, Michael, Marco Segone y Florencia Tateossian. 2016. Evaluating Sustainable Development Goals With a «No one left behind» lens through equity-focused and gender-responsive evaluations. Nueva York: ONU Mujeres, EvalGender+ y IOCE.Bamberger et al., 2016;  ‍UNEG. 2011. Handbook for Integrating Human Rights and Gender Equality Perspectives in Evaluations in the UN System. Nueva York: UNEG. Disponible en: https://bit.ly/2ICK1rl [consulta: 23 de febrero de 2019].UNEG, 2011;  ‍ONU Mujeres. 2011. UN Women’s Guide to GE / HR Responsive Evaluation. Nueva York: ONU Mujeres. Disponible en: https://bit.ly/2cnV9FE [consulta: 23 de febrero de 2019].ONU Mujeres, 2011). Según estas contribuciones, tanto la sensibilidad al género de los profesionales involucrados en la evaluación como una cultura organizativa proigualdad de género resultan centrales en la evaluación de políticas.

Por otro lado, también entre los principios de la «evaluación feminista», se reconoce que la discriminación de género es sistémica y estructural y las desigualdades de género son una manifestación de la injusticia social e intersecciona con otras formas de desigualdad ( ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014;  ‍Seigart, Denise y Sharon Brisolara (eds.). 2002. «Feminist Evaluation. Explorations and Experiences», New Directions for Program Evaluation, 96: 1-‍2.Seigart y Brisolara, 2002). La evaluación del éxito, por ende, ha de considerar en qué modo se atiende a estas desigualdades estructurales y su interrelación con otros tipos de desigualdad. La necesidad de analizar cómo las políticas diagnostican y abordan las causas estructurales de la desigualdad de género y generan cambios en esta materia es un elemento presente también en otras publicaciones cercanas a la «evaluación feminista» ( ‍Bustelo, María. 2017. «Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process», Journal of Women, Politics and Policy, 38 (1): 84-‍101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211.Bustelo, 2017;  ‍Espinosa, Julia y María Tamargo. 2015. «¿Cómo integrar un enfoque transformador de género en la evaluación de políticas públicas? Debates y propuestas», SinerGias-Cuadernos del Área Género, Sociedad y Políticas. Buenos Aires: FLACSO- Argentina.Espinosa y Tamargo, 2015;  ‍Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.Podems, 2010;  ‍Batliwala, Srilatha y Alexandra Pittman. 2010. Capturing Change in Women’s Realities. A Critical Overview of Current Monitoring & Evaluation Frameworks and Approaches. Toronto: AWID. Disponible en web: https://bit.ly/2u83Njq [consulta: 23 de febrero de 2019].Batliwala y Pittman, 2010). De este modo, estas propuestas de evaluación ayudan a detectar cuándo las políticas a evaluar no son neutrales respecto al género y a evitar el fenómeno de su evaporación. Dado que uno de los principales propósitos de la evaluación es el de mejorar lo que está siendo evaluado e iluminar futuras intervenciones, dicha evaluación tiene el enorme potencial de detectar dónde, cuándo y cómo se ha perdido dicho componente de género a lo largo del ciclo de vida de una política, para reincluirlo ( ‍Bustelo, María. 2017. «Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process», Journal of Women, Politics and Policy, 38 (1): 84-‍101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211.Bustelo, 2017). De igual forma, las más recientes publicaciones sobre género y evaluación enfatizan la necesidad de analizar cómo la política interviene e impacta en la relación entre desigualdad de género y otros factores de desigualdad ( ‍Stephens, Anne, Ellen D. Lewis y Shravanti Reddy. 2018a. Inclusive Systemic Evaluation for Gender Equality, Environments and Marginalized Voices. ONU Mujeres. Disponible en: https://bit.ly/2StM80j [consulta: 23 de febrero de 2019].Stephens et al., 2018a,  ‍Stephens, Anne, Ellen D. Lewis y Shravanti Reddy. 2018b. «Towards an Inclusive Systemic Evaluation for the SDGs: Gender equality, Environments and Marginalized voices (GEMs)», Evaluation 24 (2): 220-‍236. Disponible en: https://doi.org/10.1177/1356389018766093.2018b;  ‍Bustelo, María. 2017. «Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process», Journal of Women, Politics and Policy, 38 (1): 84-‍101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211.Bustelo, 2017).

En paralelo, ante la tecnocratización del enfoque de género y la evaporación de su naturaleza transformadora en la praxis política, Espinosa y Tamargo llaman la atención sobre la necesidad de repolitizar el concepto de género. La valoración del éxito en términos de igualdad de género no puede reducirse a un conjunto de listas de chequeo ligadas al diseño, los procesos y los resultados ( ‍Espinosa, Julia y María Tamargo. 2015. «¿Cómo integrar un enfoque transformador de género en la evaluación de políticas públicas? Debates y propuestas», SinerGias-Cuadernos del Área Género, Sociedad y Políticas. Buenos Aires: FLACSO- Argentina.Espinosa y Tamargo, 2015). En concreto, proponen dirigir la mirada a cómo se define la igualdad de género —en tanto que objetivo político altamente controvertido y elástico— en las diferentes políticas y en qué medida se atiende a las causas estructurales de la desigualdad. No puede equiparse el avance en términos de igualdad solo con la integración de las mujeres en las diferentes esferas sociales, políticas y sociales. Por el contrario, y en línea con la «evaluación feminista», se han de considerar las desiguales relaciones de poder entre mujeres y hombres a la hora de plantear cualquier ejercicio evaluativo ( ‍Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.Podems, 2010). Por último, otro de los principios relacionados con la evaluación feminista es el de la autorreflexividad. Dado que se consideran las desigualdades de género como estructurales y sistémicas, además de dinámicas, estas deben ser identificadas y exploradas críticamente y de manera constante. Así, la evaluación feminista aplica esta visión crítica y reflexiva de un mundo que todavía considera androcéntrico y con unas estructuras de poder determinadas que hay que desvelar y cuestionar ( ‍Bustelo, María. 2017. «Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process», Journal of Women, Politics and Policy, 38 (1): 84-‍101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211.Bustelo, 2017).

La evaluación feminista también debe analizar críticamente los enfoques dominantes de evaluación. En cuanto a cómo valorar los cambios en materia de igualdad, los marcos teórico-metodológicos de la evaluación revelan que no existe un único modo ( ‍Ligero Lasa, Juan Andrés, Julia Espinosa Fajardo, Carmen Mormeneo Cortés y María Bustelo Ruesta. 2014. Diferentes aproximaciones para hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo. Madrid: MAEC.Ligero et al., 2014). Por el contrario, conviven al menos cuatro aproximaciones evaluativas que pueden usarse de forma combinada: a) la evaluación impulsada por el cambio crítico o paradigma transformador; b) la evaluación basada en la teoría del programa; c) la evaluación orientada a las partes interesadas o stakeholders, y d) la evaluación orientada por juicios finales sumativos (ibid.). Cada una de estas aproximaciones se traduce en diferentes modos de organizar el proceso de indagación en la evaluación y de delimitar los criterios de evaluación.

La evaluación impulsada por el cambio crítico o paradigma transformador, donde se integraría la mayor parte de las propuestas de la «evaluación feminista», busca la justicia social en términos de igualdad de género. Los criterios de evaluación, en este caso, son definidos atendiendo a la autonomía, capacidades y participación de las personas con menos voz y a situaciones específicas de exclusión o desigualdad. Un criterio, en este caso, puede ser el empoderamiento.

Por su parte, la evaluación basada en la teoría del programa, donde se inserta la propuesta feminista de Hay et al. ( ‍Hay, Katherine, Ratna M. Sudarshan y Ethel Mendez. 2012. «Why a Special issue on Evaluating Gender and Equity», Indian Journal of Gender Studies, 19 (2): 179-‍186. Disponible en: https://doi.org/10.1177/097152151201900201.2012), persigue entender cómo se genera el cambio considerando los elementos estructurales de la política así como su mecanismos, procesos y resultados. En esta línea, los criterios de evaluación son definidos atendiendo a las dimensiones clave de la teoría específica de cada política o programa concreto y cómo se aborda la igualdad de género en cada una de ellas. Por ejemplo, podrían incluirse como criterios la calidad de los mecanismos para la participación de las mujeres o los impactos en términos de mayor integración laboral de las mismas.

La evaluación orientada a las partes interesadas o stakeholders, que encuentra eco en toda la literatura revisada, se centra en organizar la evaluación a partir de los intereses relativos al género de las personas implicadas. Así, los criterios de evaluación serán delimitados conforme los elementos de valor que las mismas consideren centrales en esta materia.

Por último, pero no menos importante, la evaluación orientada por juicios finales sumativos evalúa las intervenciones de acuerdo con criterios y estándares preestablecidos. La misma conforma el modelo presente en las principales propuestas procedentes de los organismos internacionales ( ‍Bamberger, Michael, Marco Segone y Florencia Tateossian. 2016. Evaluating Sustainable Development Goals With a «No one left behind» lens through equity-focused and gender-responsive evaluations. Nueva York: ONU Mujeres, EvalGender+ y IOCE.Bamberger et al., 2016;  ‍UNEG. 2011. Handbook for Integrating Human Rights and Gender Equality Perspectives in Evaluations in the UN System. Nueva York: UNEG. Disponible en: https://bit.ly/2ICK1rl [consulta: 23 de febrero de 2019].UNEG, 2011;  ‍ONU Mujeres. 2011. UN Women’s Guide to GE / HR Responsive Evaluation. Nueva York: ONU Mujeres. Disponible en: https://bit.ly/2cnV9FE [consulta: 23 de febrero de 2019].ONU Mujeres, 2011). En este caso, se incluye una mirada de género en los criterios clásicos establecidos por el Comité de Ayuda al Desarrollo de la OCDE (CAD-OCDE) en la década de los noventa: eficacia, eficiencia, impacto, pertinencia y sostenibilidad. Aparte, se suman otros específicos como pueden ser el de inclusión o la no discriminación.

En todos los casos, sin embargo, existe una apuesta metodológica generalizada por utilizar métodos mixtos e incorporar las voces de todos los y las stakeholders, prestando atención a aquellos más excluidos. Dado el carácter complejo del cambio en materia de igualdad de género, esta opción metodológica se considera la más apropiada para lograr valorarlo y comprenderlo. Así, se observa tanto en aquellas contribuciones vinculadas con la «evaluación feminista» ( ‍Stephens, Anne, Ellen D. Lewis y Shravanti Reddy. 2018a. Inclusive Systemic Evaluation for Gender Equality, Environments and Marginalized Voices. ONU Mujeres. Disponible en: https://bit.ly/2StM80j [consulta: 23 de febrero de 2019].Stephens et al., 2018a,  ‍Stephens, Anne, Ellen D. Lewis y Shravanti Reddy. 2018b. «Towards an Inclusive Systemic Evaluation for the SDGs: Gender equality, Environments and Marginalized voices (GEMs)», Evaluation 24 (2): 220-‍236. Disponible en: https://doi.org/10.1177/1356389018766093.2018b;  ‍Bustelo, María. 2017. «Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process», Journal of Women, Politics and Policy, 38 (1): 84-‍101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211.Bustelo, 2017;  ‍Espinosa, Julia y María Tamargo. 2015. «¿Cómo integrar un enfoque transformador de género en la evaluación de políticas públicas? Debates y propuestas», SinerGias-Cuadernos del Área Género, Sociedad y Políticas. Buenos Aires: FLACSO- Argentina.Espinosa y Tamargo, 2015;  ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014;  ‍Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.Podems, 2010;  ‍Batliwala, Srilatha y Alexandra Pittman. 2010. Capturing Change in Women’s Realities. A Critical Overview of Current Monitoring & Evaluation Frameworks and Approaches. Toronto: AWID. Disponible en web: https://bit.ly/2u83Njq [consulta: 23 de febrero de 2019].Batliwala y Pittman, 2010;  ‍Seigart, Denise y Sharon Brisolara (eds.). 2002. «Feminist Evaluation. Explorations and Experiences», New Directions for Program Evaluation, 96: 1-‍2.Seigart y Brisolara, 2002) como en aquellas otras que provienen de otros marcos evaluativos ( ‍Bamberger, Michael, Marco Segone y Florencia Tateossian. 2016. Evaluating Sustainable Development Goals With a «No one left behind» lens through equity-focused and gender-responsive evaluations. Nueva York: ONU Mujeres, EvalGender+ y IOCE.Bamberger et al., 2016;  ‍Ligero Lasa, Juan Andrés, Julia Espinosa Fajardo, Carmen Mormeneo Cortés y María Bustelo Ruesta. 2014. Diferentes aproximaciones para hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo. Madrid: MAEC.Ligero et al., 2014;  ‍UNEG. 2011. Handbook for Integrating Human Rights and Gender Equality Perspectives in Evaluations in the UN System. Nueva York: UNEG. Disponible en: https://bit.ly/2ICK1rl [consulta: 23 de febrero de 2019].UNEG, 2011;  ‍ONU Mujeres. 2011. UN Women’s Guide to GE / HR Responsive Evaluation. Nueva York: ONU Mujeres. Disponible en: https://bit.ly/2cnV9FE [consulta: 23 de febrero de 2019].ONU Mujeres, 2011). De forma específica, la «evaluación feminista» entiende que los propios métodos de investigación son construcciones sociales, su diseño y aplicación pueden estar sesgados por las voces dominantes y existen múltiples modos de conocimiento ( ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014). El uso de métodos mixtos, para estas autoras, facilita comprender la política analizada atendiendo e intentando entender las diferentes perspectivas implicadas.

Revisemos ahora qué nos dice la bibliografía específica de evaluación de políticas de igualdad de género para, a posteriori, poner a ambas literaturas en diálogo sobre cómo valorar el éxito de dichas políticas, con qué criterios y herramientas.

La evaluación de políticas de igualdad: aportes sobre criterios de evaluación [Subir]

Como efecto de la adaptación de la estrategia de mainstreaming de género y junto con la reciente literatura sobre evaluación con enfoque de género, hemos asistido también al desarrollo de algunas propuestas teóricas y metodológicas sobre la evaluación de políticas de igualdad de género. Por una parte, existen estudios metaevaluativos y sistematizaciones sobre evaluaciones de planes y programas de género ( ‍Abarca, Humberto y Alejandra Faúndez. 2011. Evaluación con enfoque de igualdad de género y derechos humanos. Sistematización de la práctica en América Latina y El Caribe. Santiago de Chile: ONU Mujeres. Disponible en: https://bit.ly/2T4xUbe [consulta: 23 de febrero de 2019].Abarca y Faúndez, 2011;  ‍Bustelo, María. 2004. La evaluación de las políticas de género en España. Madrid: Ediciones La Catarata.Bustelo, 2004;  ‍Hunt, Juliet y Ria Brouwers. 2003. Review of Gender and Evaluation. Final Report to DAC Network on Development Evaluation. París: OECD.Hunt y Brouwers, 2003), donde se analiza cómo ha sido la praxis a este respecto. Por otra, encontramos metodologías sobre cómo llevar a cabo evaluaciones de políticas de igualdad propiamente dichas ( ‍Zermeño, Fabiola. 2012. Cerrando el círculo. Ruta para la gestión de evaluaciones de políticas públicas de igualdad de género. Agència Catalana de Cooperació al Desenvolupament y PNUD. Disponible en: https://bit.ly/2T47Z3k [consulta: 23 de febrero de 2019].Zermeño, 2012). Ambas contribuciones apuestan por la promoción de relaciones de poder equitativas a lo largo de todo el proceso evaluativo; la participación activa de los diferentes stakeholders, incluyendo a las mujeres y aquellas voces silenciadas, y el uso de métodos mixtos para captar la complejidad del cambio en términos de igualdad.

En cuanto a los criterios de evaluación, en su delimitación suele primar la evaluación orientada por juicios finales sumativos, combinada en ocasiones con la evaluación orientada por los stakeholders y con la especial atención al diseño y teoría subyacente a las intervenciones y al concepto de igualdad, además de a los procesos y los resultados ( ‍Bustelo, María. 2004. La evaluación de las políticas de género en España. Madrid: Ediciones La Catarata.Bustelo, 2004). En este sentido, se utilizan los criterios clásicos del CAD de forma generalizada incluyendo una mirada de género, añadiendo alguno específico —como la participación— y otros que puedan emerger del trabajo con stakeholders ( ‍Zermeño, Fabiola. 2012. Cerrando el círculo. Ruta para la gestión de evaluaciones de políticas públicas de igualdad de género. Agència Catalana de Cooperació al Desenvolupament y PNUD. Disponible en: https://bit.ly/2T47Z3k [consulta: 23 de febrero de 2019].Zermeño, 2012).

No obstante, una de las contribuciones más sugerentes a este respecto —el artículo de Kriszan y Lombardo  ‍Krizsan, Andrea y Emanuela Lombardo. 2013. «The quality of gender equality policies: A discursive approach», European Journal of Women’s Studies, 20 (1): 77-‍92. Disponible en: https://doi.org/10.1177/1350506812456462.(2013)— proviene de los estudios de género y política y no de la evaluación propiamente dicha. En efecto, estas autoras trabajan con el concepto de calidad que en el ámbito de la evaluación se liga más a sistemas específicos de calidad tales como las cartas de servicio, el modelo EFQM o las normas ISO, entre otras. Es más, dicho concepto se asocia más a la gobernanza, modernización y eficiencia de las administraciones públicas que propiamente a la evaluación del éxito de las políticas públicas. En todo caso, su propuesta de criterios resulta muy útil para la evaluación de políticas públicas de igualdad.

Las autoras distinguen dos tipos de criterios: criterios de contenido y criterios de proceso (ver tabla 1). De forma específica, definen tres criterios relativos al contenido («inclusión del género», «comprensión transformadora de la desigualdad» e «interseccionalidad») y dos criterios ligados a los procesos («empoderamiento de las mujeres» y «transformación incremental») (ibid.).

Tabla 1.
Criterios de contenido Criterios de proceso
Inclusión del género: grado de incorporación de los contenidos de género en la política. Empoderamiento de las mujeres: implicación del movimiento y las organizaciones de mujeres y feministas en todas las fases del ciclo político.
Comprensión transformadora de la desigualdad: diagnóstico consciente y medidas orientadas a abordar las causas estructurales de la desigualdad. Transformación incremental: cambios en materia de igualdad de género en relación a los legados prevalecientes en el contexto.
Interseccionalidad: atención a la interrelación en desigualdad de género y otros factores de desigualdad.

Desde la teoría y práctica de la evaluación, esta distinción establecida por Kriszan y Lombardo entre criterios de contenido y criterios de procesos resulta especialmente adecuada. Al evaluar las políticas de igualdad de género y debido a la evaporación del género a través del ciclo de políticas, resulta central examinar tanto el contenido (qué cuestiones de género e interseccionalidad finalmente se incluyen) como los procesos mediante los cuales se incluyen esas cuestiones de género. Como se subraya desde la teoría de la evaluación, el análisis de los procesos de una política es fundamental para comprender sus resultados. En efecto, se trata de la única forma de valorar qué factores facilitan y dificultan el cambio, en nuestro caso, en materia de igualdad.

REPENSANDO LA EVALUACIÓN DEL ÉXITO DE LAS POLÍTICAS DE IGUALDAD: CRITERIOS Y HERRAMIENTAS METODOLÓGICAS[Subir]

La literatura revisada revela que no existe un único modo de definir el éxito de las políticas públicas en términos de igualdad de género y son muy reducidas las propuestas teórico-metodológicas sobre cómo evaluarlo en el caso específico de las políticas de igualdad. De acuerdo con la «evaluación feminista», la definición y valoración del éxito no es un ejercicio meramente técnico o neutral. Por el contrario, refleja todo un proceso de construcción de conocimiento donde coexisten diferentes comprensiones del éxito. La evaluación per se es un proceso que crea significados y resulta conveniente identificar cómo se construyen los mismos.

En este punto, la teoría de la evaluación y la mayoría de las aproximaciones evaluativas enfatizan la necesidad de contextualizar y adaptar cualquier conjunto de criterios a las políticas, stakeholders y tiempos concretos. Solo la evaluación orientada por juicios finales sumativos opta por modelos predefinidos de criterios de cariz top-down. En cambio, el resto de aproximaciones —aquellas de carácter transformador, centradas en la teoría del programa o en los stakeholders— asumen la coexistencia de diferentes visiones del éxito y optan por el trabajo colaborativo en la definición de criterios ( ‍Ligero Lasa, Juan Andrés, Julia Espinosa Fajardo, Carmen Mormeneo Cortés y María Bustelo Ruesta. 2014. Diferentes aproximaciones para hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo. Madrid: MAEC.Ligero et al., 2014).

Kriszan y Lombardo ( ‍Krizsan, Andrea y Emanuela Lombardo. 2013. «The quality of gender equality policies: A discursive approach», European Journal of Women’s Studies, 20 (1): 77-‍92. Disponible en: https://doi.org/10.1177/1350506812456462.2013), en su contribución sobre criterios de políticas de igualdad, matizan que los criterios por los que se evalúan las políticas de género —incluyendo su propuesta— están abiertos a la contestación. Como subraya la «evaluación feminista», el conocimiento generado en la evaluación es cultural, social y temporalmente contingente ( ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014;  ‍Sielbeck-Bowen, Kathryn A., Sharon Brisolara, Denise Seigart, Camille Tischler y Elizabeth Whitmore. 2002. «Exploring Feminist Evaluation: The Ground from Which We Rise», New Directions for Evaluation, 96: 3-‍8. Disponible en: https://doi.org/10.1002/ev.62.Sharon y Brisolara, 2002) y el equipo de evaluación no debe sugerir qué definición de éxito es «correcta», sino reconocer diversas y competitivas definiciones y criterios de éxito ( ‍Hay, Katherine, Ratna M. Sudarshan y Ethel Mendez. 2012. «Why a Special issue on Evaluating Gender and Equity», Indian Journal of Gender Studies, 19 (2): 179-‍186. Disponible en: https://doi.org/10.1177/097152151201900201.Hay et al., 2012). Esas diferentes definiciones de éxito pueden provenir de diversas partes interesadas y sus perspectivas, y la evaluación debe ser el ámbito en el que esas perspectivas se examinan, comparten y negocian.

A partir de aquí, exploremos qué implicaciones tiene la literatura revisada a la hora de pensar en criterios de evaluación y herramientas concretas para valorar el éxito de las políticas de igualdad.

Criterios de evaluación [Subir]

En la evaluación de políticas de igualdad existe una tendencia a adoptar una aproximación evaluativa orientada por juicios finales sumativos, combinándose en algunas ocasiones con la aproximación basada en stakeholders. De esta manera, habitualmente se opta por utilizar los criterios clásicos del CAD, incluyendo alguno específico como la participación y, en ocasiones, revisando los criterios con los stakeholders. En efecto, los Gobiernos y las organizaciones internacionales requieren frecuentemene datos agregados de diferentes programas, regiones y países, muchas veces con una finalidad comparativa, lo que siempre es una tentación para la estandarización y la aplicación de criterios preestablecidos. Sin embargo, la adopción generalizada de criterios predefinidos puede traer consigo procesos evaluativos tecnocratizados y despolitizados, ya que al aplicarse directamente no se contextualizan ni revisan en cada situación concreta, y porque responden, fundamentalmente, a determinadas visiones institucionales sobre el éxito.

En este punto, como subrayan la «evaluación feminista» y los diferentes enfoques evaluativos críticos con las perspectivas racional-positivistas predominantes ( ‍Guba, Egon G. y Yvonne S Lincoln. 1989. Fourth Generation Evaluation. Londres: Sage.Guba y Lincoln, 1989;  ‍Patton, Michael. 2011. Developmental Evaluation. Applying Complexity Concepts to Enhace Innovation and Use. Nueva York: The Guildford Press.Patton, 2011, entre otros), es necesario reconocer que la evaluación en sí misma, y por lo tanto los criterios que en ella se utilizan, son construcciones sociales. Las prácticas y procesos de evaluación crean realidad. Más concretamente, lo que se evalúa y mide crea definiciones de éxito y, por tanto, es lo que finalmente cuenta como normas. Además, los actores con mejor posición para intervenir en las diferentes partes del ciclo político —incluida la evaluación— son los que eventualmente terminan definiendo esas normas, muy frecuentemente —y muchas veces inconscientemente— silenciando otras voces. Y precisamente, la evaluación de políticas de igualdad debe cuestionar estas ideas, prácticas y normas dominantes. De acuerdo con los criterios del CAD, el éxito se relaciona con la eficacia, la eficiencia, el impacto, la sostenibilidad y la pertinencia. Sin embargo, no se atiende en esta definición del éxito a cuestiones críticas ligadas a la especificidad, los actores y el contexto de cada política de igualdad. Resulta crucial, por ende, ser conscientes de estos peligros de preestablecer un conjunto cerrado de criterios de evaluación.

Por otro lado, la necesidad de los equipos de evaluación de ser prácticos y concretos —ya que necesitan realizar tareas específicas con limitaciones de tiempo y recursos— también juega a favor del uso de criterios ya establecidos. Habitualmente, estos equipos carecen de suficiente tiempo —al menos, un tiempo reconocido y pagado por el cliente de la evaluación— para el debate y discusión abierta de los criterios durante el proceso de evaluación. Por tanto, se precisa de un proceso consciente no solo en el lado de los equipos de evaluación, sino también en el de las instituciones que las encargan. Ahora bien, no se trata de un problema relativo a los comportamientos individuales —muchos profesionales de la evaluación están altamente comprometidos con la buena praxis—, sino a los sistemas y culturas de la evaluación.

También desde una perspectiva de los sistemas y culturas de evaluación, es necesario romper con la idea errónea de que la propia naturaleza de la evaluación —que persigue generar evidencias para emitir juicios— precisa de un conjunto de criterios predefinidos y fácilmente medibles. En efecto, la evaluación requiere de la «operacionalización» de cuestiones complejas en algo comprensible a partir del cual podemos recopilar datos y generar recomendaciones. Sin embargo, la desigualdad de género —como otros problemas sociales— requiere no solo de la evaluación de aspectos claramente mensurables (cuántas mujeres frente a hombres se benefician de una intervención concreta), sino de aspectos de más difícil medición (transformación en las pautas de conducta de mujeres y hombres respecto a un determinado fenómeno social).

En este sentido, se precisa que los criterios sean negociados y adaptados a cada situación, contexto y tiempo de evaluación y, de este modo, no reproduzcan las racionalidades y lógicas de poder dominantes. De acuerdo con las contribuciones analizadas, no es posible —ni conveniente— establecer criterios universales (que muchas veces vienen con o, en el peor de los casos, son sustituidos por un conjunto de «indicadores») para evaluar el éxito las políticas de igualdad de género. Los evaluadores y evaluadoras, a este respecto, han de contribuir a que no se salte una parte importante del proceso de evaluación donde se juega su carácter político y que se refiere a qué se entiende por éxito.

Dicho esto, la idea de tener cuidado de no imponer criterios predefinidos para evaluar las políticas de igualdad de género no significa que diferentes criterios no sean explorados de manera específica.

Tomando como base los establecidos por Kriszan y Lombardo ( ‍Krizsan, Andrea y Emanuela Lombardo. 2013. «The quality of gender equality policies: A discursive approach», European Journal of Women’s Studies, 20 (1): 77-‍92. Disponible en: https://doi.org/10.1177/1350506812456462.2013) e incluyendo cuestiones procedentes de la teoría de la evaluación y, más concretamente, de la «evaluación feminista», a continuación exploramos siete criterios para evaluar el éxito de las políticas de igualdad de género, considerando tanto su diseño como su implementación y sus resultados. Antes de entrar en cada uno de ellos, debemos señalar dos advertencias. En primer lugar, la forma de explorar estos criterios siempre ha de permitir el debate y cuestionamiento en su contexto, tiempo y por parte de los stakeholders. En segundo, en la definición de criterios debemos estar especialmente vigilantes para evitar tendencias de tecnocratización que terminan traduciendo la perspectiva de género en la evaluación en ejercicios simplistas de «contar mujeres».

Los siete criterios de evaluación que se proponen suponen una ampliación de los cinco identificados por Kriszan y Lombardo (ver tabla 2). En primer lugar, se propone el criterio de «inclusión del género», ya identificado por estas autoras. En segundo lugar, y tomando como base su criterio de «comprensión estructural de la desigualdad de género», diferenciamos tres criterios: 2) «compromiso político»; 3) «comprensión de la complejidad», y 4) «contextualización de la igualdad de género». Finalmente, también nos hacemos eco de los otros tres criterios de calidad y hacemos la siguiente propuesta: 5) «interseccionalidad»; 6) «participación y empoderamiento», y 7) «transformación incremental».

Tabla 2.

Criterios ampliados para evaluar el éxito de las políticas de igualdad

Criterios de Kriszan y Lombardo (2013) Criterios ampliados
Inclusión del género Inclusión del género. Abordaje de las diferentes dimensiones de género en estos distintos momentos del ciclo político y de forma contextualizada.
Comprensión transformadora de la desigualdad Compromiso político. Nivel de compromiso político existente, a lo largo del ciclo de la política, en relación a las dificultades y resistencias emergentes.
Comprensión de la complejidad. Grado en que se entiende y aborda la naturaleza estructural y sistémica de las desigualdades de género, incluyendo el cambio organizacional como una dimensión necesaria a explorar.
Contextualización de la igualdad de género. Comprensión de las diferentes interpretaciones y significados de la igualdad de género atendiendo a su contexto.
Interseccionalidad Interseccionalidad. Atención a la interrelación en desigualdad de género y otros factores de desigualdad.
Empoderamiento de las mujeres Participación y empoderamiento. Grado de participación activa y desarrollo de capacidades por parte de las personas —especialmente, las mujeres- involucradas en la política.
Transformación incremental Transformación incremental. Cambios en materia de igualdad de género en relación a los legados prevalecientes en el contexto.

Fuente: elaboración propia.

Herramientas metodológicas [Subir]

Respecto a las herramientas con las que evaluar el éxito de las políticas de igualdad, de acuerdo con la «evaluación feminista» y otros enfoques evaluativos críticos ( ‍Guba, Egon G. y Yvonne S Lincoln. 1989. Fourth Generation Evaluation. Londres: Sage.Guba y Lincoln, 1989;  ‍Patton, Michael. 2011. Developmental Evaluation. Applying Complexity Concepts to Enhace Innovation and Use. Nueva York: The Guildford Press.Patton, 2011), también los instrumentos de evaluación reflejan un modo de aproximarse, comprender y valorar la realidad social y constituyen construcciones sociales. En este apartado, se exploran algunas herramientas desarrolladas en el campo específico de las políticas y programas de género así como de la evaluación y que pueden ser de utilidad para evaluar los criterios propuestos. Se sugiere su utilización de forma combinada y atendiendo siempre a los criterios concretos que decidan evaluarse en cada caso.

En primer lugar, el «análisis de género» se ha desarrollado desde la década de los ochenta como una herramienta para conocer y comprender las desigualdades entre mujeres y hombres, cuyas vidas se ven afectadas por las políticas. Los diferentes marcos de análisis de género —ligados en un primer momento al campo del desarrollo internacional y posteriormente a propuestas de valoración de impacto de género— apuestan por examinar diversas dimensiones de género en el ciclo de las políticas. En concreto, proponen dirigir la mirada a la división sexual del trabajo, la organización de la vida privada, la organización sociopolítica, las normas y valores asociados al género, los roles de género, el acceso y control de recursos materiales e inmateriales, la participación de mujeres y hombres, el control del cuerpo de las mujeres, las necesidades prácticas y los intereses estratégicos ( ‍EIGE. 2016. Gender Impact Assessment. Gender Mainstreaming Toolkit. EIGE. Disponible en: https://bit.ly/2tIWYW1.EIGE, 2016;  ‍Emakunde. 2013. Guía para la elaboración de los informes de impacto de género. Vitoria-Gasteiz: Emakunde.Emakunde, 2013;  ‍Hunt, Juliet y Ria Brouwers. 2003. Review of Gender and Evaluation. Final Report to DAC Network on Development Evaluation. París: OECD.Hunt y Brouwers, 2003;  ‍PNUD. 2001. Gender Analysis. Learning and Information Pack. Nueva York: Gender in Development Programme, PNUD.PNUD, 2001;  ‍Miller, Carol y Shahra Razavi. 1998. Gender Analysis: Alternative Paradigms. PNUD Gender in Development Monograph Series, 6. Ginebra: PNUD.Miller y Razavi, 1998).

En el marco de la evaluación de políticas de igualdad, el «análisis de género» resulta pertinente para valorar los criterios de «inclusión del género» y «transformación incremental». Por un lado, el estudio contextualizado de cómo se atienden las diferentes dimensiones de género en el diseño e implementación de la política facilita examinar el grado de «inclusión del género» y si existe un abordaje desde una perspectiva de «transformación incremental». Es decir, facilita comprender si la formulación de la política define la transformación esperada «con referencia a legados contextuales prevalecientes» ( ‍Krizsan, Andrea y Emanuela Lombardo. 2013. «The quality of gender equality policies: A discursive approach», European Journal of Women’s Studies, 20 (1): 77-‍92. Disponible en: https://doi.org/10.1177/1350506812456462.Kriszan y Lombardo, 2013: 77). Por otro lado, la valoración de los impactos alcanzados en estas diferentes dimensiones, atendiendo siempre al punto específico de partida y a su relevancia en el contexto dado, también permite valorar la «transformación incremental» efectiva. A este respecto, por ejemplo, no puede definirse ni valorarse de la misma manera el éxito de una política de igualdad de género en Suecia y en Turquía.

Por otra parte, el «análisis de las resistencias» se presenta como herramienta con potencial para la valoración del criterio «compromiso político» existente a lo largo del ciclo de la política. El objetivo de igualdad de género es altamente controvertido y polémico —dado el carácter estructural y sistémico de la desigualdad de género— y esto hace que, con frecuencia, el compromiso político se evapore o descafeíne en la práctica y emerjan diversas dificultades y resistencias ( ‍Verloo, Mieke (ed.). 2018. Varieties of Opposition to Gender Equality in Europe. Nueva York: Routledge. Disponible en: https://doi.org/10.4324/9781315625744.Verloo, 2018;  ‍Alfama i Guillén, Eva. 2017. ¿Transformando el Estado? Avances y obstáculos en la implementación del mainstreaming de género [tesis doctoral]. Institut de Govern e Polítiques Publiques (IGOP), Univesitat Autònoma de Barcelona.Alfama, 2017). El «análisis de resistencias» puede ayudar a analizar el grado de compromiso y las dificultades en su puesta en marcha. Aunque se trata de una herramienta aún en desarrollo, las contribuciones hasta el momento subrayan la relevancia de analizar: las resistencias institucionales formales (relativas a las reglas de juego institucionales), las institucionales informales (referidas a prácticas, expectativas y códigos compartidos y naturalizados que reproducen la desigualdad de género), las resistencias individuales (personales y que no forman parte de un comportamiento colectivo), y las resistencias implícitas y explícitas ( ‍Alfama i Guillén, Eva. 2017. ¿Transformando el Estado? Avances y obstáculos en la implementación del mainstreaming de género [tesis doctoral]. Institut de Govern e Polítiques Publiques (IGOP), Univesitat Autònoma de Barcelona.Alfama, 2017;  ‍Mergaert, Lut y Emanuela Lombardo. 2014. «Resistance to Implementing Gender Mainstreaming in EU Research Policy», European Integration Online Papers (EIoP), 18: 1-‍21.Mergaert y Lombardo, 2014;  ‍Mergaert, Lut y Emanuela Lombardo. 2014. «Resistance to Implementing Gender Mainstreaming in EU Research Policy», European Integration Online Papers (EIoP), 18: 1-‍21.Lombardo y Mergaert, 2013;  ‍Mergaert, Lut. 2012. The Reality of Gender Mainstreaming Implementation. The Case of the EU Research Policy [tesis doctoral]. Radboud University.Mergaert, 2012). En su aplicación a la evaluación de las políticas de igualdad de género, conformaría un instrumento de gran utilidad para examinar cómo el compromiso político con la igualdad se enfrenta con resistencias desde el diseño de la política hasta su implementación y para estudiar cómo esto afecta a los impactos de las políticas.

En paralelo, el «análisis del cambio organizacional de género» —vinculado con los modelos más amplios de cambio organizacional— es útil para valorar el criterio de «comprensión de la complejidad» de las desigualdades de género. El éxito o el fracaso de las políticas no solo dependen de las actitudes y comportamientos de las personas, sino de la capacidad organizativa de transformación y de superación de las desigualdades estructurales. En este punto, el modelo de Tichy para analizar el cambio organizacional —que Groverman y Kloosterman ( ‍Groverman, Verona y Jeanette Kloosterman. 2010. Mainstreaming a Gender Justice Approach. A Manual to support NGOs in self-assessing their gender mainstreaming competence. La Haya: Oxfam Novid.2010); Navarro ( ‍Navarro Oliván, Natalia. 2007. Desigualdades de género en las organizaciones: procesos de cambio organizacional pro equidad. San Salvador: UNDP.2007); Mukhopadhyay et al. ( ‍Mukhopadhyay, Maitrayee, Gerard Steehouwer y Franz Wong. 2006. Politics of Possible. Gender mainstreaming and organisational change. Amsterdam: Royal Tropical Institute y Oxfam Novib.2006) aplican al cambio de género— invita a examinar las transformaciones en tres niveles específicos de la organización: la misión o el mandato (considerando las políticas, la influencia política y la cultura organizacional); la estructura organizativa (analizando las tareas y responsabilidades, la toma de decisiones, los mecanismos de cooperación y aprendizaje), y recursos humanos (indagando en la experiencia, las habilidades y las actitudes). En la evaluación de políticas de igualdad de género, valorar en qué medida se diseñan e implementan acciones de cambio en estos tres niveles y si se logran transformaciones en cada uno ellos, contribuye a examinar si existe una comprensión y abordaje holístico de la desigualdad de género.

La reconstrucción de la «teoría del programa», por su parte, conforma también una herramienta útil para valorar las políticas de igualdad y su «contextualización de la igualdad». La «teoría del programa» —ampliamente utilizada en el campo de la evaluación— hace referencia a cómo se asume que las actividades de una política producen un conjunto de resultados que coadyuvan en los impactos finales ( ‍Rogers, Patricia. 2014. Teoría del cambio. UNICEF, RMIT University, International Initiative for Impact Evaluation, Better Evaluation. Disponible en: https://bit.ly/2wWIyCz [consulta: 23 de febrero de 2019].Rogers, 2014;  ‍Funnel, Sue C. y Patricia J. Rogers. 2011. Purposeful Program Theory. Effective Use of Theories of Change. San Francisco: Jossey-Bass.Funnel y Rogers, 2011;  ‍Blasco, Jaume. 2009. Evaluación del diseño. Colección Guías Prácticas sobre Evaluación de Políticas Públicas, 3. Barcelona: Ivàlua.Blasco, 2009). En tanto que se promueve la delimitación de la misma de forma colaborativa, esta herramienta resulta central —en línea con Hay et al. ( ‍Hay, Katherine, Ratna M. Sudarshan y Ethel Mendez. 2012. «Why a Special issue on Evaluating Gender and Equity», Indian Journal of Gender Studies, 19 (2): 179-‍186. Disponible en: https://doi.org/10.1177/097152151201900201.2012)— para visualizar las diferentes comprensiones sobre cómo la política entiende el problema de la desigualdad y quiere promover la igualdad de género. En términos de evaluación de políticas de igualdad, sirve para identificar en qué modo la misma se hace eco de las diferentes voces del contexto desde su diseño.

Por otro lado, la «teoría del programa» diferencia entre la «teoría del cambio» y la «teoría de la acción». La «teoría del cambio» se refiere a qué procesos o conductores se consideran centrales para generar el cambio. Por otra parte, la «teoría de la acción» hace referencia a qué servicios y actividades se desarrollan para activar la «teoría del cambio» ( ‍Funnel, Sue C. y Patricia J. Rogers. 2011. Purposeful Program Theory. Effective Use of Theories of Change. San Francisco: Jossey-Bass.Funnel y Rogers, 2011). Por ejemplo, en algunas políticas de igualdad, la «teoría del cambio» se puede apoyar en que una mayor la participación de las mujeres en los espacios de toma de decisión conlleva una mejora de sus capacidades y, por ende, de la igualdad. La «teoría de la acción», en este aspecto, se puede basar en cursos y actividades específicas para el desarrollo de capacidades de liderazgo en la población femenina. En el ámbito de la evaluación, esta herramienta permite valorar en qué modo la «teoría del programa» en su conjunto responde a las diferentes comprensiones del problema y, además, presenta un diseño que responde a las necesidades específicas del contexto.

En cuanto al criterio de «interseccionalidad», el «análisis interseccional» de la política que evaluar conforma una herramienta de interés. El concepto de «interseccionalidad» —ampliamente trabajado en los estudios de género y política ( ‍Platero, Raquel (ed.). 2012. Intersecciones. Cuerpos y sexualidades en la encrucijada. Barcelona: Bellaterra.Platero, 2012;  ‍Verloo, Mieke. 2006. «Multiple Inequalities, Intersectionality and the European Union», European Journal of Women’s Studies, 13 (3): 211-‍228. Disponible en: https://doi.org/10.1177/1350506806065753.Verloo, 2006;  ‍Crenshaw, Kimberlé Williams. 1989. «Demarginalising the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics», University of Chicago Legal Forum, 140: 139-‍167.Crenshaw, 1989; entre otras)— desafía la idea de un «sujeto universal» y propone ir más allá de una visión monolítica de las desigualdades sociales basadas en la clase, la raza, la sexualidad y el género, entre otras variables. En este sentido, reconoce su imbricación así como que —dependiendo de cada contexto— algunos factores de desigualdad resultan más discriminantes que otros.

El uso del «análisis interseccional» en evaluación puede ayudar a valorar en qué medida la política de igualdad aborda la interrelación de la desigualdad de género como otro tipo de desigualdades ( ‍Bustelo, María. 2009. «Spain: Intersectionality faces the Strong Gender Norm», International Feminist Journal of Politics, 11:4, 530-‍546. Disponible en: https://doi.org/10.1080/14616740903237491.Bustelo, 2009). En definitiva, se trata de analizar y tener en cuenta no solo las diferentes desigualdades, sino las interacciones e interdependencias que se producen entre las mismas, dado que las estrategias respecto a una desigualdad no son normalmente neutrales respecto a las otras. A ese respecto conviene distinguir entre «interseccionalidad estructural», que nos dice que las desigualdades y sus interacciones son directamente relevantes para las personas en nuestra sociedad, e «interseccionalidad política», que nos dice que lo son para las estrategias políticas ( ‍Crenshaw, Kimberlé Williams. 1989. «Demarginalising the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics», University of Chicago Legal Forum, 140: 139-‍167.Crenshaw, 1989). Es precisamente este concepto de «interseccionalidad política» el que nos urge a reflexionar, desde la formulación y la evaluación de las políticas de género, en las dinámicas de privilegios y exclusiones que emergen cuando no se tiene en cuenta que las personas pueden estar inmersas en la interacción de diferentes desigualdades.

De igual forma, el «análisis de la participación» —ampliamente utilizado en metodologías de planificación como el Enfoque del Marco Lógico— constituye una herramienta que considerar para el criterio de «participación y empoderamiento». Kriszan y Lombardo ( ‍Krizsan, Andrea y Emanuela Lombardo. 2013. «The quality of gender equality policies: A discursive approach», European Journal of Women’s Studies, 20 (1): 77-‍92. Disponible en: https://doi.org/10.1177/1350506812456462.2013) y otras autoras feministas ( ‍Batliwala, Srilatha y Alexandra Pittman. 2010. Capturing Change in Women’s Realities. A Critical Overview of Current Monitoring & Evaluation Frameworks and Approaches. Toronto: AWID. Disponible en web: https://bit.ly/2u83Njq [consulta: 23 de febrero de 2019].Batliwala y Pittman, 2010;  ‍Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.Podems, 2010) subrayan la importancia de la participación y el empoderamiento para asegurar una buena política. De esta manera, revisar quién participa, cómo y en qué espacios dentro de la política de igualdad resulta central así como valorar en qué medida se mejoran las capacidades de las mujeres para su participación en los espacios públicos y privados de toma de decisión. Por otra parte, la teoría de la evaluación, en general, y todas las contribuciones sobre género y evaluación revisadas, en particular, han indicado la importancia de la participación de las partes interesadas en el proceso de evaluación. A este respecto, el «análisis de la participación» resulta también clave para asegurar que el proceso evaluativo se lleve de manera empoderante y participativa.

En línea con el impulso de la participación en la propia evaluación, se sugiere que en la utilización de estas diferentes herramientas exista la implicación —por parte del equipo gestor y de la institución que encarga la evaluación— de los y las diferentes stakeholders para mejorar los resultados alcanzados, asegurar su apropiación del proceso evaluativo y lograr que los ejercicios evaluativos sean útiles para todas estas personas y no solo para las entidades financiadoras. Esto resulta especialmente relevante en el caso de las políticas de igualdad de género que han de posibilitar espacios de participación activa no solo a las mujeres, sino a agentes críticos en materia de igualdad como el movimiento feminista, las organizaciones de la sociedad civil proigualdad y la academia crítica.

CONCLUSIONES[Subir]

La igualdad de género ha ido conformándose como un contenido clave en evaluación desde la Conferencia de Beijing (1995). Tal y como se ha expuesto, hemos asistido en las últimas décadas a un florecimiento de la literatura y la praxis sobre cómo incluir la perspectiva de género en la evaluación. En este contexto, también se ha promovido la evaluación del impacto de género y, más concretamente, la evaluación de políticas de igualdad de género. Ahora bien, los desarrollos teórico-metodológicos en este último caso han recibido menor atención que en el primero y la praxis evaluadora de las políticas de igualdad de género se ha visto mediada, en el contexto europeo, por los recortes ligados a la crisis de 2008, que han afectado más intensamente a dichas políticas.

No obstante, la potencialidad de la evaluación de políticas de igualdad como una herramienta para el aprendizaje, la mejora y la rendición de cuentas por parte de las administraciones públicas hace necesaria la profundización y reflexión sobre la misma. En este artículo hemos pretendido contestar a las siguientes preguntas: ¿cómo evaluar el éxito de las políticas de igualdad? ¿Qué criterios de evaluación pueden utilizarse? ¿Qué herramientas pueden resultar de utilidad a este respecto?

A la luz la literatura sobre género y evaluación, en este artículo se pone de relieve que no existe un único modo para evaluar el éxito de las políticas de igualdad. De hecho, la literatura sobre «evaluación feminista» subraya que la propia definición del «éxito» es una construcción social y política. No existe sobre la nada, sino que es fruto de un conjunto de intereses y visiones en competencia. Igualmente, los procesos de generación de conocimiento ligados a la evaluación están también marcados por el contexto y por unas relaciones de poder donde determinadas voces y racionalidades tienen más peso y legitimidad que otras. A este respecto, la primera conclusión de interés es la necesidad de definir el «éxito» y su evaluación de modo contextualizado y negociado. La evaluación conforma un espacio esencial para llevar al debate las diferentes visiones sobre el «éxito» y generar consensos, que reconozcan la diversidad de voces, sobre qué queremos alcanzar con la política y cómo hacerlo. Esto supone abrir, a lo largo de todo el ciclo de la evaluación, espacios para la participación de todos los agentes, asegurando además que se implica a aquellas voces que con frecuencia no se escuchan en los espacios públicos.

En esta misma línea, la segunda conclusión apuesta por definir los criterios de evaluación de acuerdo con cada política y contexto concreto, ampliando los enfoques de evaluación hacia otros modelos que vayan más allá de la realización de juicios sumativos finales a través de criterios preestablecidos y supuestamente universales. En la práctica, la evaluación de políticas en general —y las de igualdad de género no son una excepción— tiende a utilizar los criterios predefinidos del CAD —eficacia, eficiencia, impacto, pertinencia y sostenibilidad— añadiendo algunos específicos y, en ocasiones, algunos procedentes del diálogo con los stakeholders. Este modelo responde a las necesidades de información comparable de las Administraciones, a una praxis evaluativa marcada por pocos tiempos y recursos y una comprensión limitada de la evaluación que se centra en lo «medible». Sin embargo, la decisión de utilizar criterios definidos de antemano tiene implicaciones en tanto que solo recoge determinadas visiones del éxito y no es capaz de dar respuesta a la complejidad de medir el cambio en términos de igualdad de género. De este modo, nuestra segunda conclusión apunta, a su vez, a la conveniencia de dejarse guiar por otras aproximaciones de evaluación —inspiradas en el cambio crítico o paradigma transformador, la teoría del programa o stakeholders— que conllevan una necesaria redefinición de los criterios a evaluar en cada contexto.

La tercera conclusión, de carácter más práctico, propone tomar como inspiración en el diseño de la evaluación los siete criterios de evaluación sugeridos: «inclusión del género», «compromiso político», «comprensión de la complejidad», «contextualización de la igualdad de género», «interseccionalidad», «participación y empoderamiento» y «transformación incremental». Asimismo, invita a utilizar herramientas como el análisis de género, de resistencias, de cambio organizacional de género, la teoría del programa y el análisis interseccional. Ello ha de realizarse de forma dialogada, atendiendo a las características de la política a evaluar y evitando la tecnocratización.

AGRADECIMIENTOS[Subir]

El presente artículo es uno de los resultados del proyecto de investigación FEM2012-33117 financiado por el Ministerio de Economía y Competitividad.

Notas[Subir]

[1]

Autora para la correspondencia (corresponding author).

[2]

EvalPartners constituye un partenariado global, impulsado por la International Organization for Cooperation in Evaluation (IOCE) y UNICEF, que se orienta a fortalecer capacidades para impulsar políticas basadas en la evidencia así como sistemas y políticas de evaluación que pongan en el centro la equidad. Puede consultarse más información sobre esta iniciativa global en: https://evalpartners.org/about/about-us.

[3]

EvalGender+ constituye una de las cinco iniciativas globales que en 2015 se impulsan en el seno de EvalPartners y tiene como objetivo fortalecer la capacidad de demandar, desarrollar y usar evaluaciones con un foco en la igualdad de género y la equidad social. Toda la información sobre dicha iniciativa se encuentra disponible en: https://www.evalpartners.org/evalgender.

[4]

En los últimos años, diferentes han sido las propuestas teóricas y metodológicas relativas a la incorporación del enfoque de género en evaluación. Entre ellas cabe destacar: la «evaluación feminista» ( ‍Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.Brisolara et al., 2014;  ‍Hay, Katherine, Ratna M. Sudarshan y Ethel Mendez. 2012. «Why a Special issue on Evaluating Gender and Equity», Indian Journal of Gender Studies, 19 (2): 179-‍186. Disponible en: https://doi.org/10.1177/097152151201900201.Hay et al.,2012;  ‍Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.Podems, 2010;  ‍Sielbeck-Bowen, Kathryn A., Sharon Brisolara, Denise Seigart, Camille Tischler y Elizabeth Whitmore. 2002. «Exploring Feminist Evaluation: The Ground from Which We Rise», New Directions for Evaluation, 96: 3-‍8. Disponible en: https://doi.org/10.1002/ev.62.Sielbeck-Bowen et al. 2002); la «evaluación sensible al género» ( ‍Ligero Lasa, Juan Andrés, Julia Espinosa Fajardo, Carmen Mormeneo Cortés y María Bustelo Ruesta. 2014. Diferentes aproximaciones para hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo. Madrid: MAEC.Ligero et al., 2014); la «evaluación con enfoque transformador de género» ( ‍Espinosa, Julia y María Tamargo. 2015. «¿Cómo integrar un enfoque transformador de género en la evaluación de políticas públicas? Debates y propuestas», SinerGias-Cuadernos del Área Género, Sociedad y Políticas. Buenos Aires: FLACSO- Argentina.Espinosa y Tamargo, 2015); la «evaluación desde una perspectiva de género+» ( ‍Bustelo, María. 2017. «Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process», Journal of Women, Politics and Policy, 38 (1): 84-‍101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211.Bustelo, 2017), y la «evaluación responsiva al género» ( ‍Bamberger, Michael, Marco Segone y Florencia Tateossian. 2016. Evaluating Sustainable Development Goals With a «No one left behind» lens through equity-focused and gender-responsive evaluations. Nueva York: ONU Mujeres, EvalGender+ y IOCE.Bamberger et al., 2016;  ‍UNEG. 2011. Handbook for Integrating Human Rights and Gender Equality Perspectives in Evaluations in the UN System. Nueva York: UNEG. Disponible en: https://bit.ly/2ICK1rl [consulta: 23 de febrero de 2019].UNEG, 2011;  ‍ONU Mujeres. 2011. UN Women’s Guide to GE / HR Responsive Evaluation. Nueva York: ONU Mujeres. Disponible en: https://bit.ly/2cnV9FE [consulta: 23 de febrero de 2019].ONU Mujeres, 2011).

Referencias[Subir]

[1] 

Abarca, Humberto y Alejandra Faúndez. 2011. Evaluación con enfoque de igualdad de género y derechos humanos. Sistematización de la práctica en América Latina y El Caribe. Santiago de Chile: ONU Mujeres. Disponible en: https://bit.ly/2T4xUbe [consulta: 23 de febrero de 2019].

[2] 

Alfama i Guillén, Eva. 2017. ¿Transformando el Estado? Avances y obstáculos en la implementación del mainstreaming de género [tesis doctoral]. Institut de Govern e Polítiques Publiques (IGOP), Univesitat Autònoma de Barcelona.

[3] 

Bamberger, Michael, Marco Segone y Florencia Tateossian. 2016. Evaluating Sustainable Development Goals With a «No one left behind» lens through equity-focused and gender-responsive evaluations. Nueva York: ONU Mujeres, EvalGender+ y IOCE.

[4] 

Batliwala, Srilatha y Alexandra Pittman. 2010. Capturing Change in Women’s Realities. A Critical Overview of Current Monitoring & Evaluation Frameworks and Approaches. Toronto: AWID. Disponible en web: https://bit.ly/2u83Njq [consulta: 23 de febrero de 2019].

[5] 

Blasco, Jaume. 2009. Evaluación del diseño. Colección Guías Prácticas sobre Evaluación de Políticas Públicas, 3. Barcelona: Ivàlua.

[6] 

Brisolara, Sharon, Denise Seigart y Saumitra Sengupta (eds.). 2014. Feminist Evaluation and Research: Theory and Practice. Nueva York: The Guilford Press.

[7] 

Bustelo, María. 2004. La evaluación de las políticas de género en España. Madrid: Ediciones La Catarata.

[8] 

Bustelo, María. 2009. «Spain: Intersectionality faces the Strong Gender Norm», International Feminist Journal of Politics, 11:4, 530-‍546. Disponible en: https://doi.org/10.1080/14616740903237491.

[9] 

Bustelo, María. 2017. «Evaluation from a gender+ perspective as a key element for (re)gendering the policymaking process», Journal of Women, Politics and Policy, 38 (1): 84-‍101. Disponible en: https://doi.org/10.1080/1554477X.2016.1198211.

[10] 

Crenshaw, Kimberlé Williams. 1989. «Demarginalising the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics», University of Chicago Legal Forum, 140: 139-‍167.

[11] 

EIGE. 2016. Gender Impact Assessment. Gender Mainstreaming Toolkit. EIGE. Disponible en: https://bit.ly/2tIWYW1.

[12] 

Emakunde. 2013. Guía para la elaboración de los informes de impacto de género. Vitoria-Gasteiz: Emakunde.

[13] 

Espinosa, Julia y María Tamargo. 2015. «¿Cómo integrar un enfoque transformador de género en la evaluación de políticas públicas? Debates y propuestas», SinerGias-Cuadernos del Área Género, Sociedad y Políticas. Buenos Aires: FLACSO- Argentina.

[14] 

Evalpartners. 2016. Global Evaluation Agenda 2016-‍2020. EvalPartners. Disponible en: https://bit.ly/2SZyI17 [consulta: 23 de febrero de 2019].

[15] 

Funnel, Sue C. y Patricia J. Rogers. 2011. Purposeful Program Theory. Effective Use of Theories of Change. San Francisco: Jossey-Bass.

[16] 

Groverman, Verona y Jeanette Kloosterman. 2010. Mainstreaming a Gender Justice Approach. A Manual to support NGOs in self-assessing their gender mainstreaming competence. La Haya: Oxfam Novid.

[17] 

Guba, Egon G. y Yvonne S Lincoln. 1989. Fourth Generation Evaluation. Londres: Sage.

[18] 

Hay, Katherine, Ratna M. Sudarshan y Ethel Mendez. 2012. «Why a Special issue on Evaluating Gender and Equity», Indian Journal of Gender Studies, 19 (2): 179-‍186. Disponible en: https://doi.org/10.1177/097152151201900201.

[19] 

Hunt, Juliet y Ria Brouwers. 2003. Review of Gender and Evaluation. Final Report to DAC Network on Development Evaluation. París: OECD.

[20] 

Krizsan, Andrea y Emanuela Lombardo. 2013. «The quality of gender equality policies: A discursive approach», European Journal of Women’s Studies, 20 (1): 77-‍92. Disponible en: https://doi.org/10.1177/1350506812456462.

[21] 

Ligero Lasa, Juan Andrés, Julia Espinosa Fajardo, Carmen Mormeneo Cortés y María Bustelo Ruesta. 2014. Diferentes aproximaciones para hacer una evaluación sensible al género y al enfoque basado en derechos humanos para el desarrollo. Madrid: MAEC.

[22] 

Lombardo, Emanuela y Lut Mergaert. 2013. «Gender mainstreaming and resistance to gender training. A framework for studying implementation», NORA Nordic Journal of Feminist and Gender Research Special issue Feminist resistance- resistance to feminism, 21 (4): 296-‍311.

[23] 

Mergaert, Lut. 2012. The Reality of Gender Mainstreaming Implementation. The Case of the EU Research Policy [tesis doctoral]. Radboud University.

[24] 

Mergaert, Lut y Emanuela Lombardo. 2014. «Resistance to Implementing Gender Mainstreaming in EU Research Policy», European Integration Online Papers (EIoP), 18: 1-‍21.

[25] 

Miller, Carol y Shahra Razavi. 1998. Gender Analysis: Alternative Paradigms. PNUD Gender in Development Monograph Series, 6. Ginebra: PNUD.

[26] 

Mukhopadhyay, Maitrayee, Gerard Steehouwer y Franz Wong. 2006. Politics of Possible. Gender mainstreaming and organisational change. Amsterdam: Royal Tropical Institute y Oxfam Novib.

[27] 

Navarro Oliván, Natalia. 2007. Desigualdades de género en las organizaciones: procesos de cambio organizacional pro equidad. San Salvador: UNDP.

[28] 

ONU Mujeres. 2011. UN Women’s Guide to GE / HR Responsive Evaluation. Nueva York: ONU Mujeres. Disponible en: https://bit.ly/2cnV9FE [consulta: 23 de febrero de 2019].

[29] 

Paleo, Natalia y Alba Alonso. 2014. «¿Es solo una cuestión de austeridad? Crisis económica y políticas de género en España», Revista de Investigaciones Feministas, 5: 36-‍68.

[30] 

Palumbo, D. J. (ed.). 1987. The Politics of Program Evaluation. Newbury Park: Sage.

[31] 

Patton, Michael. 2011. Developmental Evaluation. Applying Complexity Concepts to Enhace Innovation and Use. Nueva York: The Guildford Press.

[32] 

Platero, Raquel (ed.). 2012. Intersecciones. Cuerpos y sexualidades en la encrucijada. Barcelona: Bellaterra.

[33] 

PNUD. 2001. Gender Analysis. Learning and Information Pack. Nueva York: Gender in Development Programme, PNUD.

[34] 

Podems, Donna. 2010. «Feminist Evaluation and Gender Approaches: There’s a Difference?», Journal of Multidisciplinary Evaluation, 14 (6): 1-‍17.

[35] 

Rogers, Patricia. 2014. Teoría del cambio. UNICEF, RMIT University, International Initiative for Impact Evaluation, Better Evaluation. Disponible en: https://bit.ly/2wWIyCz [consulta: 23 de febrero de 2019].

[36] 

Seigart, Denise y Sharon Brisolara (eds.). 2002. «Feminist Evaluation. Explorations and Experiences», New Directions for Program Evaluation, 96: 1-‍2.

[37] 

Sielbeck-Bowen, Kathryn A., Sharon Brisolara, Denise Seigart, Camille Tischler y Elizabeth Whitmore. 2002. «Exploring Feminist Evaluation: The Ground from Which We Rise», New Directions for Evaluation, 96: 3-‍8. Disponible en: https://doi.org/10.1002/ev.62.

[38] 

Stephens, Anne, Ellen D. Lewis y Shravanti Reddy. 2018a. Inclusive Systemic Evaluation for Gender Equality, Environments and Marginalized Voices. ONU Mujeres. Disponible en: https://bit.ly/2StM80j [consulta: 23 de febrero de 2019].

[39] 

Stephens, Anne, Ellen D. Lewis y Shravanti Reddy. 2018b. «Towards an Inclusive Systemic Evaluation for the SDGs: Gender equality, Environments and Marginalized voices (GEMs)», Evaluation 24 (2): 220-‍236. Disponible en: https://doi.org/10.1177/1356389018766093.

[40] 

Stufflebeam, Daniel y Anthony J. Shinkfield. 1987. Evaluación sistemática. Guía teórica y práctica. Madrid: Paidós; MEC.

[41] 

UNEG. 2011. Handbook for Integrating Human Rights and Gender Equality Perspectives in Evaluations in the UN System. Nueva York: UNEG. Disponible en: https://bit.ly/2ICK1rl [consulta: 23 de febrero de 2019].

[42] 

Verloo, Mieke. 2006. «Multiple Inequalities, Intersectionality and the European Union», European Journal of Women’s Studies, 13 (3): 211-‍228. Disponible en: https://doi.org/10.1177/1350506806065753.

[43] 

Verloo, Mieke (ed.). 2018. Varieties of Opposition to Gender Equality in Europe. Nueva York: Routledge. Disponible en: https://doi.org/10.4324/9781315625744.

[44] 

Weiss, Carol H. 1998. Evaluation. Methods for Studying Programs and Policies. Second Edition. Upper Saddle River (NJ): Prentice Hall.

[45] 

Zermeño, Fabiola. 2012. Cerrando el círculo. Ruta para la gestión de evaluaciones de políticas públicas de igualdad de género. Agència Catalana de Cooperació al Desenvolupament y PNUD. Disponible en: https://bit.ly/2T47Z3k [consulta: 23 de febrero de 2019].

Biografía[Subir]

[a]

Profesora ayudante doctora del Área de Sociología (Departamento de Economía General) de la Universidad de Cádiz. Doctora en Ciencias Políticas, licenciada en Sociología y experta en Evaluación de Programas y Políticas Públicas por la Universidad Complutense de Madrid (UCM). Desde 2003 trabaja como profesora universitaria, investigadora, evaluadora y experta en políticas públicas y desigualdad de género. En la actualidad, es investigadora del grupo de «Género y política» de la Universidad Complutense de Madrid, del grupo «Economía ecológica, feminista y desarrollo» de la Universidad Pablo de Olavide, del Observatorio de Género sobre Economía, Política y Desarrollo y de la Red Iberoamericana de Investigación en Trabajo, Género y Vida Cotidiana. En paralelo, forma parte del grupo de gestión de EvalGender+, iniciativa del partenariado global EvalPartners.

[b]

Profesora de Ciencia Política y de la Administración y delegada del rector para Igualdad en la Universidad Complutense de Madrid (UCM). Es la coordinadora del proyecto europeo de Horizonte 2020 SUPERA (Supporting the Promotion of Equality in Research and Academia) y ha sido la investigadora responsable en la UCM de otros proyectos europeos de investigación sobre políticas de género en España y Europa (MAGEEQ 2003-‍2006; QUING 2007-‍2011, y GENOVATE 2013-‍2016) —en este último actuó como socia evaluadora—. Directora del máster en Evaluación de Programas y Políticas Públicas en la UCM desde sus inicios en 2002, forma parte del Global Evaluation Advisory Committee (GEAC) de ONU Mujeres. Participó en la evaluación expost del 7.º Programa Marco de Investigación de la Comisión Europea y en la evaluación intermedia de la igualdad de género como tema transversal en Horizonte 2020. Es autora de múltiples artículos sobre evaluación y políticas de género y otras publicaciones entre los que destacan los libros The Politics of Feminist Knowledge Transfer: Gender Training and Gender Expertise, editado junto a Lucy Ferguson y Maxime Forest (2016), y Las políticas de Igualdad en España y en Europa, junto  ‍Lombardo, Emanuela y Lut Mergaert. 2013. «Gender mainstreaming and resistance to gender training. A framework for studying implementation», NORA Nordic Journal of Feminist and Gender Research Special issue Feminist resistance- resistance to feminism, 21 (4): 296-‍311.a Emanuela Lombardo (2007).