VALIDACIÓN DE CONTENIDOS DE EDUCACIÓN PARA EL DESARROLLO PARA EL ANÁLISIS DE MANUALES ESCOLARES
Validation of Development Education content for analysis of textbooks

SONIA ORTEGA-GAITE⁽¹⁾, MARÍA JESÚS PERALES MONTOLIO⁽²⁾, CARLOS SANCHO-ÁLVAREZ⁽²⁾ Y JUDITH QUINTANO NIETO^(1)
(1) Universidad de Valladolid (España)
⁽²⁾ Universidad de Valencia (España)

DOI: 10.13042/Bordon.2021.87160
Fecha de recepción: 14/01/2021 • Fecha de aceptación: 22/04/2021
Autora de contacto / Corresponding author: Sonia Ortega Gaite. E-mail: sonia.ortega.gaite@uva.es

INTRODUCCIÓN. En un mundo globalizado marcado por las grandes desigualdades económicas y la falta de acceso universal a la educación y la sanidad de calidad, es necesario trabajar desde la educación escolar contenidos que visibilicen, sensibilicen y den a conocer al alumnado la realidad mundial en la que cohabitan. La Educación para el Desarrollo es una perspectiva de gran valor para abordar esta temática en el espacio escolar en la formación de valores ciudadanos. MÉTODO. A partir de la revisión de documentos de referencia a nivel internacional y nacional, se presenta un listado inicial de contenidos de Educación para el Desarrollo que son validados a través de un proceso de juicio desde los criterios de pertinencia, ubicación y formulación realizado por 82 personas expertas del contexto social y/o académico vinculadas estrechamente al ámbito de la Educación para el Desarrollo. RESULTADOS. Los resultados muestran un acuerdo significativo entre los jueces en sus valoraciones de la pertinencia en el listado de contenidos. Los jueces confirman la organización en cuatro bloques, proponen mejoras de elementos de formulación y permiten revisar la estructura de contenidos, pasando de 22 a 18. DISCUSIÓN. Se concluye con un listado de contenidos que proporciona una base para el análisis de manuales escolares y/o para el diseño curricular desde la perspectiva de Educación para el Desarrollo de forma directa y/o transversal. De forma complementaria, se facilita una escala para analizar cómo son tratados los contenidos señalados en los manuales escolares respecto a: qué enseñar, actitudes que promueven y procedimientos de enseñanza-aprendizaje en clave de Educación para el Desarrollo.

Palabras clave: Educación vocacional internacional, Educación ciudadana, Evaluación del currículo, Libro de texto.

Introducción

El abordaje de la formación en ciudadanía en los sistemas educativos a nivel nacional e internacional vive en constante debate, con dos grandes opciones: la transversalidad, integrándola en todo el currículo, o la especificidad, dando a la educación en valores ciudadanos un espacio propio como materia (Cox et al., 2014Cox, C., Bascopé, M., Castillo, J. C., Miranda, D. y Bonhomme, M. (2014). Educación ciudadana en América Latina: prioridades de los currículos escolares. UNESCO.; UNESCO, 2016UNESCO (2016). Educación para la ciudadanía mundial: preparar a los alumnos para los restos del siglo XXI. UNESCO.). Sin embargo, la forma más integral de abordarlo sería la doble presencia, pues se trata de “la interrelación de dos ámbitos escolares distintos, pero intrínsecamente complementarios uno del otro: el institucional y el de aula” (Sarochar, 2018Sarochar, J. M. (2018). Estudio comparado: formación para la ciudadanía en el primer ciclo de Educación Secundaria en Uruguay y Cataluña. Cuadernos de Investigación Educativa, 9(2), 55-68., p. 59).

El Año Europeo de la Ciudadanía a través de la Educación (2005Consejo de Europa (2004). Año Europeo de la Ciudadanía 2005. Aprender y Vivir la Democracia. Documento de Orientación. DGIV/EDU/CAHCIT. ) supuso una gran influencia en la Ley Orgánica de Educación (2006Ley Orgánica 2/2006, de 3 de mayo, de Educación (LOE). Publicada en Boletín Oficial del Estado n.º 106, de 4 de mayo de 2006. ), al propiciar el marco de referencia que introduce de forma explícita contenidos relacionados con la educación en valores ciudadanos, siguiendo las coordenadas marcadas por el Consejo de Europa (2000Consejo de Europa (2000). Resolution of results and conclusions of the completed projects in the 1997-2000 medium-term programme adopted at the 20th Session of the Standing Conference of the Ministers of Education of the Council of Europe. DGIV/EDU/CIT. , 2004Consejo de Europa (2004). Año Europeo de la Ciudadanía 2005. Aprender y Vivir la Democracia. Documento de Orientación. DGIV/EDU/CAHCIT. , 2006Consejo de Europa (2006). Education for Democratic Citizenship and Human Rights. DGIV/EDU/CAHCIT, 2010Consejo Europeo (2010). Carta del Consejo de Europa sobre la educación para la ciudadanía democrática y la educación en derechos humanos. Departamento de Educación del Consejo de Europa. ). Así, se incluyó una asignatura específica en el currículum que suscitó gran repercusión en prensa y un amplio debate social (García y Murillo, 2009García López, R. y Murillo Pausá, J. (2009). Las referencias a la Educación para la Ciudadanía en la prensa. Bordón. Revista de Pedagogía, 61(1), 77-93. https://recyt.fecyt.es/index.php/BORDON/article/view/28704), y que produjo numerosos movimientos con posturas encontradas que se dirimieron en los tribunales (Palma, 2011Palma Valenzuela, A. (2011). La Educación para la Ciudadanía en España, 2004-2011. Revista Portuguesa de Pedagogía, 45(2), 39-69.). Con la entrada en vigor en 2013 de la Ley de Mejora de la Calidad Educativa (LOMCELey Orgánica 8/2013, de 9 de diciembre, para la mejora de la calidad educativa (LOMCE). Publicada en Boletín Oficial del Estado n.º 295, de 10 de diciembre de 2013. ), esta asignatura fue eliminada, una decisión cuestionada por ser un importante freno para el desarrollo de los valores fundamentales (Sánchez y Vargas, 2017Sánchez Fernández, S. y Vargas Sánchez, M. (2017). La cultura de paz en educación secundaria obligatoria. Estudio comparado de libros de texto de educación para la ciudadanía. Bordón. Revista de Pedagogía, 69(2), 115-130. https://doi.org/10.13042/Bordon.2016.49768 ).

La Ley Orgánica de Modificación de la LOE (LOMLOE, 2020Ley Orgánica 3/2020, de 29 de diciembre, por la que se modifica la Ley Orgánica 2/2006, de 3 de mayo, de Educación (LOMLOE). Publicada en Boletín Oficial del Estado n.º 340, de 30 de diciembre de 2020.) introduce de nuevo una asignatura específica desde el enfoque de educación para el desarrollo sostenible, la perspectiva de género y la coeducación, y los derechos de la infancia, con el objetivo de una educación para una ciudadanía activa, crítica y global, en la línea que plantea la UNESCO (2016UNESCO (2016). Educación para la ciudadanía mundial: preparar a los alumnos para los restos del siglo XXI. UNESCO.) respecto a la Educación para la Ciudadanía Mundial y vinculada con el objetivo 4 de los Objetivos de Desarrollo Sostenible (2015Asamblea General de las Naciones Unidas (2015). Transformar nuestro mundo: la Agenda 2030 para el Desarrollo Sostenible, de 21 de octubre de 2015. Resolución A/70/L.1. ), en concreto, la meta 4.7 que busca garantizar que todo el alumnado pueda recibir una educación para el desarrollo sostenible y los estilos de vida sostenibles, los derechos humanos, la igualdad de género, la promoción de una cultura de paz y no violencia, la ciudadanía mundial y la valoración de la diversidad cultural y la contribución de la cultura al desarrollo sostenible (Asamblea General de las Naciones Unidas, 2015Asamblea General de las Naciones Unidas (2015). Transformar nuestro mundo: la Agenda 2030 para el Desarrollo Sostenible, de 21 de octubre de 2015. Resolución A/70/L.1. , p. 20).

Desde este planteamiento de la UNESCO (2016UNESCO (2016). Educación para la ciudadanía mundial: preparar a los alumnos para los restos del siglo XXI. UNESCO.) y los ODS (2015Asamblea General de las Naciones Unidas (2015). Transformar nuestro mundo: la Agenda 2030 para el Desarrollo Sostenible, de 21 de octubre de 2015. Resolución A/70/L.1. ), se plantea la necesidad de tratar la educación en valores ciudadanos desde una mirada planetaria, pues vivimos en un mundo cambiante sujeto a un capitalismo que resta visibilidad a los problemas globales. Las concepciones etnocéntricas dejan en el olvido situaciones de otras partes del globo. La educación es una de las piezas clave para evidenciar la realidad de muchas zonas del planeta que no cuentan con los mínimos exigibles para cualquier persona.

Por ello, la formación en valores ciudadanos, sea transversalmente o en una asignatura específica, sea planteada desde la Educación para el Desarrollo (EpD), es una pieza clave para construir un mundo más justo, solidario y sostenible. Y esto, desde las definiciones existentes de EpD (Argibay y Celorio, 2005Argibay, M. y Celorio, G. (2005). La educación para el desarrollo. Servicio de Publicaciones del Gobierno Vasco.; Boni, 2005Boni, A. (2005). La educación para el desarrollo en la enseñanza universitaria como una estrategia de cooperación orientada al desarrollo humano [tesis de doctorado, Unversitat de València].; Ortega, 2007Ortega, M.ª L. (2007). Estrategia de Educación para el desarrollo de la cooperación española. Ministerio de Asuntos Exteriores y de Cooperación.; Celorio y López, 2007Celorio, G. y López de Munain, A. (coords.) (2007). Diccionario de Educación para el Desarrollo. Hegoa.; Ruiz, 2015Ruiz Ruiz, M. E. (2015). La educación para el desarrollo en la universidad. Análisis y alternativas [tesis doctoral no publicada, Universidad de Salamanca].), se traduce en una serie de aspectos que se deben tener en cuenta (Ortega-Gaite, 2016Ortega-Gaite, S. (2016). Análisis de manuales escolares de educación para la ciudadanía y derechos humanos de educación secundaria obligatoria en clave de educación para el desarrollo [tesis doctoral no publicada, Universidad de Valladolid]., pp. 137-138):

• Debe facilitar la comprensión de la realidad mundial desde diferentes perspectivas, para que la ciudadanía tome la conciencia crítica necesaria que genere cambios de actitudes y valores a nivel individual y a nivel colectivo.
• Busca una transformación social a través de la participación activa de la ciudadanía en clave de justicia, equidad de género y solidaridad.
• Plantea crear una cultura comprometida con un desarrollo humano que sea justo, equitativo y sostenible a lo largo de la historia, que dé acogida a las diferentes formas de hacer y sus procesos.
• Ha de facilitar la construcción de una ciudadanía global, con una mirada transformadora, que se implique en el proceso de forma activa y tome conciencia de la realidad mundial desde una dimensión global.

Para poder plantear que la EpD esté presente en el currículum escolar es necesario un referente de contenidos. Ofrecerlo es la finalidad de este artículo, de acuerdo con la siguiente estructura de objetivos:

• Objetivo general: aportar y validar un listado de contenidos de EpD que sirva como referente para el diseño curricular y para el análisis de materiales escolares.
• Objetivos específicos:

  – Identificar los contenidos fundamentales de EpD en la documentación de referencia nacional e internacional.

  – Validar a través de un acuerdo interjueces la estructura y las temáticas que componen ese listado de contenidos.

Como objetivo complementario se plantea ofrecer una herramienta de valoración de manuales escolares y prácticas socioeducativas, partiendo del listado validado de contenidos EpD.

Metodología

Procedimiento

Para identificar los contenidos fundamentales en EpD se realiza una revisión detallada de diferentes fuentes institucionales, consideradas de gran relevancia en el ámbito. Por un lado, se toman los siguientes referentes internacionales: Informe Delors (Delors, 1996Delors, J. (1996). La educación encierra un tesoro. Informe a la UNESCO. Santillana/UNESCO.), Declaración del Milenio (Asamblea General de las Naciones Unidas, 2000Asamblea General de las Naciones Unidas (2000). Declaración del milenio, de 13 de septiembre de 2000. Resolución A/55/L2.), Agenda 2030 para Desarrollo Sostenible (Asamblea General de las Naciones Unidas, 2015Asamblea General de las Naciones Unidas (2015). Transformar nuestro mundo: la Agenda 2030 para el Desarrollo Sostenible, de 21 de octubre de 2015. Resolución A/70/L.1. ), Carta a la Tierra (Murga-Menoyo, 2009Murga-Menoyo, M.ª (2009). La Carta de la Tierra: un referente de la Década por la Educación para el Desarrollo Sostenible. Revista de Educación, número extraordinario 2009, 239-262. ), Decenio de las Naciones Unidas de la Educación para el Desarrollo Sostenible (UNESCO, 2007UNESCO (2007). Decenio de las Naciones Unidas de la Educación para el Desarrollo Sostenible (2005-2014). El decenio en pocas palabras. Sección de la Educación para el Desarrollo Sostenible. http://unesdoc.unesco.org/ images/0014) y Carta del Consejo de Europa sobre la educación para la ciudadanía democrática y la educación de los derechos humanos (Consejo de Europa, 2010Consejo Europeo (2010). Carta del Consejo de Europa sobre la educación para la ciudadanía democrática y la educación en derechos humanos. Departamento de Educación del Consejo de Europa. ). Y, por otro lado, desde la perspectiva nacional, se completa con documentos clave de diversas instituciones y autorías: Oxfam Intermón (2005Intermón Oxfam (2005). Hacia una ciudadanía global. Intermón Oxfam.), Ortega (2007Ortega, M.ª L. (2007). Estrategia de Educación para el desarrollo de la cooperación española. Ministerio de Asuntos Exteriores y de Cooperación.) y De Pedro (2010De Pedro, M. (2010). Conceptualización de la Educación para el desarrollo. Pensamiento libre, 2, 18-23.).

Este análisis permite identificar 22 contenidos clave, y estructurarlos en 4 bloques, como se presentará más adelante. Confirmar y validar este listado, a partir de las aportaciones de expertas y expertos en la materia, es la finalidad fundamental de este trabajo.

Por ello, la segunda parte del estudio analiza la validez de contenido de ese listado inicial de temáticas de EpD, a partir del acuerdo intersubjetivo de jueces significativos. Es decir, se va a valorar si realmente los expertos del tema reconocen que el listado de contenidos recoge una estructura lógica, clara y adecuadamente organizada de EpD.

Para ello, el estudio parte del concepto tradicional de validez, entendido como el proceso de comprobar que efectivamente se mide lo que se pretende medir. Este concepto clásico ha tenido la virtud de adecuarse de una forma globalizadora y flexible a los distintos tipos, metodologías y objetivos de investigación, siendo referentes significativos en esta investigación las reflexiones sobre la validez en los procesos de construcción de instrumentos en educación (Ruiz-Primo et al., 2006Ruiz-Primo, A., Jornet, J. M. y Backhoff, E. (2006). Acerca de la Validez de los exámenes de la calidad y el logro educativos (Excale). Instituto Nacional de Evaluación Educativa (INEE).; Jornet, 2014; Bakieva, et al., 2019Bakieva, M., Jornet Meliá, J. M. y González Such, J. (2019). Evidencias de validez interna de un instrumento para evaluar la colegialidad docente. Revista Electrónica de Investigación Educativa, 21(1), 1-12. https://doi.org/10.24320/redie.2019.21.e14.2127 ), en investigación cualitativa (Sandín, 2000Sandin, M. P. (2000). Validez en investigación cualitativa. Revista de Investigación Educativa, 1(18), 223-242.; Bisquerra, 2012Bisquerra, R. (2012). Metodología de la investigación educativa. La Muralla.) y en investigación evaluativa (Jornet et al., 2000Jornet Meliá, J., Suárez, J. y Pérez, A. (2000). La validez en la evaluación de programas. Revista de Investigación Educativa, 18(2), 341-356.; Jornet et al., 2013Jornet Meliá, J. M., González-Such, J. y Perales, M.ª J. (eds.) (2013). Investigación evaluativa: una perspectiva basada en la complementariedad metodológica (cuantitativa-cualitativa). CREA.; Jornet, 2014; Jornet et al., 2020Jornet Meliá, J. M., Perales Montolío, M. J. y González-Such, J. (2020). El concepto de validez de los procesos de evaluación de la docencia. Revista Española de Pedagogía, 78(276), 233-252. https://doi.org/10.22550/REP78-2-2020-01).

La atención prioritaria a los estudios de validez basados en el consenso de las valoraciones para garantizar un planteamiento no arbitrario ha supuesto un incremento del uso de estudios basados en jueces, para poder superar las dificultades de análisis y verificación de la validez (Cronbach, 1988Cronbach, L. J. (1988). Five perspectives on validation argument. En H. Wainer y H. Braun (eds.), Test validity. Hillsdale, Lawrence Erlbaum Associates.) y como sustento imprescindible para el diseño de instrumentos de medición y evaluación (Jornet y González-Such, 2009Jornet Meliá, J. M. y González-Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación (ESE), 16, 103-123.; Bakieva et al., 2018Bakieva, M., Jornet, J. M., González-Such, J. y Leiva, Y. E. (2018). Colegialidad docente: validación lógica del instrumento para autoevaluación docente en España y México. Estudios Sobre Educación, 34, 99-127. https://doi.org/10.15581/004.34.99-127 ; Sancho-Álvarez et al., 2016Sancho-Álvarez, C., Jornet, J. M. y González-Such, J. (2016). El constructo Valor Social Subjetivo de la Educación: validación cruzada entre profesorado de escuela y de Universidad. Revista de Investigación Educativa, 34(2), 329-350. http://doi.org/10.6018/rie.34.2.226131).

El estudio se desarrolla a través de la técnica panel o juicio de expertos, ya que esta estrategia es utilizada en múltiples ámbitos de la evaluación para asegurar la validez en el diseño de instrumentos (Kitamura y Kitamura, 2000Kitamura, T. y Kitamura, F. (2000). Reliability of clinical judgment of patients’ competency to give informed consent: A case vignette study. Psychiatry and Clinical Neurosciences, 54(2), 245-247.; Jornet y González-Such, 2009Jornet Meliá, J. M. y González-Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación (ESE), 16, 103-123.). Por ello, se ha convertido en una herramienta habitual por su utilidad y eficacia para la validación de contenidos en muchas áreas de investigación (Utkin, 2006Utkin, L. V. (2006). A method for processing the unreliable expert judgments about parameters of probability distributions. European Journal of Operational Research, 175(1), 385-398.; Pedrosa, et al., 2013Pedrosa, I., Suárez-Álvarez, J. y García-Cueto, E. (2013). Evidencias sobre la validez de contenido: avances teóricos y métodos para su estimación. Acción Psicológica, 10(2), 3-18. http://doi.org/10.5944/ap.10.2.11820.). En este caso, se adapta para analizar la validez del listado de contenidos de EpD.

Participantes

En la selección de los jueces para este estudio se han tomado en consideración los criterios aportados por investigaciones precedentes. Así se sabe que la elección de los jueces, según su formación académica o su experiencia laboral en el tema, resulta fundamental para la investigación (Galicia et al., 2017Galicia, L. A., Balderrama, J. A. y Edel, N. R. (2017). Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apertura, 9(2), 42-53. https://doi.org/10.32870/ap.v9n2.993), incluyendo diferentes perfiles (Barroso y Cabero, 2011Barroso, J. y Cabero, J. (2010). La investigación educativa en TIC. Síntesis.) para obtener una información de calidad pormenorizada sobre los criterios a valorar (Escobar y Cuervo, 2008Escobar, J. y Cuervo, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6, 27-36.). Sin embargo, en cuanto al número de expertos finales que deben participar, no hay un acuerdo unánime para su determinación (Powell, 2003Powell, C. (2003). The Delphi technique: myths and realities. Journal of Advanced Nursing, 41(4), 376-382.; Cabero y Llorente, 2013Cabero, J. y Llorente, M. C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información (TIC). Revista de Tecnología de Información y Comunicación en Educación, 7(2), 11-22. ).

En este estudio, siguiendo estos referentes, se elabora un listado inicial de jueces con los siguientes criterios de inclusión: profesionales con experiencia en el desarrollo de proyectos de EpD desde centros educativos y espacios universitarios y/o entidades sociales. A partir de redes profesionales y académicas se establece un listado de 110 jueces expertos, contactados por su vinculación e interés por el ámbito de la EpD, independientemente de dónde desarrollaran su función profesional. De esta forma, no se pretende que sean representativos de su colectivo profesional de referencia, sino que, partiendo del interés e implicación con la EpD, puedan aportar visiones diferentes sobre la misma.

El cuestionario de validación fue remitido a las 110 personas con rol de jueces expertos (todos fueron enviados telemáticamente, excepto a los que trabajaban en la misma entidad que la autora). Contestaron un total de 82 jueces expertos, de los cuales la mayor parte (40.2%) proceden del ámbito social; el 59.8% restante son profesionales del sistema educativo; el 36.6%, del nivel universitario; y un 23.2%, del no universitario (hay que señalar que en alguna cuestión hubo respuestas en blanco, que explican el número de respondientes en las tablas posteriores).

Variables e instrumentos

El proceso de revisión lógica de los instrumentos habitualmente exige analizar los elementos que lo componen (los ítems) en función de una serie de criterios. En este caso, el listado inicial de contenidos de EpD no es un instrumento de medición como tal, por ello, el proceso de revisión y validación se adapta al contenido y a los usos que se le va a dar, sea como referente para el diseño curricular o para la revisión de materiales curriculares (Calvo et al., 2017Calvo, M., Abad, F. y Conde, M. J. (2017) Validación psicométrica de un instrumento de evaluación de competencias informacionales en la educación secundaria, Bordón. Revista de Pedagogía, 69(1), 2017, 27-43. https://doi.org/10.13042/Bordon.2016.48593; Escobar y Cuervo, 2008Escobar, J. y Cuervo, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6, 27-36.; Pedrosa, et al., 2013Pedrosa, I., Suárez-Álvarez, J. y García-Cueto, E. (2013). Evidencias sobre la validez de contenido: avances teóricos y métodos para su estimación. Acción Psicológica, 10(2), 3-18. http://doi.org/10.5944/ap.10.2.11820.). Para plantear este proceso se diseña un cuestionario de validación, que revisa cada uno de los contenidos por bloques temáticos, según tres criterios: de pertinencia del contenido dentro del bloque temático en que se incluye (escala numérica de 1 a 10); de ubicación del contenido en el bloque temático propuesto (escala dicotómica y posibilidad de nueva ubicación); y de formulación del contenido en tanto permite una adecuada y unívoca comprensión, de lo contrario se solicita una propuesta de formulación (pregunta abierta).

Resultados

El primer análisis descriptivo de los documentos mencionados anteriormente permite identificar los contenidos que, en términos literales, son abordados en cada uno de ellos. La revisión de los elementos extraídos evidencia la existencia de cuatro grandes bloques temáticos que agrupan un total de 22 contenidos (tabla 1). Esta propuesta inicial se deriva del análisis documental realizado por las autoras de la investigación y es la que se somete a revisión por parte de los jueces expertos.

En segundo lugar, se realiza el análisis de pertinencia, ubicación y formulación de este listado inicial. El estudio ha permitido validar globalmente el listado de contenidos de EpD y localizar algunos puntos concretos sobre los que es necesaria una reflexión mayor.

Globalmente, los resultados muestran (tabla 2) que los jueces valoran positivamente la pertinencia de la estructura de contenidos de EpD y la ubicación de los contenidos en bloques, siendo las valoraciones especialmente altas en el bloque 4, y menos altas en la pertinencia del bloque 1, donde también hay una mayor variabilidad; aunque se pueden catalogar todas las distribuciones como “homogéneas”, según el porcentaje del cociente de variación.

En el bloque uno de la tabla 3, “contenidos socioeconómicos”, se puede observar cómo los jueces valoran en general adecuadamente la pertinencia de los contenidos presentados. En las valoraciones de pertinencia sobre “globalización” y “distribución económica” se encuentran puntuaciones muy altas, cabe destacar la homogeneidad de las valoraciones de los jueces en ambos casos. En el extremo contrario, se cuestionan los “Objetivos de Desarrollo del Milenio/Sostenible”, siendo la que tiene una media menor en pertinencia (7.24), y una mayor variabilidad, de forma que es el único contenido cuya distribución se puede categorizar como heterogénea, según el cociente de variación (38.37%). Asimismo, en general, la ubicación es valorada de forma muy adecuada, aunque encontramos una mayor variabilidad entre las puntuaciones también en el último contenido.

Los jueces plantean algunas sugerencias sobre estos contenidos. Respecto a “globalización” se plantean 8 comentarios referidos a ubicación y 17 a formulación. De ellos, hay 8 jueces que cuestionan el término globalización como unívoco, y aportan varias calificaciones (capitalista, económica, neoliberal…), proponiendo incluso un término más integrador como “globalizaciones”. Con relación a “distribución económica” se recogen 9 comentarios de ubicación y 24 de formulación. En 10 de ellos se hace referencia, de una forma u otra, a la necesidad de hablar también sobre desigualdad, aunque la valoración de pertinencia de este contenido es muy alta. Los comentarios respecto “acceso y calidad de la enseñanza” y “acceso y calidad sanitaria” son más diversos. La primera recibe 14 de ubicación y 20 de formulación; y la segunda, 13 y 17, respectivamente, pero en muchos casos son para confirmar los contenidos. De un modo similar, sucede en “acciones de cooperación internacional” que recoge comentarios dispersos (12 ubicación y 15 formulación). Por último, en el referente a los “Objetivos de Desarrollo del Milenio/Sostenible” se hacen aportaciones significativas, en coherencia con la valoración inferior y más heterogénea realizada en pertinencia. Desde el colectivo de jueces, se apuesta mejor por los Objetivos de Desarrollo Sostenible (3 casos) y, en todo caso, por una perspectiva más crítica (6 casos) y global (3 casos), sugiriéndose su incorporación en “acciones de cooperación internacional”.

En el bloque dos, “identidad, diversidad e igualdad” (tabla 4), también se valora adecuadamente la pertinencia de casi todos los contenidos, con puntuaciones medias que oscilan entre el 9.54 (“igualdad entre personas”) y el 9.05 (“identidad personal y desarrollo socioafectivo”). Las valoraciones en ubicación también son adecuadas (entre 0.96 y 0.99). No obstante, las valoraciones sobre el contenido “religiones en el mundo” obtienen una media claramente inferior (7.77) en pertinencia y con valoraciones más heterogéneas en ubicación (37.39%).

El contenido de “identidad personal y desarrollo socioafectivo” recibe 6 comentarios de ubicación y 13 de formulación, se trata de valoraciones globales, muchas de ellas positivas y sin centrarse en un tema concreto. Repasando los contenidos específicos, respecto a “igualdad entre personas” sí se identifican aportaciones significativas (8 ubicación y 15 formulación). En 8 de ellas se propone la incorporación del término “equidad” en la formulación. Los comentarios planteados para “diversidad cultural” y “relaciones interculturales” están muy vinculados: en ambos se plantean 6 comentarios de ubicación y 11 de formulación, además 7 de ellos proponen fundir ambos contenidos y trabajarlos conjuntamente. Por último, para el contenido “religiones en el mundo” se aportan 13 comentarios de ubicación, indicando en 5 de ellos que consideran el contenido no pertinente. Y se aportan 18 comentarios de formulación, cuestionando en 7 de ellos no solo la formulación sino la inclusión misma del contenido. Esto coincide con la valoración de pertinencia, que, mostrando acuerdo intersubjetivo entre los diferentes grupos, se puntúa muy por debajo del resto.

En el bloque tres, “formación política y participación ciudadana” (tabla 5), la valoración de pertinencia en todos los contenidos se sitúa por encima de 8, en una escala con máximo 10 puntos. Con todo, un contenido destaca como menos claro, el relativo al “voluntariado”, que se queda con una media de 8.32, y muestra la distribución menos homogénea de las valoraciones de los jueces (desviación típica de 0.329; cociente de variación del 27.15%). Respecto a la ubicación, cada uno de los contenidos es considerado adecuadamente ubicado en el bloque por al menos un 90% de los jueces.

Se reciben comentarios respecto a ubicación y formulación en: “sistema político” (8 ubicación y 10 formulación), “formas de participación ciudadana” (8 ubicación y 6 formulación), “conflicto” (10 ubicación y 6 formulación) y “derechos humanos” (8 ubicación y 6 formulación) que confirman los contenidos propuestos. Con relación a “solidaridad” se recogen 12 comentarios de ubicación y formulación. En 2 de ellos se apuesta por enlazarlo con “formas de participación ciudadana”, en otros 4 por vincularlo con “movimientos sociales” y en 5 más por abordarlo desde el concepto de “justicia social”. Respecto a “voluntariado”, con 11 comentarios de ubicación y 16 de formulación, se cuestiona en muchos casos la entidad específica del contenido, y sugieren abordarlo desde un enfoque más comprometido y crítico socialmente, y/o integrándolo en otros contenidos. En 5 comentarios se propone vincularlo a “formas de participación ciudadana”, en 4 ocasiones a “solidaridad”, en 2 a “movimientos sociales” y en una a “acciones de cooperación internacional”. El último contenido propuesto, “movimientos sociales” (11 ubicación y 12 formulación) recoge valoraciones diversas, que reiteran su vinculación con “solidaridad” y “formas de participación ciudadana”.

Por último, en la tabla 6 se recoge el bloque cuatro, “educación ambiental”. Es el valorado más uniformemente en cuanto a su pertinencia por el grupo de jueces, mostrando variabilidades muy reducidas. Todas las distribuciones son homogéneas, y todas las valoraciones de pertinencia tienen medias por encima de 9 puntos sobre 10. Las valoraciones de la adecuación sobre la ubicación son muy altas y con escasa variabilidad. Se puede decir, por tanto, que el grupo de jueces corrobora de forma muy clara la estructura de este bloque.

En este bloque se plantean comentarios diversos que aportan matices pero no cuestionan la estructura propuesta (“desarrollo sostenible y cuidado del medio ambiente”, 9 ubicación y 17 formulación; “acceso y distribución de los recursos naturales”, 12 ubicación y 10 formulación; y “relación del ser humano con la naturaleza”, 6 ubicación y 10 formulación).

Como conclusión, por un lado, el análisis cuantitativo muestra una confirmación global y bastante homogénea de los jueces consultados respecto a la estructura global de contenidos. Los jueces valoran adecuadamente la pertinencia y la ubicación de los cuatro bloques que componen esta propuesta de contenidos, considerados relevantes a partir de la bibliografía consultada. No obstante, este primer análisis también muestra algunos de ellos cuya valoración no es tan positiva (ver tabla 7).

Por otro lado, el estudio cualitativo sobre el criterio de formulación permite confirmar las conclusiones del estudio cuantitativo sobre pertinencia y ubicación. Así, los jueces refuerzan con sus comentarios que los contenidos “Objetivos de Desarrollo del Milenio/Sostenible” (bloque 1), “religiones en el mundo” (bloque 2) y “solidaridad” (bloque 3) deben ser revisados. Además, este estudio de formulación da pie a una nueva reflexión: los contenidos “diversidad cultural” y “relaciones interculturales” del bloque 2, considerados muy pertinentes, deberían ser fusionados.

Finalmente, como evidencia complementaria de validación, se aporta el estudio de consistencia entre jueces para el criterio de pertinencia, que complementa los análisis de variabilidad de las valoraciones, presentadas en cada uno de los criterios (y que permitían describir las distribuciones como homogéneas, excepto en los casos que han sido comentados). Así, como se observa en la tabla 8, es significativo el acuerdo consistente entre las valoraciones emitidas por los jueces, ya que según el coeficiente W de Kendall en las opiniones respecto a la valoración de la pertinencia en los bloques 1, 2 y 3 (para los que las medias indicaban que son pertinentes), el acuerdo es además estadísticamente significativo, con un nivel de confianza de .05.

Sin embargo, este indicador no evidencia un acuerdo significativo en el bloque 4. Los estadísticos descriptivos paradójicamente han mostrado que la valoración sobre pertinencia del bloque 4 es la más alta (9.33 en una escala de 10), y obtiene una variabilidad muy baja (desviación típica de 0.95; cociente de variación de 10.18%). Probablemente, esta reducida variabilidad limita el potencial matemático del indicador W de Kendall, y explica que el acuerdo no sea identificado como significativo.

Conclusión y discusión

El proceso de validación de la estructura de contenidos EpD realizado presenta una confirmación global de la propuesta, con una gran consistencia de acuerdo entre las valoraciones de los jueces. Como resultado, este trabajo ofrece un listado validado de 18 contenidos de EpD, que confirma una estructura de cuatro bloques que abordan cuestiones fundamentales de la EpD en consonancia con los planteamientos más actuales que demanda la “Educación para la Ciudadanía Mundial” (UNESCO, 2016UNESCO (2016). Educación para la ciudadanía mundial: preparar a los alumnos para los restos del siglo XXI. UNESCO.). A partir de los análisis realizados se modifica en algunos elementos el listado inicial de contenidos de EpD que pasa de 22 a 18 contenidos, se elimina “Objetivos de Desarrollo del Milenio/Sostenible” (bloque 1), “relaciones interculturales” (bloque 2), “religiones en el mundo” (bloque 2) y “solidaridad” (bloque 3). Todos se integran dentro de otros contenidos, excepto “religiones en el mundo”. Además, el análisis de la información cualitativa permite extraer sugerencias e incorporar variaciones de formulación en algunos de los contenidos (tabla 9).

El listado presentado permite diseñar materiales escolares, para cualquier asignatura, desde una orientación de Educación para el Desarrollo, es decir, incorporando al currículum habitual el desarrollo de una mirada amplia y sensible a las diferentes realidades del planeta, más allá de nuestro contexto cercano. Puede ser utilizado a nivel de aula, por el profesorado, a nivel editorial, o incluso a nivel político, en un momento en el que la revisión del currículum es un hecho.

Además, se plantea un segundo aporte de este estudio, que da respuesta al objetivo específico descrito como complementario. El listado de contenidos se propone también como herramienta validada de análisis de manuales escolares y prácticas socieducativas, para analizar hasta qué punto incorporan esta perspectiva EpD. Para ello, se requiere un mecanismo que permita revisar no solo si estos materiales (textuales, visuales, multimedia…) recogen los contenidos mencionados, sino también cómo lo hacen. Así, se plantea la propuesta de una escala que nace del análisis de lo que diferentes autores han denominado las estrategias de EpD (Baselga et al., 2000Baselga, P., Ferrero, G. y Boni, A. (coord.) (2000). La educación para el desarrollo y las administraciones públicas españolas. Universidad Politécnica de Valencia. https://bit.ly/2ydZKZn; Ortega, 2007Ortega, M.ª L. (2007). Estrategia de Educación para el desarrollo de la cooperación española. Ministerio de Asuntos Exteriores y de Cooperación.; Celorio, 2013Celorio, G. (2013). Sensibilización y Educación para el Desarrollo. En F. Agost y R. Mar (coords.), Cooperación descentralizada pública. Introducción, enfoques y ámbitos de actuación (pp. 225-261). Publicaciones de la Universitat Jaume I. ). Además de las cuatro estrategias planteadas (sensibiliza; educación-formación; investiga; e incidencia política y movilidad social) se incluye una estrategia más de análisis, “informa sesgadamente” para describir formas de abordar los contenidos que se consideran inadecuados por no responder a los principios básicos de la EpD.

Como se refleja en la tabla 10, se desarrolla una herramienta de valoración en torno a tres elementos descriptivos: qué enseña, qué actitudes se promueven y qué procedimiento de enseñanza-aprendizaje sugiere el contenido.

Las cinco estrategias (tabla 10) que forman la escala permiten describir cómo son tratados los contenidos en los manuales escolares y las prácticas socioeducativas. Aunque no se plantea de menos a más, es evidente que la finalidad del aprendizaje en cada caso es distinta. La profundización de contenidos, el empoderamiento y/o la implicación respecto a la realidad del mundo es diferente, fomentando una forma de ser y estar en el mundo que habitamos distinta, en función de cómo sean abordados los contenidos.

Esta herramienta fue utilizada para analizar si los manuales de Educación para la Ciudadanía respondían a los principios de Educación para el Desarrollo, demostrando su utilidad y significado (Ortega-Gaite, 2016Ortega-Gaite, S. (2016). Análisis de manuales escolares de educación para la ciudadanía y derechos humanos de educación secundaria obligatoria en clave de educación para el desarrollo [tesis doctoral no publicada, Universidad de Valladolid].; Ortega-Gaite et al., 2020Ortega-Gaite, S., Tejedor Mardomingo, M. y Perales Montolío, M. J. (2020). La distribución económica y desigualdad en los manuales escolares de educación para la ciudadanía y derechos humanos en clave de educación para el desarrollo. En E. Díez Gutiérrez y J. R. Rodríguez Fernández (coords.), Educación para el Bien Común: hacia una práctica crítica, inclusiva y comprometida socialmente (230-241). Octaedro.).

Este trabajo se presenta en un momento político del sistema educativo español en el que el tema vuelve a retomarse por la revisión de la ley de educación. Uno de los objetivos del nuevo marco legal es la inclusión de un espacio curricular específico de valores ciudadanos. El listado de contenidos de EpD validado puede ser un referente para el diseño y desarrollo del currículum que tenga como objetivo una construcción de ciudadanía global, crítica y transformadora en la línea que plantea la UNESCO (2016UNESCO (2016). Educación para la ciudadanía mundial: preparar a los alumnos para los restos del siglo XXI. UNESCO.). Además, la propuesta aporta un instrumento para el análisis de cómo son tratados los contenidos de los manuales escolares en clave de EpD en la línea de otras investigaciones (Meyer et al., 2010Meyer, J. W., Bromley, P. y Ramírez, F. O. (2010). Human rights in social cience textbooks: cross-national analyses 1970-2008. Sociology of Education, 83(2), 111-134.; Sánchez y Vargas, 2017Sánchez Fernández, S. y Vargas Sánchez, M. (2017). La cultura de paz en educación secundaria obligatoria. Estudio comparado de libros de texto de educación para la ciudadanía. Bordón. Revista de Pedagogía, 69(2), 115-130. https://doi.org/10.13042/Bordon.2016.49768 ; Ortega-Gaite et al., 2020Ortega-Gaite, S., Tejedor Mardomingo, M. y Perales Montolío, M. J. (2020). La distribución económica y desigualdad en los manuales escolares de educación para la ciudadanía y derechos humanos en clave de educación para el desarrollo. En E. Díez Gutiérrez y J. R. Rodríguez Fernández (coords.), Educación para el Bien Común: hacia una práctica crítica, inclusiva y comprometida socialmente (230-241). Octaedro.). Estas contribuciones constituyen, en sí mismas, sendas aportaciones de la investigación y pueden ser un punto de partida a nivel escolar para la formación en valores ciudadanos.

Referencias bibliográficas

Abstract

Validation of Development Education content for analysis of textbooks

INTRODUCTION. In a globalised world characterised by great economic inequalities and the lack of universal access to quality education and health care, it is necessary to work on content in school education that makes students aware of the world reality in which they live. Development Education is a highly valuable perspective for tackling this issue in the school environment in the formation of civic values. METHOD. Based on the review of international and national research, an initial list of Development Education contents is presented and validated through a process of judgement to assess the criteria of relevance, location and formulation carried out by 82 experts from the social and/or academic context closely linked to the field of Development Education. RESULT. The results show a significant agreement among the judges in their assessment of the relevance of the list of contents. The judges confirm the organisation in four blocks, propose improvements in the formulation elements and allow for a revision of the content structure, reducing it from 22 to 18. DISCUSSION. We conclude with a list of contents that provides a basis for the analysis of school textbooks and/or for curriculum design from the perspective of Development Education in a direct and/or transversal way. In a complementary manner, a scale is provided to analyze how the contents indicated in the school textbooks are treated with respect to: what to teach, attitudes that they promote and teaching-learning procedures in terms of Development Education.

Keywords: International vocational education, Civic education, Curriculum evaluation, Text¬book.

Résumé

Validation des contenus de l'Éducation au Développement pour l'analyse des manuels scolaires

INTRODUCTION. Dans un monde globalisé marqué par des grandes inégalités économiques et le manque d'accès universel à une éducation et une santé de qualité il est nécessaire de travailler à partir des contenus éducatifs scolaires qui rendent visibles, sensibilisent et font prendre conscience aux élèves de la réalité mondiale dans laquelle ils cohabitent. L'Éducation au Développement offre une perspective précieuse pour transmettre des valeurs civiques dans l'espace scolaire. MÉTHODE. Sur la base de l'examen des documents de référence au niveau international et national, une première liste de contenus d'Éducation au Développement est présentée. Celle-ci est validée par un processus de jugement à partir des critères de pertinence, de localisation et de formulation fait par 82 experts du contexte social et/ou académique liés de manière directe au domaine de l'Éducation au Développement. RÉSULTATS. Les résultats montrent un accord significatif entre les juges dans leurs évaluations sur la pertinence de la liste de contenus. Les juges confirment l'organisation en quatre blocs, proposent d’améliorations des éléments de formulation et révisent la structure des contenus, passant de 22 à 18. DISCUSSION. On apporte une liste de contenus qui fournit une base pour l'analyse des manuels scolaires et/ou pour la conception de programmes d'études sous la perspective de l'Éducation au Développement. De manière complémentaire, une échelle est fournie pour analyser la manière dont les contenus des manuels scolaires sont traités en ce qui concerne :les contenus d’enseignement, les attitudes qu'ils promeuvent et les procédures d'enseignement-apprentissage en termes d'Éducation au Développement.

Mots-clés: Enseignement professionnel international, Éducation à la citoyenneté, Évaluation du programme d’études, Manuel scolaire.

Perfil profesional de los autores

Sonia Ortega Gaite (autora de contacto)

Profesora ayudante doctor en el Departamento de Pedagogía en la Universidad de Valladolid (UVa). Coordinadora del Grado de Educación Social. Premio extraordinario de doctorado por la UVa (mención internacional). Miembro del Grupo de Evaluación y Medición GEM-Educo (www.uv.es/gem/gemeduco) y del Grupo de Innovación Docente InnovaMIDE (www.uv.es/innovamide). La docencia y sus líneas de investigación se centran en la formación inicial de profesorado en clave social, la educación para el desarrollo, la construcción de la ciudadanía crítica y transformadora y evaluación de proyectos y programas socioeducativos.

Correo electrónico de contacto: sonia.ortega.gaite@uva.es

Dirección para la correspondencia: Facultad de Educación, Avda. de Madrid, 44, 34004 Palencia (España).

María Jesús Perales Montolio

Profesora titular en el Área de Métodos de Investigación y Diagnóstico en Educación, de la Universitat de València. Directora del Máster Oficial en Acción Social y Educativa, que incluye el itinerario de mediación. La docencia y sus líneas de investigación están centradas en el ámbito de la evaluación educativa y el diseño de instrumentos dentro de procesos de evaluación; con una especial atención a los procesos de evaluación en el ámbito socioeducativo.

Correo electrónico de contacto: perales@uv.es

Carlos Sancho-Álvarez

Doctor en Educación, pedagogo y psicopedagogo por la Universitat de València. Investigador postdoctoral contratado del Departamento MIDE-UV. Miembro del Grupo de Evaluación y Medición GEM-Educo (www.uv.es/gem/gemeduco). Miembro del Grupo de Innovación Docente InnovaMIDE (www.uv.es/innovamide). Experiencia docente e investigadora en escuelas y universidades de España, Argentina, México y Estados Unidos. Ha impartido docencia sobre medición educativa y evaluación de programas en grados universitarios y metodología de evaluación e investigación educativa en másteres. Sus líneas de investigación son: valor social de la educación, validación de instrumentos de evaluación y sistemas de evaluación para la cohesión social.

Correo electrónico de contacto: carlos.sancho@uv.es

Judith Quintano Nieto

Doctora por la Universidad de Valladolid. Licenciada en Pedagogía por la Universidad de Oviedo y diplomada en Educación Social por la Universidad de Valladolid. Ha realizado el Máster de Estudios de Género y Políticas de Igualdad (Universidad de Valladolid). Profesora ayudante doctor en la Facultad de Educación del Campus de Palencia (Universidad de Valladolid), en el Departamento de Filosofía, Área de Teoría e Historia de la Educación. Sus líneas de investigación están relacionadas con la educación para una ciudadanía global y la participación social y democrática en diferentes etapas y niveles de educación, desde la primera infancia, la juventud y la formación universitaria, hasta la educación de personas adultas y mayores.

Correo electrónico de contacto: judith.quintano@uva.es