Estudio bibliométrico sobre la Educación de Calidad

Bibliometric study on Quality Education

https://doi.org/10.4438/1988-592X-RE-2024-404-622

Odiel Estrada-Molina

https://orcid.org/0000-0002-0918-418X

Universidad de Valladolid

Rafael Repiso

https://orcid.org/0000-0002-2803-7505

Universidad de Málaga

Ignacio Aguaded

https://orcid.org/0000-0002-0229-1118

Universidad de Huelva

Resumen

El cumplimiento de los 17 objetivos de desarrollo sostenible (ODS) declarados en la Agenda 2030 es de vital importancia para nuestra supervivencia. Su cumplimiento es incompleto sin lograr una educación para el desarrollo sostenible. Estudios bibliométricos previos analizan parcialmente la producción científica relacionado con la Educación de Calidad lo cual no permite conocer totalmente su comportamiento bibliométrico. Por tal motivo, los objetivos de este estudio son analizar la producción científica relacionada con el ODS 04 durante el periodo 2017-2021 y comprobar su nivel de integración con los restantes ODS. Se utilizó la herramienta Incite de Clarivate Analytics para la obtención de la información y, para la búsqueda de los documentos y sus métricas, la Web of Science Core Collection. Se identificaron 189.364 documentos. De ellos, se analizaron 141.372 distribuidos de la siguiente manera: artículos (135.476) y revisiones (5.896). Para el análisis y representación de los datos se utilizó la herramienta VOSViewer así como diagramas de tipo Tornado y de Sankey. Los resultados muestran que los términos de mayor co-ocurrencia fueron: COVID-19 (7.366), Mental health (5.903), Higher Education (5.659), Education (5.547), Gender (5.152), Sustainability (4.689), Food insecurity (4.394), Depression (3444), y Health (3.338). Los objetivos de desarrollo sostenible de mayor influencia son los objetivos 03 (Salud y Bienestar), 05 (Igualdad de Géneros) y 10 (Reducción de las Desigualdades). En relación a los países con más de 1.000 documentos publicados, se destacan: Estados Unidos (46.937), Reino Unido (14.611), Australia (11.659) y República Popular China (10.307). El análisis de la producción científica justifica que aún son insuficientes los esfuerzos hacia la sostenibilidad curricular y la integración explícita de los objetivos de desarrollo sostenible.

Palabras clave: bibliometría, educación, educación de calidad, sostenibilidad, estudios estadísticos.

Abstract

Meeting the 17 sustainable development goals (SDG) declared in the 2030 Agenda is vital for our survival. Its fulfillment is incomplete without achieving an education for sustainable development. Previous bibliometric studies partially analyze the scientific production related to Quality Education, which does not allow full knowledge of its bibliometric behavior. For this reason, the objectives of this study are to analyze the scientific production related to SDG 04 during the 2017-2021 period and verify its level of integration with the other SDGs. The Clarivate Analytics Incite tool was used to obtain the information and, to search for the documents and their metrics, the Web of Science Core Collection. 189,364 documents were identified from them, 141,372 were analyzed, distributed as follows: articles (135,476) and reviews (5,896). For the analysis and representation of the data, the VOSViewer tool was used, as well as Tornado and Sankey type diagrams. The results show that the terms with the highest co-occurrence were: COVID-19 (7,366), Mental health (5,903), Higher Education (5,659), Education (5,547), Gender (5,152), Sustainability (4,689), Food insecurity (4,394), Depression (3,444), and Health (3,338). The most influential sustainable development goals with Quality Education were 03 (Good Health and Well-being), 05 (Gender Equality) and 10 (Reduced Inequality). In relation to the countries with more than 1,000 published documents, the following stand out: the United States (46,937), the United Kingdom (14,611), Australia (11,659) and the People's Republic of China (10,307). The analysis of the scientific production justifies those efforts toward curricular sustainability and the integration of the sustainable development goals are still insufficient.

Keywords: bibliometrics, education, quality education, sustainability, statistical studies.

Introducción

Los Objetivos de Desarrollo Sostenible (ODS) son una mirada actual y futura de la construcción de un mundo sostenible, de amplia colaboración entre lo económico, social, medioambiental, el desarrollo y la sustentabilidad (Sinakou et al., 2017). Para ello, es fundamental la concepción de un pensamiento sistémico, complejo y global de lo social, lo ecológico y lo económico o desde la perspectiva del «planeta», la sociedad y la «prosperidad» (McKenzie & Abdulkadri, 2018) mediante la acción, la participación y el empoderamiento ciudadano.

Para lograr lo anterior, se establecieron 17 ODS (Figura I) y 169 metas interrelacionados entre sí, al menos teóricamente, a los cuales deben contribuir todos países según sus políticas y leyes para cumplir con lo estipulado en la Agenda 2030 (Armitage et al., 2020).

Es reiterado en la comunidad científica que las estrategias políticas están marcadas por un carácter aislado y particular por lo cual aún es un reto el logro de los ODS (García et al., 2020). Uno de estos objetivos es el 04 (Educación de Calidad), el cual se concibió en estrecha relación con los demás ODS, promoviendo la formación y desarrollo de competencias, actitudes, capacidades, valores y formas de comprender y actuar en coherencia con el desarrollo sostenible.

En los informes oficiales de las Naciones Unidas se declara que más de 250 millones de niños son analfabetos o no tienen formas de acceder a una institución educativa (United Nations, 2019), destacándose la necesidad de erradicar o disminuir las brechas sociales, económicas y de desarrollo existente en los países.

La educación es uno de los pilares fundamentales de la humanidad pues, como proceso social y cultural, acerca a la comprensión, reflexión, conocimiento y transformación sostenible del ser para el aprendizaje permanente en coherencia con la sociedad y la naturaleza (Estrada-Molina et al., 2022). El cumplimiento parcial de este objetivo en ocasiones es visualizado desde una perspectiva general y cuantitativa en los informes de la Comisión Europea “Education and Training 2020”, y en el informe anual de la “Organisation for Economic Co-operation and Development” (OECD), los cuales pueden ser consultados (informes del último año) en la European Commission (2021) y la Organisation for Economic Co-Operation and Development (2021), respectivamente.

La Educación de Calidad (ODS 04) a menudo es estudiado desde la perspectiva micro (familia, amistades, relaciones sociales -presencial o virtual-), meso (sociedad, grupos sociales, la escuela, instituciones educativas, organizaciones, etc.) y macro (a nivel de país y sus políticas). Por ello se establece la necesidad de la coherencia y cohesión social entre los diversos agentes de socialización y la responsabilidad sustentable, además de la sensibilidad ciudadana, la responsabilidad política, el acceso y las oportunidades de una educación de calidad (Boeren, 2019; Estrada-Molina & Fuentes-Cancell, 2022). Si bien diversos países de la Unión Europea (Pleśniarska, 2019), América (Corbett & Guilherme, 2021), Asia (Jermsittiparsert & Sriyakul, 2020), y de África (Nafukho & Muyia, 2021) han logrado grandes avances en la implementación del ODS 04, aun es insuficiente para cumplir con los indicadores y metas establecidas en este objetivo.

Los estudios realizados muestran el interés de la comunidad científica para contribuir, desde el accionar social y científico, a alcanzar las metas de ODS 04. Pero, ¿cómo se ha comportado la producción académica del ODS 04 en el último quinquenio? ¿Las investigaciones publicadas para el ODS 04 logran la integración con los demás ODS? Estas, entre otros interrogantes iniciales motivaron la realización de esta investigación bibliométrica.

Estudios bibliométricos y revisiones sistemáticas acerca del ODS 04

En la búsqueda realizada (2017-2021) en la Web of Science (WoS) y Scopus, se reportan pocos estudios bibliométricos y revisiones sistemáticas en relación al ODS 04. De ellos, (Tabla I) cinco son estudios bibliométricos, seis revisiones sistemáticas y uno de tipo metaanálisis.

En su mayoría (Ferrer-Estévez & Chalmeta, 2021; Meschede, 2020; Prieto-Jiménez et al., 2021; Yeh et al., 2022) se caracterizan por realizar un análisis bibliométrico de todos los ODS lo cual, en cierto sentido, no permite profundizar en un objetivo determinado, aunque establece algunas aproximaciones de calidad en cuanto a sus relaciones. Otros estudios similares (Diksha & Chakravarty, 2022; Sweileh, 2020) analizan estos objetivos, pero desde la perspectiva del 03, enmarcando las fuertes relaciones entre este objetivo con el de Educación de Calidad.

Solo cinco estudios (Crawford & Cifuentes-Faura, 2022; Palomino et al, 2022; Acosta-Castellanos et al, 2021; Avelar et al., 2019; García et al., 2020) centran su atención en el ODS 04. Los autores García et al (2020) efectúan un metaanálisis analizando 240 documentos presentes en Scopus y la WoS realizando una exploración inicial de la producción académica, sin lograr efectuar el coanálisis de palabras claves ni el análisis de coautoría. Mientras que Avelar et al. (2019) efectúan una revisión sistemática de 193 artículos destacando a partir de ellos, redes de coautoría, publicaciones periódicas, instituciones de educación superior (IES) y países más influyentes. Sin embargo, al solo seleccionar una pequeña muestra, sus resultados no permiten ver una perspectiva integral del ODS 04.

Palomino et al. (2022), en su revisión sistemática con corte cualitativo (18 documentos), analizan las actitudes y competencias de los docentes para lograr una educación para el desarrollo sostenible, aunque no analizan los indicadores de la producción académica. Acosta-Castellanos et al. (2021) realizan una revisión sistemática desde 1987-2021 relacionada con educación para el desarrollo sostenible asociándolo con el ODS 04, pero sin identificar los indicadores de producción académica. Por último, Crawford & Cifuentes-Faura (2022) analizan inicialmente el impacto de la COVID-19 en el ODS 04, pero no provee un análisis de la producción académica.

Los estudios referenciados muestran el interés de la comunidad académica en relación al ODS 04, su impacto, tendencias, líneas de investigación y producción académica. Los estudios publicados no logran profundizar en la caracterización de la producción académica de este ODS.

Por tal motivo, este estudio bibliométrico (1) identifica las principales fuentes de publicación relacionadas con el ODS 04; (2) representa y analiza las principales fuentes de colaboración científica desde la perspectiva de la red de coautoría y el mapa de red de coautoría por países; (3) identifica los términos más empleados; (4) determina el flujo existente entre el ODS 04 y los demás ODS; (5) determina las palabras claves de mayor frecuencia, y (6) muestra desde la producción científica relacionada con el ODS 04, las universidades con mayor producción científica.

Método

Los objetivos de este estudio son analizar la producción científica relacionada con el ODS 04 durante el periodo 2017-2021 y comprobar su nivel de integración con los restantes ODS. Para cumplir con el objetivo, se realizó un estudio bibliométrico pues este tipo de investigación ofrece estrategias, herramientas, métodos y técnicas para indagar y analizar la producción científica desde diferentes perspectivas y fines (Mukherjee et al., 2022; Narin et al., 2016).

Para responder a los objetivos se determinaron las siguientes peguntas de la investigación

• Pregunta 1. ¿Cuáles son las principales fuentes de publicación relacionadas con Educación de Calidad?
• Pregunta 2. ¿Cuáles son las principales fuentes de colaboración científica?
• Pregunta 3. ¿Cuáles son los términos más empleados en las publicaciones asociadas al ODS 04?
• Pregunta 4. ¿Cómo se comporta la proporción de la cantidad de flujo que se evidencian entre los ODS?
• Pregunta 5. Desde la perspectiva del ODS 4, ¿cuáles son las 20 universidades con mayor producción científica? ¿Con qué otros ODS se relaciona la investigación en Educación de estas universidades?

Fuentes de información y estrategia de búsqueda

Para seleccionar las publicaciones relacionadas con el ODS 04, se emplean los filtros que provee Clarivate Analytics en la plataforma InCites. Se escoge esta plataforma pues determina si una publicación indexada en la Web of Science (WoS) se relaciona con uno o varios ODS (García, 2022).

El trabajo se acota a las publicaciones relacionadas con el ODS 04 presentes en la Web of Science Core Collection en el periodo 2017-2021. El sistema ofrece un resultado de 189.364 publicaciones, veinte veces más que las aproximaciones realizadas en los estudios similares de Momete y Momete (2021); Prieto-Jiménez et al. (2021) y Salvia et al. (2019).

El documento obtenido fue filtrado para seleccionar los UT (Accession Number) de las publicaciones para, posteriormente descargar desde la Web of Science Core Collection las informaciones de author, title, source, abstract, keywords, reference cited and use, affiliations y, document type. De todos los documentos (189.364), se escogieron 141.372 clasificados como: artículos (135.476) y revisiones (5.896).

Para la búsqueda de los 141.372 documentos en la Web of Science Core Collection, se emplearon varios ciclos con un máximo de 36.000 manuscritos empleando para ello las expresiones de UT y OR. La investigación se realizó durante los meses junio y julio de 2022.

Selección y representación de la información

Se utilizaron las funcionalidades del VOSViewer para (1) analizar la colaboración científica mediante el análisis de la coautoría y, (2) para determinar los términos más utilizados desde las palabras claves de autores, para ello, se analizó la coocurrencia de palabras clave y, las redes que conformaban (Pregunta 2). Se utiliza este software pues permite construir y visualizar redes académicas para su posterior análisis e interpretación de la información ofrecida(Orduña-Malea & Costas, 2021) además emplea técnicas de agrupamiento comprobadas y útiles para los bibliometristas (van Eck & Waltman, 2017).

Para identificar los autores de mayor producción científica, se seleccionaron aquellos con más de 30 publicaciones. En relación a la colaboración entre países, se seleccionaron los que ponderan más de 1.000 documentos. Por último, asociado a la determinación de las principales palabras claves, se seleccionaron también aquellas que sobrepasaban las 100 ocurrencias (Pregunta 3). De forma general, para la construcción de redes bibliométricas se utilizaron unidades de análisis y unidades de medida y, para la identificación de clústeres se aprovechó la visualización de similitudes y la técnica de agrupación del VOSViewer.

Se empleó el complemento Power-User del Microsoft Excel para generar un diagrama de tipo «tornado» para representar las 141.372 publicaciones según las principales categorías de indexación de la WoS (Pregunta 4). Se utiliza este tipo de gráfico, ya que es una alternativa de visualización para representar similitudes y diferencias asociados a la producción científica (Mitteer et al., 2018) lo cual posibilitó asociarlas con las categorías de indexación permitiendo así comparar la serie de datos obtenidas.

Se utilizó el diagrama de flujo de tipo «diagrama de Sankey» para representar la proporción de la cantidad de flujo que se evidencia entre los propios ODS, claro está, desde la perspectiva del ODS 04. Para lograr esto, se elaboró una matriz de 1x15 según los ODS (exceptuando el ODS 04 y el 17 pues ningún documento estuvo asociado a este último objetivo). Se utiliza este diagrama pues permite representar y analizar las relaciones (flujos) entre diferentes nodos de partida y de llegada (Lupton & Allwood, 2017) convirtiéndose en unos de los enfoques de visualización más utilizados para explorar relaciones de asociación (Chen et al., 2019).

Para determinar la producción científica de las 20 primeras universidades (Pregunta 5), se filtraron los UT de cada publicación asociado a los ODS y posteriormente, se exploró en la Web of Science Core Collection para así consultar las métricas que ofrece.

Por último, para determinar cuáles son las 20 palabras claves de mayor frecuencia desde la perspectiva del ODS 04 y su valor por cada ODS se (1) filtraron los UT de cada publicación asociado a los ODS, (2) se exploró en la Web of Science Core Collection y, (3) se exportó la información necesaria y suficiente para analizarla con el VOSViewer.

Es importante destacar que, la visualización de la información en los diferentes diagramas y redes, así como las palabras clave, categorías de la WoS y nombres de universidades o países, se muestran en idioma inglés, respetando así la información unificada que provee la Clarivate Analytics.

Verificación y estrategia de calidad

Para el filtrado de los UT por cada ODS se utilizó la función CONTAR.SI del Microsoft Excel, lo cual permitió identificar y contabilizar dichos estudios. El proceso fue verificado en tres ocasiones por los autores.

Resultados

En la búsqueda en Incites (WoS), se obtuvo un registro con 189.364 publicaciones para el periodo 2017-2021. Los principales tipos de documentos publicados son: Article (135.476), Proceedings Paper (28.915), Editorial Material (10.150), Review (5.896), Letter (2.467), Book Review (2.315) y, Book Chapter (1.446). En un análisis (Figura II) que incluye solo artículos y revisiones (141.372), se destacan diez categorías temáticas de la WoS siendo la distribución general la siguiente: 2017 (23.581), 2018 (22.853), 2019 (26.768), 2020 (26.321) y 2021 (41.849).

Las principales categorías son: Education & Educational Research, Education, Scientific Disciplines, Public, Environmental & Occupational Health y, Linguistics.

Pregunta 1. ¿Cuáles son las principales fuentes de publicación relacionadas con Educación de Calidad?

En el análisis de los datos, se destacan 16 revistas que agrupan más de 500 artículos (Tabla II). De ellas solo siete son revistas indexadas en la categoría de Education & Educational Research o Education.

Pregunta 2. ¿Cuáles son las principales fuentes de colaboración científica? Los autores de mayor producción cientifica (más de 70 documentos) son: Gwo-Jen Hwang (103) de la National Taiwan University of Science and Technology; Shervin Assari (93) de la Charles R. Drew University of Medicine and Science, Los Angeles; Karrie A. Shogren (80) de la University of Kansas; Chin-Chung Tsai (77) de la National Taiwan Normal University, y Tahmeed Ahmed (74) de la University of Whashigton.

En la identificación de redes de colaboración desde clústeres de coautoría se identifican 279.155 autores. De ellos, 106 con más de 30 documentos y solo 26 establecen interrelaciones, destacándose dos clusters de autores: (1) Wilfried Admiraal, Richard Mayer, Fred Paas, Katharina Scheiter, Tamara Van gog y Jeroen Van Merrienboer y, (2) Ching Sing Chai, Ronnel King, Yan Li, Jing Wang, Shanyong Wang y, Hongbiao Yin.

En los 141.372 documentos analizados se identifican 199 países. En relación a la posible colaboración entre países procedentes de los autores (Figura III) se destacan 32 países con más de 1.000 documentos publicados, sobresaliendo Estados Unidos (46.937), Reino Unido (14.611), Australia (11.659) y República Popular China (10.307) mientras que, por el total de vínculos fuertes, se destacan igualmente estos países adicionándose Alemania y, Canadá. Se escoge esta medida de 1.000 documentos pues es la menor medida que sugería el VoSViewer asociada a la relación entre los nodos.

Pregunta 3. ¿Cuáles son los términos más empleados en las publicaciones asociadas al ODS 4? Se identificaron 149.381 palabras claves de autores, de ellas 671 al menos aparecen en 100 documentos (Figura IV). Los términos de mayor co-ocurrencia (X≥1000) fueron: Higher Education (3.283), Education (2.569), COVID-19 (2.257), Gender (2.025), Mental Health (1.692), Motivation (1.445), Teacher Education (1.373), Professional Development (1.336) y, Disability (1.244). Se escoge esta medida (X≥1000) pues reflejan según los metadatos obtenidos de la WoS, fuertes relaciones entre los nodos.

En el análisis de las palabras claves de autor se identifican siete subredes. En la primera (Figura V) se destacan las relaciones/enlaces de los términos Higher Education (2.208), Motivation (1.609), Professional Development (1.247) y Teacher Education (1.149), es decir, es la red donde se estudia el fenómeno educativo en su dimensión de formación estructural, mientras que, en la segunda subred son los términos de Gender (1.076), Identity (888) y Sport (462), elementos concretos de la educación transversales y relacionados con las políticas educativas.

En la tercera subred (Figura VI) se destacan: Mental Health (2.124), COVID-19 (2.036), Depression (1.536), Education (1.442), Race (1.152) y Stress (1084), una aproximación sanitaria y psicológica al fenómeno educativo mientras que en la cuarta son: Sustainability (323) y Attitudes (188) que recogen los trabajos relacionados con los valores educativos.

En la quinta subred (Figura VII) se destacan las palabras claves: Stunting (769), Children (477), Malnutrition (453) y Nutrition (459) lo que muestra la importancia de la pediatría y la nutrición, dedicando un campo a la dimensión educativa, mientras que, en la sexta subred son: Inclusion (586), Diversity (461), Disability (441) e Inclusive Education (339), donde se concentrarían los artículos de Educación Especial.

Por último, en la séptima subred (Figura VIII) se destacan las siguientes palabras claves: First-year Undergraduate-general (1375), Second-year Undergraduated (1060) y Laboratory Education (887), es decir, los trabajos altamente aplicados.

Al analizar co-ocurrencia de palabras claves de autor por cada ODS (Tabla III) se reafirma que, los ODS 03 y 05 son los de mayor relación con la Educación de Calidad. Es interesante (Tabla III) destacar que las palabras claves que coinciden en los 16 ODS son: COVID-19, Motivation, Children, Assessment, Sustainability y, Food insecurity mientras que, los de mayor valor de presencia son: COVID-19 (7.366), Mental Health (5.903), Higher Education (5.659), Education (5547), Gender (5152), Sustainability (4.689) y, Food insecurity (4.394).

Pregunta 4. ¿Cómo se comporta la proporción de la cantidad de flujo que se evidencia entre los ODS? El análisis de los datos permitió identificar que a ninguna publicación se asoció con el ODS 17 (Figura IX). Las publicaciones relacionadas con los ODS 03 (Salud y Bienestar), 05 (Igualdad de Géneros) y 10 (Reducción de las Desigualdades) son los que mayor relación tuvieron con el ODS 04.

Pregunta 5. Desde la perspectiva del ODS 4, ¿cuáles son las 20 universidades con mayor producción científica? ¿Con qué otros ODS se relaciona la investigación en Educación de estas universidades?

Las principales universidades (Tabla IV) proceden de Estados Unidos y Reino Unido. En el análisis top 20 de las universidades, se destacan cuatro (University of California System, University of London, University of Michigan y, la Harvard University) en relación a la producción científica en todos los ODS.

Discusión y Conclusiones

La búsqueda arrojó un total de 189.364 publicaciones, comprendidas en el periodo 2017-2021, siendo analizadas 141.372 publicaciones relacionadas con artículos y revisiones. Los resultados confirman que las regiones con mayor cantidad de publicaciones y de mayor impacto (según las citas de los documentos) son Estados Unidos de América y países europeos, coincidiendo con lo expresado por Salvia et al (2019). Y en general con la producción a escala global de la base de datos Web of Science.

La producción científica tuvo mayores valores en los años 2021, 2019 y 2020, lo cual coincide parcialmente con el estudio bibliométrico de García et al (2020), en el que analizaron 98 documentos de la WoS y 142 de Scopus siendo – en su investigación– los años de mayor producción el 2018 y 2019. Sin embargo, se coincide en cuanto a las fuentes de colaboración, la distribución general de las publicaciones (Chin & Jacobsson, 2016) y que, la mayor cantidad de publicaciones pertenecen a las categorías de indexación de Education & Educational Research y, Education.

La producción de documentos publicados según los ODS mostró que la mayor relación con el ODS 04 son los ODS 03, 05, 10 y 02, coincidiendo parcialmente con el estudio genérico de los ODS de Fonseca et al. (2020). Estos investigadores realizan un análisis global de todos los ODS expuestos en el Index and Dashboards Report 2018, mientras que, la presente investigación analiza los documentos que generó el Incites de la WoS en relación al ODS 04. No obstante, ello se debe a la procedencia de la información a analizar siendo importante constatar que, en ambas investigaciones, los ODS 03 y 02 presentan fuertes relaciones con el ODS 04. En esta línea, los resultados coinciden en que, las relaciones entre los ODS están asociados con las temáticas de Educación Superior, Género, Calidad y Educación, Salud Mental y, Desarrollo Profesional, coincidiendo con estudios bibliométricos que analizaron la relación específica de Sostenibilidad y Educación en diversos contextos regionales (Momete & Momete, 2021; Prieto-Jiménez et al., 2021).

El análisis de las palabras claves reafirma la relación entre la calidad de la educación y la COVID-19 (Agarwal et al., 2022). Otros aspectos coincidentes con investigaciones e informes oficiales que analizan temas puntuales del ODS 04 muestran la fuerte relación de este objetivo de desarrollo sostenible con las temáticas de género (Unterhalter, 2019), la educación para el desarrollo sostenible (Ferguson & Roofe, 2020), desarrollo profesional y crecimiento económico (Cervelló-Royo et al., 2020), pobreza, migración y educación (United Nations, 2018b), desigualdad, áreas rurales y urbanas (United Nations, 2017), la educación jurídica y desarrollo sostenible (Tejani, 2021), escolarización y desarrollo económico (Hanushek, 2020), la cohesión social y la economía social de mercado sostenible (Camilleri & Camilleri, 2020), la salud mental, burnout, los desórdenes mentales y la educación (Lund et al., 2018) y, por último, la educación y cambio del comportamiento proambiental (Kanowski et al., 2019). Un aspecto relevante es que, en las cinco principales palabras claves de autores, en relación a su co-ocurrencia, no se destaca la presencia de los términos sustaintability ni sustainable development, lo cual ratifica los continuos errores metodológicos y de integración sistemática de los ODS que presentan algunos estudios (Alonso-Sainz, 2021).

Las principales fuentes de publicación muestran que los artículos y revisiones proceden fundamentalmente de revistas del área de la medicina (énfasis en la psicología y la psiquiatría), las ciencias computacionales y, en tercer lugar, las ciencias de la educación; debido fundamentalmente a la cantidad de revistas indexadas en la WoS de estas ciencias y, a las frecuentes conferencias anuales de Ciencias Médicas y de Ciencias Técnicas. Lo cual, por supuesto, al analizar estas fuentes desde la perspectiva de las publicaciones de mayor impacto y, de las fuentes con mayor cantidad de documentos publicados en relación al ODS 04, la mayoría no se encuentran indexados en las categorías de Education o Education & Educational Research. En este sentido, un aspecto a destacar es la presencia de revistas multidisciplinarias como las de mayor índice de publicación: (1) Sustainability, (2) International Journal of Environmental Research and Public Health y, (3) Plos One.

Si bien la coautoría no obligatoriamente implica colaboración científica (Ponomariov & Boardman, 2016), se aprecia que, los países Estados Unidos, Reino Unido, la República Popular China y, Australia, ponderan la mayor cantidad de documentos publicados y muestran una alta colaboración (fortaleza de las relaciones). En este sentido, al analizar los países con más de 1000 documentos publicados, se identifican claramente cinco clústeres:

• Clúster 1: Belgium, Denmark, Finaland, France, Germany, Israel, Italy, Netherlands, Norway, Poland, Sweden, Switzerland y Turkey.
• Clúster 2: USA, Australia, Canada, Japan, Malasya, New Zealand, China, Singapore, South Korea y Taiwan.
• Clúster 3: Brazil, Chile, Portugal y Spain.
• Clúster 4: England, Ireland y Scotland.
• Clúster 5: India y South Africa.

Al analizar el top 20 de las palabras claves del ODS 04, se puede apreciar su relación clara con los otros ODS, destacándose las siguientes relaciones:

• ODS 01,02, 03, 04, 05, 06, 07, 08, 09, 10, 11, 12, 13, 14 y 15 (COVID-19 y Education)
• ODS 10, 11, 12, 13, 14 y 15 (COVID-19, Higher Education y, Education)
• ODS 12, 13, 14 y 15 (COVID-19, Higher Education y, Education y, Sustainability).
• ODS 03, 04, 05 y 10 (COVID-19, Education y, Mental Health)
• ODS 03, 05 y 04 (COVID-19, Gender, Depression y, Mental Health)
• ODS 06, 07 y 08 (COVID-19 y, Sustainability)
• ODS 01, 02 y 05 (Food insecurity)
• ODS 06 y 07 (COVID-19, Motivation, Sustainability y, Health).
• ODS 01 y 02 (COVID-19, Childen y, Food Insecurity)

Es indiscutible que, el fenómeno de la COVID-19 tiene una alta influencia en la producción científica asociadas a la Educación. El análisis de las palabras claves de autor, muestra que, este término se relaciona fuertemente con las palabras: Higher Education, Education, Gender, Mental Health, Teacher Education, Children, Sustainability, Medical Education, Medical Students, Social Determinants of Health, Depression, Burnout y Food Insecurity. Permeando diferentes disciplinas tales como: la psicología, sociología, economía, la tecnología educativa y la política. Se coincide con Crawford & Cifuentes-Faura (2022) en que escasean los estudios que analicen el impacto de la COVID-19 en la Educación y su relación con los demás ODS y, con Faura-Martínez et al (2021) en la necesidad de analizar la influencia de la COVID-19 en la Educación desde la perspectiva de la brecha digital (Estrada-Molina & Fuentes-Cancell, 2021).

Por último, en relación a las universidades y su producción científica asociada a los ODS desde la perspectiva del 04, se destacan las siguientes coincidencias:

• Las universidades: University of California System (10 campus) y University of London se destacan en la producción científica de todos los ODS mientras que, la University of Michigan en los primeros 15 ODS.
• Las universidades: Harvard University y, Johns Hopkins University se destacan en la producción científica de los ODS 01, 02, 03 y 05.
• En los ODS 12, 13 y 14 se destacan las universidades: University of California System, University of London, University of Michigan, State University System of Florida y, University System of Georgia.

En todos los casos de las universidades con mayor cantidad de publicaciones, se reafirma la presencia de Estados Unidos y Reino Unidos como los países de mayor productividad e influencia en el ODS 04.

Concluyendo, este estudio provee las siguientes implicaciones y futuras líneas de investigación a las Ciencias de la Educación: (1) al identificar las palabras claves de mayor ocurrencia, se muestra una reiterada producción académica relacionada con los niveles de enseñanza, la formación del profesorado y su desarrollo profesional ante las consecuencias de la COVID-19 asociado a la salud mental, la motivación, la discapacidad y la educación inclusiva; (2) se observa el creciente interés de la comunidad científica de influir desde sus investigaciones (directamente o indirectamente) al ODS 04, sin embargo, el análisis de las palabras clave muestra que aún son insuficientes los esfuerzos que logren una sostenibilidad curricular y la integración explícita de los ODS (Torres, 2021) y, (3) se visualiza en los datos analizados provenientes de Clarivate Analytics la necesidad de sistematizar estudios empíricos que muestren la repercusión educativa y pedagógica que impuso la COVID-19 a las instituciones educativas, docentes y al estudiantado.

El estudio realizado tiene dos propósitos fundamentales: analizar la producción científica relacionada con el ODS 04 durante el periodo 2017-2021 y comprobar su nivel de integración con los restantes ODS. Para ello se identifican las principales fuentes, autores, instituciones, países y palabras claves más utilizadas. Debido a las carencias de estudios bibliométricos relacionados con el ODS 04, este estudio ofrece panorámica exploratoria de la producción académica a la luz de las publicaciones indexadas en la Web of Science Core Collection con énfasis en los documentos tipo artículos y revisiones.

La investigación presenta como limitación que, al solo centrarse en información publicada en la WoS, se obviaron otras publicaciones procedentes de diversas bases de datos tales como: Scopus y ERIC. Por tanto, se abre una oportunidad para ampliar la estrategia de búsqueda incluyendo otras bases de datos, para posteriormente realizar comparaciones y generalizaciones.

Referencias bibliográficas

Acosta-Castellanos, P., Queiruga-Dios, A., & González-Álvarez, L. (2021). Inclusion of Education for Sustainable Development in Environmental Engineering. A Systematic Review. Sustainability, 13(18). https://doi.org/10.3390/SU131810180

Agarwal, N., Gupta, R., & Kumar, P. (2022). Role of ICT in Imparting Quality Education and Curbing Cyber Security Risks During COVID-19 Pandemic. In Studies in Computational Intelligence (Vol. 1007, pp. 337–353). Springer Science and Business Media Deutschland GmbH. https://doi.org/10.1007/978-981-16-8012-0_26

Alonso-Sainz, T. (2021). Educación para el desarrollo sostenible: una visión crítica desde la Pedagogía. Revista Complutense de Educación, 32(2), 249–259. https://doi.org/10.5209/RCED.68338

Armitage, C. S., Lorenz, M., & Mikki, S. (2020). Mapping scholarly publications related to the Sustainable Development Goals: Do independent bibliometric approaches get the same results? Quantitative Science Studies, 1(3), 1092–1108. https://doi.org/10.1162/QSS_A_00071

Avelar, A. B. A., Silva-Oliveira, K. D. da, & Pereira, R. da S. (2019). Education for advancing the implementation of the Sustainable Development Goals: A systematic approach. International Journal of Management Education, 17(3), 100322. https://doi.org/10.1016/j.ijme.2019.100322

Boeren, E. (2019). Understanding Sustainable Development Goal (SDG) 4 on “quality education” from micro, meso and macro perspectives. International Review of Education, 65(2), 277–294. https://doi.org/10.1007/s11159-019-09772-7

Camilleri, M. A., & Camilleri, A. C. (2020). The Sustainable Development Goal on Quality Education. In S. Idowu, R. Schmidpeter, & L. Zu (Eds.), The Future of the UN Sustainable Development Goals. CSR, Sustainability, Ethics & Governance (pp. 261–277). Springer, Cham. https://doi.org/10.1007/978-3-030-21154-7_13

Cervelló-Royo, R., Moya-Clemente, I., Perelló-Marín, M. R., & Ribes-Giner, G. (2020). Sustainable development, economic and financial factors, that influence the opportunity-driven entrepreneurship. An fsQCA approach. Journal of Business Research, 115, 393–402. https://doi.org/10.1016/J.JBUSRES.2019.10.031

Chen, Y., Guan, Z., Zhang, R., Du, X., & Wang, Y. (2019). A survey on visualization approaches for exploring association relationships in graph data. Journal of Visualization, 22(3), 625–639. https://doi.org/10.1007/S12650-019-00551-Y/FIGURES/6

Chin, A., & Jacobsson, T. (2016). TheGoals.org: mobile global education on the Sustainable Development Goals. Journal of Cleaner Production, 123, 227–229. https://doi.org/10.1016/J.JCLEPRO.2015.08.061

Corbett, J., & Guilherme, M. (2021). Critical pedagogy and quality education (UNESCO SDG-4): the legacy of Paulo Freire for language and intercultural communication. Language and Intercultural Communication, 21(4), 447–454. https://doi.org/10.1080/14708477.2021.1962900

Crawford, J., & Cifuentes-Faura, J. (2022). Sustainability in Higher Education during the COVID-19 Pandemic: A Systematic Review. Sustainability, 14(3), 1879. https://doi.org/10.3390/su14031879

Diksha, D., & Chakravarty, R. (2022). Global Trends in the Research Output on Sustainable Development Goals: A Bibliometric Analysis Using Bibliometrix R-Tool. In F. Ortiz-Rodriguez & S. Tiwari (Eds.), Futuristic Trends for Sustainable Development and Sustainable Ecosystems (pp. 27–47). IGI Global. https://doi.org/10.4018/978-1-6684-4225-8.CH002

Estrada-Molina, O., & Fuentes-Cancell, D.-R. (2021). Is it possible to predict academic performance? An analysis from educationaltechnology [¿Se logra predecir el rendimiento académico? Un análisis desde la tecnología educativa]. Revista Fuentes, 23(3), 363–375. https://doi.org/10.12795/REVISTAFUENTES.2021.14278

Estrada-Molina, O., & Fuentes-Cancell, D.-R. (2022). Engagement and desertion in MOOCs: Systematic review. Comunicar, 30(70). https://doi.org/10.3916/C70-2022-09

Estrada-Molina, O., Fuentes-Cancell, D.-R., & Simón-Grass, W. (2022). La formación de habilidades investigativas en estudiantes de ingeniería en ciencias informáticas desde la asignatura de gestión de software: Un estudio de caso en la universidad de las ciencias informáticas, Cuba. Ingeniare. Revista Chilena de Ingeniería, 30(1), 109–123. https://doi.org/10.4067/S0718-33052022000100109

European Commission. (2021). Education and Training Monitor 2021. https://op.europa.eu/webpub/eac/education-and-training-monitor-2021/en/

Faura-Martínez, U., Lafuente-Lechuga, M., & Cifuentes-Faura, J. (2021). Sustainability of the Spanish university system during the pandemic caused by COVID-19. Educational Review, 74(3), 645–663. https://doi.org/10.1080/00131911.2021.1978399

Ferguson, T., & Roofe, C. G. (2020). SDG 4 in higher education: challenges and opportunities. International Journal of Sustainability in Higher Education, 21(5), 959–975. https://doi.org/10.1108/IJSHE-12-2019-0353/FULL/PDF

Ferrer-Estévez, M., & Chalmeta, R. (2021). Integrating Sustainable Development Goals in educational institutions. The International Journal of Management Education, 19(2), 100494. https://doi.org/10.1016/J.IJME.2021.100494

Fonseca, L., Domingues, P., & Dima, A. M. (2020). Mapping the Sustainable Development Goals Relationships. Sustainability, 12(8), 3359. https://doi.org/10.3390/su12083359

García, E., Magaña, E., & Ariza, A. C. (2020). Quality education as a sustainable development goal in the context of 2030 agenda: Bibliometric approach. Sustainability, 12(15), 5884. https://doi.org/10.3390/SU12155884

García, M. (2022). A more sustainable future for all: Introducing the UN Sustainable Development Goals in InCites. Blog Clarivate. https://clarivate.com/blog/a-more-sustainable-future-for-all-introducing-the-un-sustainable-development-goals-in-incites/

Hanushek, E. (2020). Quality Education and Economic Development. In Education in the Asia-Pacific Region (Vol. 55, pp. 25–32). Springer. https://doi.org/10.1007/978-981-15-7018-6_4

Jermsittiparsert, K., & Sriyakul, T. (2020). Determinants of quality education in Asian countries: impact of social globalization, happiness and research and development. Journal of Security and Sustainability Issues, 9(J), 202–214. https://doi.org/10.9770/JSSI.2020.9.J(15)

Kanowski, P., Yao, D., & Wyatt, S. (2019). SDG 4: Quality Education and Forests – ‘The Golden Thread.’ In P. Katila, C. Pierce, W. De Jong, G. Galloway, P. Pacheco, & G. Winkel (Eds.), Sustainable Development Goals: Their Impacts on Forests and People (Vol. 12, pp. 1–16). Cambridge University Press. https://doi.org/10.1079/pavsnnr201712004

Körfgen, A., Förster, K., Glatz, I., Maier, S., Becsi, B., Meyer, A., Kromp-Kolb, H., & Stötter, J. (2018). It’s a Hit! Mapping Austrian research contributions to the sustainable development goals. Sustainability, 10(9). https://doi.org/10.3390/su10093295

Lund, C., Brooke-Sumner, C., Baingana, F., Baron, E. C., Breuer, E., Chandra, P., Haushofer, J., Herrman, H., Jordans, M., Kieling, C., Medina-Mora, M. E., Morgan, E., Omigbodun, O., Tol, W., Patel, V., & Saxena, S. (2018). Social determinants of mental disorders and the Sustainable Development Goals: a systematic review of reviews. The Lancet Psychiatry, 5(4), 357–369. https://doi.org/10.1016/S2215-0366(18)30060-9

Lupton, R. C., & Allwood, J. M. (2017). Hybrid Sankey diagrams: Visual analysis of multidimensional data for understanding resource use. Resources, Conservation and Recycling, 124, 141–151. https://doi.org/10.1016/J.RESCONREC.2017.05.002

McKenzie, S., & Abdulkadri, A. (2018). Mechanisms to accelerate the implementation of the Sustainable Development Goals in the Caribbean | Publicación | Comisión Económica para América Latina y el Caribe. https://www.cepal.org/es/node/45900

Meschede, C. (2020). The Sustainable Development Goals in Scientific Literature: A Bibliometric Overview at the Meta-Level. Sustainability, 12(11), 4461. https://doi.org/10.3390/SU12114461

Mitteer, D. R., Greer, B. D., Fisher, W. W., & Cohrs, V. L. (2018). Teaching behavior technicians to create publication-quality, single-case design graphs in graphpad prism 7. Journal of Applied Behavior Analysis, 51(4), 998–1010. https://doi.org/10.1002/JABA.483

Momete, D. C., & Momete, M. M. (2021). Map and track the performance in education for sustainable development across the european union. Sustainability, 13(23), 13185. https://doi.org/10.3390/su132313185

Mukherjee, D., Lim, W. M., Kumar, S., & Donthu, N. (2022). Guidelines for advancing theory and practice through bibliometric research. Journal of Business Research, 148, 101–115. https://doi.org/10.1016/J.JBUSRES.2022.04.042

Nafukho, F., & Muyia, M. (2021). Handbook of Research on Nurturing Industrial Economy for Africa’s Development. In Handbook of Research on Nurturing Industrial Economy for Africa’s Development. IGI Global. https://doi.org/10.4018/978-1-7998-6471-4.CH002

Narin, F., Olivastro, D., & Stevens, K. A. (2016). Bibliometrics/Theory, Practice and Problems: Evaluation Review, 18(1), 65–76. https://doi.org/10.1177/0193841X9401800107

OECD (Organisation for Economic Co-Operation and Development). (2021). Education at a Glance 2021 (Education at a Glance). OECD. https://doi.org/10.1787/19991487

Orduña-Malea, E., & Costas, R. (2021). Link-based approach to study scientific software usage: the case of VOSviewer. Scientometrics, 126(9), 8153–8186. https://doi.org/10.1007/s11192-021-04082-y

Palomino, M. del C. P., García, A. B., & Valdivida, E. M. (2022). Educación para el Desarrollo Sostenible y Responsabilidad Social: claves en la formación inicial del docente desde una revisión sistemática. Revista de Investigación Educativa, 40(2), 421–437. https://doi.org/10.6018/RIE.458301

Pleśniarska, A. (2019). Monitoring progress in “quality education” in the European Union – strategic framework and goals. In International Journal of Sustainability in Higher Education (Vol. 20, Issue 7, pp. 1125–1142). Emerald Group Holdings Ltd. https://doi.org/10.1108/IJSHE-10-2018-0171

Ponomariov, B., & Boardman, C. (2016). What is co-authorship? Scientometrics, 109(3), 1939–1963. https://doi.org/10.1007/S11192-016-2127-7/TABLES/3

Prieto-Jiménez, E., López-Catalán, L., López-Catalán, B., & Domínguez-Fernández, G. (2021). Sustainable development goals and education: A bibliometric mapping analysis. Sustainability, 13(4), 1–20. https://doi.org/10.3390/su13042126

Salvia, A. L., Leal Filho, W., Brandli, L. L., & Griebeler, J. S. (2019). Assessing research trends related to Sustainable Development Goals: local and global issues. Journal of Cleaner Production, 208, 841–849. https://doi.org/10.1016/j.jclepro.2018.09.242

Sinakou, E., Boeve-de Pauw, J., & Van Petegem, P. (2017). Exploring the concept of sustainable development within education for sustainable development: implications for ESD research and practice. Environment, Development and Sustainability, 21(1), 1–10. https://doi.org/10.1007/S10668-017-0032-8

Sweileh, W. M. (2020). Bibliometric analysis of scientific publications on “sustainable development goals” with emphasis on “good health and well-being” goal (2015-2019). Globalization and Health, 16(1), 1–13. https://doi.org/10.1186/S12992-020-00602-2/FIGURES/5

Tejani, R. (2021). Legal Education for Profit and the United Nations Call for “Quality Education” and “Strong Institutions” in the 2030 Sustainable Development Agenda. In Crime Prevention and Justice in 2030 (pp. 465–485). Springer, Cham. https://doi.org/10.1007/978-3-030-56227-4_22

Torres, D. I. R. (2021). Contribución de la educación superior a los Objetivos de Desarrollo Sostenible desde la docencia. Revista Española de Educación Comparada, 37, 89–110. https://doi.org/10.5944/REEC.37.2021.27763

United Nations. (2017, March). United Nations Sustainable Development Goals. SAGE Publications, Inc. https://www.un.org/sustainabledevelopment/wp-content/uploads/2017/03/3_Why-It-Matters-2020.pdf

United Nations. (2018a). Communications materials - Sustainable Development. United Nations. https://www.un.org/sustainabledevelopment/news/communications-material/

United Nations. (2018b, September). Quality Education: Why It Matters. https://www.un.org/sustainabledevelopment/wp-content/uploads/2018/09/Goal-4.pdf

United Nations. (2019, September 13). Doce millones de niños no pisarán jamás un aula escolar | Noticias ONU. United Nations Blog. https://news.un.org/es/story/2019/09/1462072

Unterhalter, E. (2019). The Many Meanings of Quality Education: Politics of Targets and Indicators in SDG4. Global Policy, 10, 39–51. https://doi.org/10.1111/1758-5899.12591

van Eck, N. J., & Waltman, L. (2017). Citation-based clustering of publications using CitNetExplorer and VOSviewer. Scientometrics, 111(2), 1053–1070. https://doi.org/10.1007/S11192-017-2300-7/TABLES/4

Yeh, S.-C., Hsieh, Y.-L., Yu, H.-C., & Tseng, Y.-H. (2022). The Trends and Content of Research Related to the Sustainable Development Goals: A Systemic Review. Applied Sciences, 12(13), 6820. https://doi.org/10.3390/APP12136820

Información de contacto: Odiel Estrada-Molina. Universidad de Valladolid. Departamento de Pedagogía. Facultad de Educación de Soria. C/ Castilla la Mancha, 12D, 42004, Soria, España. E-mail: odiel.estrada@uva.es