PROCESAMIENTO POR IA DE LENGUAJE NATURAL EN LA EVALUACIÓN DE RESPUESTAS ABIERTAS DE ESTUDIANTES DEL PROGRAMA DOCENTIA-UCM
Natural language processing by AI in the assessment of open-ended student responses in the DEOCENTIA-UCM program

JOSÉ MANUEL SEGOVIA GUISADO, ANA RENUNCIO GARCÍA, GRICELA ELIZABETH ANDRADE RUIZ, ANDRÉS CANO MAGANTO, ARES BORDES LLADOS, SONIA MARTÍN LÓPEZ, MARÍA DEL MAR EGEA MOTA Y MIGUEL ÁNGEL SASTRE CASTILLO
Universidad Complutense de Madrid (España)

DOI: 10.13042/Bordon.2025.101941
Fecha de recepción: 25/09/2023 • Fecha de aceptación: 30/01/2025
Autor de contacto / Corresponding autor: José Manuel Segovia Guisado. E-mail: jmsegovi@ucm.es

Cómo citar este artículo: Segovia Guisado, J. M., Renuncio García, A., Andrade Ruiz, G. E., Cano Maganto, A., Bordes Llados, A., Martín López, S., Egea Mota, M. M. y Sastre Castillo, M. A. (2025). Procesamiento por IA de lenguaje natural en la evaluación de respuestas abiertas de estudiantes del programa DOCENTIA-UCM. Bordón, Revista de Pedagogía, 77(1), 155-175. https://doi.org/10.13042/Bordon.2025.101941

INTRODUCCIÓN. En el contexto de la evaluación docente de la Universidad Complutense de Madrid, se realiza un cuestionario a los estudiantes dentro del programa DOCENTIA. En programas de esta envergadura, el análisis de respuestas cualitativas a través de métodos tradicionales se enfrenta a limitaciones, como errores, sesgos y consumo de recursos. MÉTODO. En este estudio se utiliza una inteligencia artificial especializada en procesamiento de lenguaje natural para analizar los 27.290 comentarios de estudiantes en el cuestionario DOCENTIA. El proceso involucra limpiar los comentarios, lematizar palabras y aplicar modelos de espacio vectorial, seguido de técnicas de agrupación para categorizarlos en clústeres. RESULTADOS. Los resultados revelan tres clústeres significativos en las respuestas de los estudiantes. El “Buen profesor” representa el 14.2% de las respuestas y destaca cualidades como amabilidad, accesibilidad, competencia y pasión de los docentes. El clúster 1, llamado “Buena enseñanza,” comprende el 26.1% de las respuestas y refleja la percepción de los estudiantes sobre aspectos como la calidad de las explicaciones, motivación del profesor y estructuración lógica de la asignatura, entre otros. El clúster 2, centrado en la “ Objetivos y estándares claros de la asignatura” abarca el 59.7% de las respuestas y se enfoca en la calidad de los objetivos, la transparencia en la evaluación y las expectativas sobre el cumplimiento de las obligaciones docentes. DISCUSIÓN. Estos clústeres y sus términos asociados reflejan la percepción de los estudiantes sobre la calidad docente y su relación con los objetivos planteados en los estándares de la enseñanza del Marco de Desarrollo Académico Docente. El análisis automatizado de comentarios de estudiantes se muestra útil, pero se sugiere investigar en proporcionar detalles más específicos, como analizar el sentimiento de los comentarios, debido a la importancia que puede tener este tipo de análisis con los estándares de calidad educativa.

Palabras clave: Calidad de la enseñanza, Inteligencia artificial, Análisis de redes, Estudios universitarios.

Introducción

La definición de dato (información que permite el conocimiento de “algo”) se ha ido reduciendo a su contexto de producción computacional. Así, al decir “dato” no solo decimos “dato duro” sino también “dato informático”, una representación simbólica de un atributo o variable. Los relatos, en cambio, se describen como lo que se dice (en diferentes formatos orales y escritos) sobre un fenómeno y tienen enunciador y destinatario(s). Esta diferencia de carácter ontológico no es realmente tan rígida como se pretende. Sin embargo, afecta los enfoques desde los cuales se analizan “datos” y “relatos”, muchas veces en oposición.

Esta reflexión establece la base por la cual los principios que buscan asegurar la calidad educativa requieren de una profunda evaluación técnica, ética y filosófica en relación con las características y estándares de cada contexto universitario particular. En esta línea, las investigaciones realizadas con respecto al aseguramiento de la calidad educativa tienen diferentes objetivos, como estudiar un estándar de calidad nacional, evaluación del desempeño de profesores y alumnos, calidad del servicio, la experiencia de enseñanza y aprendizaje, la calidad de los procesos internos o las políticas de educación (Glasserman Morales y Ruiz Ramírez, 2021Glasserman Morales, L. D. y Ruiz Ramírez, J. A. (2021). Características del aseguramiento de la calidad educativa: un mapeo sistemático 2016-2020. Revista Complutense de Educación.). Estos estudios reflejan la importancia de valorar el peso de la gestión de la calidad educativa, como principal fuente de información de todo el personal involucrado en el proceso de enseñanza-aprendizaje, desde diferentes ámbitos, sociales, políticos, educativos e individuales (Markowitsch, 2018Markowitsch, J. (2018). Is there such a thing as school quality culture? In search of conceptual clarity and empirical evidence. Quality Assurance in Education, 26(1), 25-43.; Triningsih, 2023Triningsih, T. (2023). Improving Quality Management Through Visionary Leadership and School Culture. IJMIE: international Journal of Management, Innovation and Education, 2(1), 120-121.). En esta línea, como eje fundamental del estudio de la calidad educativa se utilizan los estándares de calidad nacional y las políticas de educación, las cuales son la referencia que guían para la inclusión, adopción y aplicación de parámetros estratégicos, guían la calidad educativa de las instituciones de educación superior, y contribuyen a la creación de un círculo virtuoso entre dicha evaluación y la toma de decisiones sobre las medidas políticas adecuadas. Asimismo, entre los enfoques de investigación sobre la calidad educativa universitaria, se manifiestan en un menor número de estudios aquellos referentes a analizar la percepción y valoración de la experiencia de aprendizaje de los alumnos, así como su satisfacción con la misma (Glasserman Morales y Ruiz Ramírez, 2021Glasserman Morales, L. D. y Ruiz Ramírez, J. A. (2021). Características del aseguramiento de la calidad educativa: un mapeo sistemático 2016-2020. Revista Complutense de Educación.).

Como se mencionaba anteriormente, debido a la importancia de la evaluación de la calidad educativa para el crecimiento pedagógico de las instituciones de educación superior, algunas investigaciones tienen como objetivo analizar la adecuación de las instituciones a los parámetros estratégicos establecidos en la política. En consecuencia, a partir de estas investigaciones se desarrolla la asociación entre la toma de decisiones en relación con las medidas aplicadas y los estándares de calidad educativa establecidos, los cuales responden a la información obtenida a partir de los datos de la evaluación de los procesos de enseñanza educativa (Manarbek et al., 2020Manarbek, G., Zhakupova, G., Kaliyeva, A. y Hezi, H. (2020). The university-industry cooperation: The role of employers in quality assurance of Education. En E3S Web of Conferences (vol. 159, p. 09010). ). Por consiguiente, en el análisis de la calidad educativa buscando abarcar todas las áreas mencionadas anteriormente, se examina la evolución desde una investigación basada en herramientas tradicionales con resultados descriptivos a la innovación educativa en el análisis utilizando métodos que permitan una evaluación más interpretativa (Kurilovas, 2018Kurilovas, E. (2020). On data-driven decision-making for quality education. Computers in Human Behavior, 107, 105774.; Manarbek et al., 2020Manarbek, G., Zhakupova, G., Kaliyeva, A. y Hezi, H. (2020). The university-industry cooperation: The role of employers in quality assurance of Education. En E3S Web of Conferences (vol. 159, p. 09010). ).

Dentro del programa DOCENTIA de la Universidad Complutense de Madrid se incluyen varias vías para lograr la evaluación docente, entre las que se encuentra el cuestionario a estudiantes. Este estudio se realiza con el objetivo de analizar el contenido de los relatos dentro de la pregunta abierta del cuestionario de satisfacción de los estudiantes con el profesorado, formulada como “¿Deseas añadir algo más?”. La gran cantidad de respuestas no permite realizar un análisis microscópico de las opiniones de los estudiantes y por eso es necesario repensar técnicas que permitan su interpretación. Estas respuestas se espera que estén enmarcadas y muestren relación con lo recogido dentro de los Criterios y Directrices para la Garantía de Calidad en el Espacio Europeo de Educación Superior (ANECA, 2015ANECA (2015). Criterios y directrices para el aseguramiento de Calidad en el EEES 2015. http://www.aneca.es/Internacional/Documentos-internacionales-de-referencia/Criterios-y-estandares/Criterios-y-directrices-para-el-aseguramiento-de-Calidad-en-el-EEES-2015), así como los estándares dentro del Marco de Desarrollo Académico Docente (MDAD) (Paricio et al., 2019Paricio, J., Fernández March, A. y Fernández Fernández, I. (2019). Marco de desarrollo académico docente. Un mapa de la buena docencia universitaria basado en la investigación. ).

Para el análisis de las respuestas cualitativas está la posibilidad de realizar métodos tradicionales, codificando y agrupando las respuestas cualitativas que posteriormente serán analizadas cuantitativamente (Sánchez et al., 2021Sánchez, M. J., Fernández, M. y Diaz, J. C. (2021). Técnicas e instrumentos de recolección de información: análisis y procesamiento realizado por el investigador cualitativo. Revista Científica UISRAEL, 8(1), 107-121.). Asimismo, se puede generar información a partir de estos datos sobre los relatos aportados con sus respuestas, utilizando técnicas cuantitativas de análisis de contenido de herramientas de visualización como las nubes de palabras, sin embargo, una limitación de estas herramientas es su dificultad en términos de recursos para realizar un análisis de un gran volumen de datos, debido a la cantidad de tiempo, errores y sesgos que pueden surgir de la codificación manual (Piza Burgos et al., 2019Piza Burgos, N. D., Amaiquema Márquez, F. A. y Beltrán Baquerizo, G. E. (2019). Métodos y técnicas en la investigación cualitativa. Algunas precisiones necesarias. Conrado, 15(70), 455-459.). En esta línea, una forma de análisis alternativa que supera estas debilidades sería utilizar una Red Neuronal Artificial (RNA) para agrupar aquellos contenidos similares y clasificarlos en grandes bloques (Abiodun et al., 2019Abiodun, O. I., Jantan, A., Omolara, A. E., Dada, K. V., Umar, A. M., Linus, O. U., Arshad, H., Kazaure, A. A., Gana, U. y Kiru, M. U. (2019). Comprehensive review of artificial neural network applications to pattern recognition. IEEE Access, 7, 158820-158846.). Esta implementación de técnicas innovadoras permite una comprensión más amplia de la experiencia de aprendizaje de los estudiantes, igualmente es imprescindible aplicar nuevas herramientas que proporciona la inteligencia artificial para contribuir a la mejora continua de la calidad docente.

Método

Debido al auge de Internet y su capacidad para llegar a diversos segmentos de la población dispersos geográficamente, la encuesta en línea es la metodología más común tanto en el ámbito académico como en la investigación privada (Kaye y Johnson, 1999Kaye, B. K. y Johnson, T. J. (1999). Research methodology: Taming the cyber frontier: Techniques for improving online surveys. Social Science Computer Review, 17(3), 323-337.; Jaramillo, 2019Jaramillo, C. L. (2019). El proceso de la encuesta online. Más poder local, 39, 30-33.). Las universidades españolas, incluida la Universidad Complutense de Madrid, son ideales para este tipo de encuestas, ya que todos los miembros de la comunidad educativa, nuestra población objetivo, tienen acceso a la red de la institución y pueden conectarse desde sus dispositivos personales o desde aulas equipadas con PC y conexión a Internet. Además, todos los estudiantes de la universidad tienen su propio correo electrónico, que utilizan regularmente debido a las exigencias académicas y docentes. Este método de encuesta en línea tiene ventajas y limitaciones, como cualquier otro enfoque. No pretendemos realizar una revisión exhaustiva de las posibilidades ni desventajas de este tipo de encuestas.

El proceso seguido para realizar la clasificación de las respuestas a preguntas abiertas por medio de redes neuronales tiene diferentes fases. En primer lugar, está el procesamiento de los datos obtenidos en los cuestionarios DOCENTIA-UCM del curso 2020-2021 en lo referente a los comentarios de la respuesta abierta. Se recibieron 27.290 comentarios, esto significa que en un 34.6%, sobre el total de encuestas recibidas de los estudiantes de la Universidad Complutense de Madrid (UCM) de Grado y Máster, decidieron aportar más información al cuestionario cumplimentando la pregunta abierta. Esta cantidad de respuestas imposibilita la codificación manual, basada en clasificar las respuestas en temas, nombrar a los distintos tipos de temas, asignar un código a cada patrón general de respuestas y procesar los datos. Por este motivo, se optó por una clasificación de forma automática, para agrupar y clasificar los comentarios por categorías y porcentajes.

En tales circunstancias, se realizó un procesamiento mediante la depuración por algoritmos utilizando un programa desarrollado en Python con el objetivo de agrupar las respuestas de los y las estudiantes para obtener una clasificación de los comentarios y porcentajes de aparición. Es decir, se programó una inteligencia artificial especializada en el procesamiento del lenguaje natural. Este procesamiento consiste en separar los comentarios en frases, eliminar los signos de puntuación, acentos y stopwords. Por último, se realizó una lematización de palabras, este proceso consiste en transformar las palabras que están flexionadas o derivadas en una forma normal llamada lema y que representa a todas las clases excluyendo las diferentes variantes morfológicas (Bird et al., 2009Bird, S., Klein, E. y Loper, E. (2009). Natural language processing with Python: analyzing text with the natural language toolkit. O‘Reilly Media, Inc.). La aparente discrepancia entre el proceso de lematización y la presencia de términos aparentemente no lematizados en los conglomerados es a causa de que el algoritmo de análisis ha agrupado términos flexionados juntos debido a la similitud en su contexto, independiente de su forma específica. Esto se debe a la alta frecuencia de co-ocurrencia entre las diferentes formas flexionadas de un mismo término. En consecuencia, algunas formas flexionadas han sido agrupadas debido a la similitud semántica y contextual, a pesar de haber sido lematizadas previamente. Asimismo, era interesante y necesario para el estudio la necesidad de identificar patrones y relaciones entre términos específicos, incluyendo variantes flexionadas, sinónimos y otras formas lingüísticas. Además, esta co-ocurrencia frecuente genera que los clústeres no sean disjuntos y que cada término sea asignado a un único clúster, porque tiene asociación en los diferentes temas o contextos. Aunque los conglomerados no disjuntos sugieren ciertas implicaciones negativas, era importante mantener una unión y no disyunción entre los conglomerados para obtener una visión más global de la evaluación docente.

En ocasiones, las codificaciones son arbitrarias y no proporcionan información sobre las relaciones que hay entre ellas (Abiodun et al., 2019Abiodun, O. I., Jantan, A., Omolara, A. E., Dada, K. V., Umar, A. M., Linus, O. U., Arshad, H., Kazaure, A. A., Gana, U. y Kiru, M. U. (2019). Comprehensive review of artificial neural network applications to pattern recognition. IEEE Access, 7, 158820-158846.). Por eso, los Vectors Space Models (VSMs) son necesarios para expresar el lenguaje natural en espacios matemáticos y mejorar la interpretación de los datos (Turney y Pantel, 2010Turney, P. D. y Pantel, P. (2010). From frequency to meaning: Vector space models of semantics. Journal of Artificial Intelligence Research, 37, 141-188.). Estos modelos son una técnica de procesamiento de lenguaje natural que permite representar palabras en vectores numéricos en un espacio multidimensional, estos vectores representan una característica relevante en el análisis del texto. Los modelos vectoriales permiten agrupar a las palabras en un espacio vectorial según su proximidad en los significados (Günther, Rinaldi y Marelli, 2019Günther, F., Rinaldi, L. y Marelli, M. (2019). Vector-space models of semantic representation from a cognitive perspective: A discussion of common misconceptions. Perspect Psychol Sci., 14(6), 1006-1033.).

Por medio de words embeddings, las palabras fueron transformadas en una representación vectorial que permite situar la palabra en un espacio multidimensional. Bengio, Ducharme, Vincent y Janvin (2003Bengio, Y., Ducharme, R., Vincent, P. y Janvin, C. (2003). A Neural Probabilistic Language Model. Journal of Machine Learning Research, 3, 1137-1155.) propusieron un modelo de lenguaje probabilístico neuronal que ha sido ampliamente utilizado en el campo del aprendizaje automático.

El modelo de red neuronal utilizado es el word2vec implementado en Skipgram, que permite agrupar vectores de palabras similares mediante la representación semántica de las palabras, intentando aprender y predecir las palabras del contexto. Es decir, la incrustación (embedings) permite que las palabras similares se encuentren cercanas en el espacio. Gracias a que el modelo puede predecir el contexto con una palabra de entrada. Cuando el modelo Word2Vec ha sido entrenando en un corpus de texto las palabras se representan como un vector denso de números reales. En consecuencia, permite que los vectores se puedan utilizar como la representación de las palabras en un espacio vectorial. Esto nos permite realizar un análisis semántico y una búsqueda semántica.

Más adelante, gracias a K-Media, un algoritmo de agrupamiento que reparte entre k grupos el conjunto de observaciones, se hace una clasificación en la que los objetos dentro del clúster son similares, mientras que mantienen las diferencias entre clústeres (González et al., 2017González, C. M., Varela, S. y Miguel, S. (2017). Aplicación de algoritmos no supervisados para la detección de tópicos de investigación. Presentado en V Jornadas de Intercambio y Reflexión acerca de la Investigación en Bibliotecología. Universidad Nacional de La Plata, Facultad de Humanidades y Ciencias de la Educación, La Plata. ), de esta manera se consigue que cada observación pertenezca al grupo cuyo valor medio es más cercano. El número de clústeres, K, en el que se dividen los datos pueden ser elegidos arbitrariamente o mediante técnicas como el método del codo, la silueta o la validación interna. Este K es un punto centroide inicial, que representa los centros iniciales de cada clúster.

Para generar una representación gráfica de estos clústeres, es necesario realizar varias etapas. Primero, se debe obtener una matriz de relaciones para cada conglomerado. Esto implica calcular las frecuencias de co-ocurrencia de palabras por parejas dentro de cada clúster, lo que proporciona una visión detallada de las relaciones semánticas entre las palabras dentro de cada agrupación. Estas frecuencias se pueden representar mediante biagramas o matrices de adyacencia donde cada fila y columna corresponde a una palabra en el clúster y los valores en la matriz indican la frecuencia de co-ocurrencia entre las palabras. Asimismo, para la visualización en Gephi, un software que permite representar relaciones en un espacio tridimensional, se necesita otra matriz de relaciones que capture la fuerza de las conexiones entre todas las palabras del clúster (Cherven, 2013Cherven, K. (2013). Network Graph Analysis and Visualization with Gephi. Packt Publishing Ltd. ISBN 978-1-78328-013-1.) Esta matriz puede construirse utilizando diferentes métricas, como la similitud coseno o la distancia euclidiana, para medir la relación entre todas las palabras del clúster. Con estas matrices, se pueden crear visualizaciones que ayuden a comprender las relaciones semánticas y estructurales dentro de cada clúster en un formato gráfico más intuitivo.

Por último, hay que destacar el carácter plenamente exploratorio del estudio, y por ello su fundamento era profundizar en la metodología de codificación de preguntas abiertas por medio de inteligencia artificial, de esta manera se buscaba comparar métodos tradicionales de análisis cualitativo con técnicas de modelado temático, destacando cómo las herramientas de IA pueden complementar el análisis de preguntas abiertas (Baumer et al., 2017Baumer, E., Mimno, D., Guha, S., Quan, E. y Gay, G. (2017). Comparing Grounded Theory and Topic Modeling: Extreme Divergence or Unlikely Convergence? Journal of the Association for Information Science and Technology, 68(6), 1397-1410.) y, por otro lado, explorar el uso de redes neuronales convolucionales para la clasificación de oraciones, que puede ser aplicada a la codificación de respuestas textuales en encuestas (Zhang, Y. y Wallace, B. C., 2015Zhang, Y. y Wallace, B. C. (2015). A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification. Proceedings of the Eighth ACM International Conference on Web Search and Data Mining, 307-316.). Pero el resultado de las agrupaciones definidas por la IA dio lugar a poder establecer una relación entre las agrupaciones y una aparente configuraron de estas teniendo en cuenta el Marco del Desarrollo Académico Docente, como hipótesis de trabajo. Es necesario aclarar que la organización en estándares de las agrupaciones es fruto de la casualidad, y por lo tanto resultó una sorpresa ver cómo la clasificación de los comentarios de la red neuronal se alineaban con los contenidos de estos estándares.

Por último, es necesario aclarar si la ordenación de los clústeres o/y el porcentaje del corpus de las respuestas que agrupan está relacionado con su importancia sustantiva o empírica. Los clústeres identificados en las respuestas de los estudiantes parecen tener importancia empírica. Esto se deduce del hecho de que se basan en la presencia y frecuencia de ciertos temas o aspectos en los datos recopilados. Cada clúster representa una proporción significativa de las respuestas, lo que sugiere que estos temas son relevantes y prominentes en la percepción de los estudiantes sobre la calidad de la enseñanza. Además, la descripción de los clústeres se centra en aspectos concretos de la experiencia educativa, como la amabilidad del profesor, la calidad de las explicaciones y la claridad de los objetivos de la asignatura. Esto refuerza la idea de que los clústeres se basan en aspectos observables y medibles de la enseñanza, lo que apunta a una importancia empírica.

Resultados

Tras entregar a la red neuronal el listado completo de comentarios y procesarlo, se obtuvieron 3 clústeres que agrupaban los comentarios emitidos por los estudiantes, y que quedaron clasificados en “buen profesor”, “buena enseñanza” y “objetivos claros de la asignatura”. A continuación, se va desglosar el análisis y características de los mismos. Asimismo, se pudo comprobar que los contenidos de estos tres clústeres estaban alineados con los estándares del marco de referencia para el desarrollo docente universitario establecido por Javier Paricio, Amparo Fernández March e Idoia Fernández en el Marco de desarrollo académico docente. Un mapa de la buena docencia universitaria basado en la investigación (Paricio et al., 2019Paricio, J., Fernández March, A. y Fernández Fernández, I. (2019). Marco de desarrollo académico docente. Un mapa de la buena docencia universitaria basado en la investigación. ). La peculiaridad de esta relación es que las agrupaciones a las que se llega por medio de la red neuronal son fruto de los comentarios de los estudiantes sobre la docencia de sus docentes, es decir, no tenemos que pensar solo que los estudiantes en sus comentarios detectan la carencia de alguno de las cualidades de la buena docencia , sino que pueden estar destacando características de los docentes que forman parte de estos valores y que aparecen descritas en estos estándares para la evaluación del profesorado desde el Nivel 1 del MDAD (Paricio y Fernández March, 2023Paricio, J. y Fernández March (2023). Seis estándares para la evaluación del profesorado desde el Nivel 1 del MDAD. Red de Docencia Universitaria (REDU).). A continuación, analizaremos los contenidos de los clústeres y sus relaciones con los estándares para la evaluación del profesorado.

Análisis del Clúster 0 (relacionado con los estándares 1.1 y 1.3. Paricio y Fernández March, 2023Paricio, J. y Fernández March (2023). Seis estándares para la evaluación del profesorado desde el Nivel 1 del MDAD. Red de Docencia Universitaria (REDU).)

El clúster 0 acumula el 14.2% del corpus del total de datos analizados. Tomando en consideración las 10 palabras con mayor aparición en este clúster según la figura 1 se propone la denominación: “Buen profesor”, dado que está relacionado con las características del profesor como persona. Adicionalmente, en esta agrupación se encuentran palabras como: persona, amable, agradable, accesible, competente, maravillosa, gracias, mejor, aprendido, dedicación, pasión, conocimientos, bien….

Figura 1. Las 10 palabras con mayor citación en el Clúster 0 [View full size] [Descargar tamaño completo]

Según Pascarella y Terenzini (1991Pascarella, E. T. y Terenzini, P. T. (1991). How college affects students: findings and insights from twenty years of research. Jossey-Bass Inc.), la calidad docente es imprescindible para el éxito académico. En consonancia, se puede establecer una relación entre la calidad humana del docente y los resultados del alumno (Bowman et al., 2016Bowman, N. A., Seifert, T. A., Mayhew, M. J., Wolniak, G. C., Rockenbach, A. N., Pascarella, E. T. y Terenzini, P. T. (2016). How College Affects Students: 21st Century Evidence That Higher Education Works. Jossey-Bass.; Chesebro y McCroskey, 2001Chesebro, J. L. y McCroskey, J. C. (2001). The relationship of teacher clarity and immediacy with student state receiver apprehension, affect and cognitive learning. Communication Education, 50(1), 59-68. https://doi.org/10.1080/03634520109379232; Estepp y Roberts, 2015Estepp, C. M. y Roberts, T. G. (2015). Teacher Immediacy and Professor/Student Rapport as Predictors of Motivation and Engagement. NACTA Journal, 59, 155-163.; Witt et al. 2004Witt, P. L., Wheeless, L. R. y Allen, M. (2004). A meta-analytical review of the relationship between teacher immediacy and student learning. Communication Monographs, 71, 184-207.). Este clúster señala el nivel más básico de la interacción con el profesor y su calidad. La enseñanza cercana tiene que ver con la relación afectiva y la interacción social entre el alumno y el docente. La manera en la cual el profesorado se comunica e interacciona con los estudiantes puede potenciar o inhibir su proceso de aprendizaje al incidir sobre la forma en que valoran, sienten y afrontan el reto académico que tienen por delante (Paricio, 2019Paricio, J. (2019). La calidad de “lo que el estudiante hace”: aprendizaje activo y constructivo. En J. Paricio, A. Fernández e I. Fernández (eds.), Cartografía de la buena docencia universitaria. Un marco para el desarrollo del profesorado basado en la investigación (pp. 57-88). Narcea.).

Sin embargo, hay que establecer unos criterios de referencia más allá del éxito académico para determinar la eficacia del docente (Pulido, 2005Pulido, A. (2005). Indicadores de calidad en la evaluación del profesorado universitario. Estudios de Economía Aplicada, 23, 667684.). Igualmente, Martín (2000Martín, L. M. (2000). The relationship of college experiences to psychosocial outcomes in students. Journal of College Student Development, 41(3), 292-301.) señala que la probabilidad de que los estudiantes tengan éxito académico tiene mucho que ver con que sus interacciones con la universidad sean significativas. De la misma forma, la calidad humana del profesor conlleva desarrollar cierto respeto, apoyo y entusiasmo por la asignatura, esto supone un impacto significativo en sus estudiantes, incluso fomentando su asistencia en las clases (Teven y McCroskey, 1997Teven, J. J. y Mccroskey, J. C. (1997). The relationship of perceived teacher caring with student learning and teacher evaluation. Communication Education, 46, 1-9. https://doi.org/10.1080/03634529709379069).

En la figura 2 se distinguen claramente las opiniones de los estudiantes respecto a una profesora en contraste a las de un profesor y a los profesores en general. Dentro de este clúster se identifican 6 temas principales y otros temas relacionados:

1. Profesor, de manera concreta respecto al profesor los estudiantes opinan que realiza un excelente trabajo, que la experiencia le convierten en un buen docente y un gran profesional. (demuestra conocimiento y trayectoria académica).
2. Profesora, las opiniones de los estudiantes son más positivas en cuanto a la calidad humana de la profesora, expresan que es una persona amable, agradable, genial, y que siempre se muestra accesible y cercana a los alumnos. Respecto a su labor de profesora consideran que es competente y que hace que una asignatura sea mejor.
3. Profesores y profesoras, la comparación de las y los profesores en términos generales se realiza dentro de la carrera y dentro de la facultad.
4. Gratitud, hay un gran sentimiento de gratitud de los estudiantes hacia sus profesores. Tanto por los conocimientos aprendidos, por la dedicación con que impartieron sus clases y prácticas, así como por la respuesta a las dudas planteadas.
5. Pasión, otro aspecto valorado por los estudiantes es la pasión con la que imparte la docencia un profesor, consideran que es algo realmente evidente y que además influye en su calificación.
6. Temas relacionados, las opiniones expresadas con menor peso por tarde los estudiantes dentro de este clúster son los sentimientos y reacción que genera en el alumno las características de su profesor, así el alumnado opina que una buena labor docente se traduce en un estudiante contento y que es el docente quien genera interés en la asignatura que imparte.

Figura 2. Clúster 0. Buen profesor [View full size] [Descargar tamaño completo]

Análisis del Clúster 1 (relacionado con el estándar 1.2. Paricio y Fernández March, 2023Paricio, J. y Fernández March (2023). Seis estándares para la evaluación del profesorado desde el Nivel 1 del MDAD. Red de Docencia Universitaria (REDU).)

El clúster 1 abarca el 26.1% del corpus de sentencias estudiadas. Denominado “Buena enseñanza” en este clúster, además de las 10 palabras que se repiten mayoritariamente reflejadas en la figura 3, hay palabras como: clases, forma de explicar, ejemplos, explicaciones, entender, accesible, interés, claro, duda, dudas, prácticas, entre otros. La buena enseñanza entendida como un aprendizaje significativo (Ausubel, 1963Ausubel, D. (1963). The Psychology of Meaningful Verbal Learning. Grune & Stratton.; Ausubel, 1968Ausubel, D. (1968). Educational Psychology: A Cognitive View. Holt, Rinehart & Winston.) permite asimilar las ideas expuestas por el docente, todo al contrario que un aprendizaje fragmentado. La “buena enseñanza” es aquella que facilita la estructuración mental de los contenidos por parte del estudiante, dotando de sentido a los contenidos y generando conexiones y relaciones lógicas entre los conocimientos fragmentado (Paricio et al., 2019Paricio, J., Fernández March, A. y Fernández Fernández, I. (2019). Marco de desarrollo académico docente. Un mapa de la buena docencia universitaria basado en la investigación. ).

Figura 3. 10 palabras con mayor citación en el Clúster 1 [View full size] [Descargar tamaño completo]

Este clúster recoge la percepción que tienen los estudiantes de las prácticas de enseñanza en el determinado curso, grado, facultad o institución educativa. Incluye ítems relacionados con la actividad del docente en el proceso de enseñanza como: proporciona retroalimentación útil y oportuna, da explicaciones claras, motiva a los estudiantes, hace que el curso sea interesante y comprende los problemas de los estudiantes. Denota que la asignatura tiene una estructura lógica y bien ordenada, muestra conocimiento sobre los contenidos del programa y, por tanto, facilita el aprendizaje de los estudiantes (Paricio, 2019Paricio, J. (2019). La calidad de “lo que el estudiante hace”: aprendizaje activo y constructivo. En J. Paricio, A. Fernández e I. Fernández (eds.), Cartografía de la buena docencia universitaria. Un marco para el desarrollo del profesorado basado en la investigación (pp. 57-88). Narcea.).

Este clúster se corresponde con la dimensión “Buena enseñanza” del Course Experience Questionnaire, (CEQ) en español “Cuestionario sobre Experiencia en el Curso” (Curtis y Keeves, 2000Curtis, D. D. y Keeves, J. P. (2000). The Course Experience Questionnaire as an institutional performance indicator. International Education Journal, 1(2).), herramienta empleada para conocer la percepción de los estudiantes sobre la calidad del aprendizaje en la educación superior (Ramsden, 1991Ramsden, P. (1991). A Performance Indicator of Teaching Quality in Higher Education: The Course Experience Questionnaire. Studies in Higher Education, 16, 129-150.; Richardson, 1994; Richardson, 2005Richardson, J. T. (2005). Students’ approaches to learning and teachers’ approaches to teaching in higher education. Educational Psychology, 25(6), 673-680.; Broomfield y Bligh, 1998Broomfield, D. y Bligh, J. (1998). An evaluation of theshort form‘course experience questionnaire with medical students. Medical Education, 32(4), 367-369.; Lyon y Hendry, 2002Lyon, P. M. y Hendry, G. D. (2002). The use of the Course Experience Questionnaire as a monitoring evaluation tool in a problem-based medical programme. Assessment & Evaluation in Higher Education, 27(4), 339-352.; Ginns et al., 2007Ginns, P., Prosser, M. y Barrie, S. (2007). Students’ perceptions of teaching quality in higher education: The perspective of currently enrolled students. Studies in Higher Education, 32(5), 603-615.; Tucker et al., 2008Tucker, B., Jones, S. y Straker, L. (2008). Online student evaluation improves Course Experience Questionnaire results in a physiotherapy program. Higher Education Research & Development, 27(3), 281-296.; Harris y Kloubec, 2014Harris, C. y Kloubec, J. (2014). Assessment of student experience in a problem-based learning course using the course experience questionnaire. Journal of Nutrition Education and Behavior, 46(4), 315-319.; Hirschberg y Lye, 2016Hirschberg, J. y Lye, J. (2016). The influence of student experiences on post-graduation surveys. Assessment & Evaluation in Higher Education, 41(2), 265-285.; Sun y Richardson, 2016Sun, H. y Richardson, J. T. (2016). Students’ perceptions of the academic environment and approaches to studying in British postgraduate business education. Assessment & Evaluation in Higher Education, 41(3), 384-399.; Huybers, 2017Huybers, T. (2017). Exploring the use of best-worst scaling to elicit course experience questionnaire responses. Assessment & Evaluation in higher education, 42(8), 1306-1318.). Esta dimensión se divide en dos subdimensiones: buenos materiales y buenas tutorías, con el fin de diferenciar entre el aporte que representa el uso de material de apoyo para que los estudiantes perciban la calidad académica del servicio de educación superior en el primero caso, y en el segundo, para valorar el trabajo y desempeño exclusivo del docente (Richardson, 2005Richardson, J. T. (2005). Students’ approaches to learning and teachers’ approaches to teaching in higher education. Educational Psychology, 25(6), 673-680.). Similar distinción realizan Stergiou y Airey (2012Stergiou, D. P. y Airey, D. (2012). Using the Course Experience Questionnaire for evaluating undergraduate tourism management courses in Greece. Journal of Hospitality, Leisure, Sport & Tourism Education, 11(1), 41-49.) al dividir la dimensión buena enseñanza en entorno académico y enseñanza, con el fin de distinguir entre los aspectos más generales de la enseñanza de los aspectos más directos, respectivamente.

Figura 4. Clúster 1. Buena enseñanza [View full size] [Descargar tamaño completo]

Según la figura 4, dentro de este clúster se identifican 5 temas principales y otros temas relacionados:

1. Asignatura y materia, dentro de este tema los estudiantes aprecian si el docente es competente para impartir conocimientos y generar interés y gusto por la asignatura que luego se traduce en la nota, otro aspecto altamente valorado por los estudiantes.
2. Profesor, profesora y docente, el estudiante valora el trabajo del docente en relación con sus explicaciones y lo cataloga como gran, mejor, bueno, buena.
3. Clases, otro aspecto evaluado por los alumnos dentro de la buena enseñanza son las clases. El estudiante valora si el docente hace que las clases sean interesante, buenas o si las explicaciones son difíciles, también valora si se hacen prácticas en clase.
4. Alumnos, estudiantes y alumnado, la relación del docente con el alumnado es objeto de observación por los estudiantes. Aprecian que el docente siempre se muestre agradable, cercano, accesible y que además se preocupe y ayude.
5. Temario, a los estudiantes les interesa que el docente explique claramente el temario y entender los conceptos.
6. Temas relacionados, con menor representación dentro de este clúster, pero también apreciados por los estudiantes se encuentran temas como: claridad en la forma o manera de explicar, el tiempo de la clase y la gestión de dudas.

Análisis del Clúster 2 (relacionado con los estándares 1.5 y 1.6. Paricio y Fernández March, 2023Paricio, J. y Fernández March (2023). Seis estándares para la evaluación del profesorado desde el Nivel 1 del MDAD. Red de Docencia Universitaria (REDU).)

El clúster 2 acumula el 59.7% del corpus de datos analizados. Tomando en consideración las 10 palabras con mayor aparición en este clúster según la figura 5, se propone la denominación: “Objetivos y estándares claros de la asignatura” que se corresponde con una de las dimensiones del CEQ que lleva el mismo nombre. La claridad significa que haya una sincronización entre la planificación de la asignatura, la evaluación y los resultados del aprendizaje. En consecuencia, que los alumnos perciban sentido y coherencia en la asignatura mejora su actitud frente a esta (Biggs y Tang, 1999Biggs, J. B. y Tang, C. (1999). Teaching for Quality Learning at University: What the Student Does. Society for Research into Higher Education & Open University Press.). Adicionalmente, en el clúster hay palabras como: contenido, evaluación, docentes, exámenes, temario, trabajos, práctica, teoría, online, apuntes, entre otros.

Figura 5. 10 palabras con mayor citación en el clúster 2 [View full size] [Descargar tamaño completo]

Según Gibbs y Simpson (2009Gibbs, G. y Simpson, C. (2009). Condiciones para una evaluación continuada favorecedora del aprendizaje. ICE, Universitat de Barcelona y Ediciones Octaedro.), transparencia significa que los estudiantes saben con precisión de qué y cómo se les va a evaluar y los criterios con respecto a los cuáles va a ser valorado su trabajo. Tan solo cuando tienen una idea precisa de cómo serán evaluados y qué se espera de ellos y ellas en esa evaluación, los estudiantes pueden orientar su trabajo con seguridad y autonomía. La transparencia es así una cualidad fundamental para convertir la evaluación en una guía e impulso eficaz del proceso de aprendizaje.

Los temas de este clúster al igual que los ítems de la dimensión del CEQ permiten al estudiante valorar la calidad percibida de un determinado curso, grado, facultad o institución educativa, según la claridad con que se presentan las metas, objetivos y expectativas del nivel de trabajo que se espera de los estudiantes. Una de las guías de referencia al respecto la obtienen los estudiantes de los syllabus de la materia, de las mallas académicas de la carrera, en las que están claramente reflejados los objetivos, la carga horaria, los trabajos, incluso el método de evaluación del proyecto formativo (Ramsden, 1991Ramsden, P. (1991). A Performance Indicator of Teaching Quality in Higher Education: The Course Experience Questionnaire. Studies in Higher Education, 16, 129-150.; Richardson, 2005Richardson, J. T. (2005). Students’ approaches to learning and teachers’ approaches to teaching in higher education. Educational Psychology, 25(6), 673-680.; Richardson, 2012Richardson, W. (2012). Why school: How education must change when learning and information are everywhere. TED.; Broomfield y Bligh, 1998Broomfield, D. y Bligh, J. (1998). An evaluation of theshort form‘course experience questionnaire with medical students. Medical Education, 32(4), 367-369.; Lyon y Hendry, 2002Lyon, P. M. y Hendry, G. D. (2002). The use of the Course Experience Questionnaire as a monitoring evaluation tool in a problem-based medical programme. Assessment & Evaluation in Higher Education, 27(4), 339-352.; Ginns et al., 2007Ginns, P., Prosser, M. y Barrie, S. (2007). Students’ perceptions of teaching quality in higher education: The perspective of currently enrolled students. Studies in Higher Education, 32(5), 603-615.; Harris y Kloubec, 2014Harris, C. y Kloubec, J. (2014). Assessment of student experience in a problem-based learning course using the course experience questionnaire. Journal of Nutrition Education and Behavior, 46(4), 315-319.; Sun y Richardson, 2016Sun, H. y Richardson, J. T. (2016). Students’ perceptions of the academic environment and approaches to studying in British postgraduate business education. Assessment & Evaluation in Higher Education, 41(3), 384-399.). Sin embargo, para los autores Ullah, Richardson y Hafeez (2011Ullah, R., Richardson, J. T. y Hafeez, M. (2011). Approaches to studying and perceptions of the academic environment among university students in Pakistan. Compare, 41(1), 113-127.) esta dimensión se subsume en la dimensión habilidades genéricas.

Dentro de este clúster se identifican 4 temas principales y otros temas relacionados, según la figura 6:

1. Asignatura, la opinión de los estudiantes respecto a los docentes gira en torno a los contenidos de la materia. Según el alumnado, la mejor manera de aprender los temas es mediante prácticas que permiten captar el contenido de manera interesante.
2. Clase, respecto a cada día de clase de determinado curso, el alumno es consciente que cada profesor tiene una forma particular de dar o impartir un tema. Los estudiantes distinguen entre una clase de ejercicios y una de teoría, además, valoran más las horas de ejercicios y piden menos horas de teoría dentro del temario.
3. Clases, de manera general los estudiantes consideran que en las clases online los alumnos precisan de más ayuda y es algo que los profesores deben tener en cuenta. Respecto al tiempo, el alumnado considera que muchas veces las horas dedicadas para adquirir conocimientos no son suficientes y, por tanto, hace difícil adquirir el aprendizaje y es algo que a consideración del estudiante el profesor lo debe tener en cuenta al momento de la evaluación.
4. Prácticas y trabajos, según los estudiantes, los trabajos, ya sean prácticas en clase o trabajos fuera del aula, deben estar relacionados con el método de evaluación del proyecto formativo o asignatura. Proponen el siguiente orden: primero, la realización de prácticas en clase y luego de trabajos en casa, además, que en el contenido evaluado en los exámenes se debe considerar el conocimiento adquirido en las prácticas y trabajos, de manera que influya en la nota final y que no se les evalúe luego de otras cosas.
5. Temas relacionados, con menor peso dentro de este clúster se consideran temas como apuntes que toman los estudiantes y la importancia de la asignatura dentro de la carrera.

Figura 6. Clúster 2. Objetivos y estándares claros de la asignatura [View full size] [Descargar tamaño completo]

Consideraciones finales

En conclusión, la educación superior tiene que estar en contacto con la relevancia y continuo crecimiento de las nuevas herramientas e innovaciones educativas, especialmente con la inteligencia artificial. Se resalta la importancia de las potencialidades que tiene la inteligencia artificial y su mayor aplicación de manera progresiva por las instituciones académicas para abordar las necesidades educativas de la sociedad, como conocer la percepción de la experiencia del estudiantado del proceso de enseñanza y aprendizaje, objetivo del presente estudio. La versatilidad de las redes neuronales artificiales permite desarrollar proyectos de investigación en los que funcionan como herramientas clasificatorias y predictivas, que desempeñan un papel fundamental en la profundización de la valoración de la experiencia educativa. Asimismo, la información obtenida a través de su análisis representa un paso significativo hacia la mejora continua de la educación a través de la aplicación efectiva de la inteligencia artificial en el análisis de respuestas a preguntas abiertas en cuestionarios a estudiantes, así como una herramienta esencial en el análisis de datos a gran escala y la toma de decisiones informada, ya que la inteligencia artificial puede identificar patrones y tendencias que pueden pasar desapercibidos para los métodos tradicionales.

Llegados a este punto, podemos determinar que el uso de una inteligencia artificial especializada en el procesamiento del lenguaje natural, cómo esta, y diseñada solo para clasificar comentarios, resulta extremadamente útil cuando se trata de trabajar con ingentes cantidades de datos, pero de todo el proceso consideramos que han sido relevantes dos cuestiones. Por un lado, que la clasificación de las respuestas a la pregunta abierta del cuestionario coincida con las dimensiones del nivel 1 del MDAD (Paricio et al., 2019Paricio, J., Fernández March, A. y Fernández Fernández, I. (2019). Marco de desarrollo académico docente. Un mapa de la buena docencia universitaria basado en la investigación. ). En concreto el Clúster 0 asociado a “Buen profesor” se corresponde con los reconocidos estándares 1.1 y 1.3 del MDAD (Paricio et al., 2019Paricio, J., Fernández March, A. y Fernández Fernández, I. (2019). Marco de desarrollo académico docente. Un mapa de la buena docencia universitaria basado en la investigación. ), asociado a la relevancia de una adecuada y actualizada programación de la asignatura, así como a la importancia de un modelo de enseñanza cercano, interesante y predispuesto al diálogo. Asimismo, el Clúster 1 vinculado a la característica de “Buena enseñanza” se relaciona con el estándar 1.2 que se refiere a aspectos sobre la estructura clara y ordenada, así como la exposición, ritmo y recursos en este mismo sentido. Por último, el Clúster 2 referido a “Objetivos claros”, se encuentra conectado con las características reflejadas en los estándares 1.5 y 1.6, en los que se observa la preocupación de los estudiantes por un adecuado sistema de evaluación coherente y justo, así como la expectativa del cumplimiento de unas obligaciones docentes básicas. Como se refleja en MDAD (Paricio et al., 2019Paricio, J., Fernández March, A. y Fernández Fernández, I. (2019). Marco de desarrollo académico docente. Un mapa de la buena docencia universitaria basado en la investigación. ), lo que se refleja en estos clústeres y estándares es el fruto de la investigación en aspectos asociados a la calidad de la enseñanza y aprendizaje de los estudiantes.

Las técnicas de análisis mediante una red neuronal automática permiten clasificar en aras de permitir el análisis de los datos, uno de sus principales objetivos. Sin embargo, es preciso seguir trabajando en la capacidad que este tipo de análisis automáticos tiene, es decir, puede ser que como experimento metodológico pueda ser un trabajo curioso, pero hay que profundizar en desarrollar la utilidad de este tipo de clasificaciones, ya que la simple agrupación en 3 grandes clústeres hace que se pierda el detalle de la gran cantidad de información aportada por los estudiantes en sus respuestas. Es cierto que los docentes de la Universidad Complutense de Madrid tienen acceso a los comentarios literales que hacen los estudiantes de su asignatura, siempre de forma totalmente anónima, lo que para ellos puede suponer una información de gran utilidad, pero esta agrupación no aporta el detalle necesario para que sea de utilidad, más allá de mostrar los comentarios de los estudiantes, que podría ser positiva o negativa, enmarcada dentro de los estándares establecidos en el Marco de Desarrollo Académico Docente (Paricio et al., 2019Paricio, J., Fernández March, A. y Fernández Fernández, I. (2019). Marco de desarrollo académico docente. Un mapa de la buena docencia universitaria basado en la investigación. ) y con algunas dimensiones del Course Experience Questionnaire (CEQ). Es por ello por lo que este trabajo debe evolucionar hacia un análisis más complejo de los contenidos, con herramientas de inteligencia artificial que analicen, por ejemplo, el sentimiento de los comentarios y hagan agrupaciones de los mismos en categorías más detalladas. Simplemente, con la combinación de estos dos análisis y una segmentación de los resultados, se podría precisar en mayor medida la opinión cualitativa que los estudiantes están detallando en sus comentarios.

Referencias bibliográficas

Abstract

Natural language processing by AI in the assessment of open-ended student responses in the DOCENTIA-UCM program

INTRODUCTION. In the context of evaluating the quality of teaching staff at the Complutense University of Madrid, a questionnaire is administered to students as part of the DOCENTIA program. In programs of this magnitude, the analysis of qualitative responses through traditional methods faces limitations such as errors, biases, and resource consumption. METHOD. In this study, artificial intelligence specialized in natural language processing is used to analyze the 27,290 student comments in the DOCENTIA questionnaire. The process involves cleaning the comments, lemmatizing words, and applying vector space models, followed by clustering techniques to categorize them into clusters. RESULTS. The results reveal three significant clusters in the students’ responses. The “Good Professor” cluster represents 14.2% of the responses and highlights qualities such as kindness, accessibility, competence, and teachers’ passion. Cluster 1, called “Good Teaching,” comprises 26.1% of the responses and reflects students’ perceptions regarding aspects like the quality of explanations, teacher motivation, and logical structuring of the subject, among others. Cluster 2, focused on “Clear objectives and standards of the subject”, encompasses 59.7% of the responses and centers on the quality of objectives, transparency in evaluation, and expectations regarding the fulfilment of teaching duties. DISCUSSION. These clusters and their associated terms reflect students’ perception of teaching quality and its relationship with the objectives outlined in the standards of the Academic Teaching Development Framework. Automated analysis of student comments proves useful, but it is suggested to investigate providing more specific details, such as analyzing the sentiment of the comments, due to the importance that this type of analysis can have in relation to educational quality standards.

Keywords: Quality of teaching, Artificial intelligence, Network analysis, University studies.

Résumé

Traitement du langage naturel par l’IA dans l’évaluation des réponses ouvertes des étudiants dans le cadre du programme DOCENTIA-UCM

INTRODUCTION. Dans le contexte de l’évaluation de la qualité du personnel enseignant à l’Université Complutense de Madrid, un questionnaire a été administré aux étudiants dans le cadre du programme DOCENTIA. Dans des programmes de cette envergure, l’analyse des réponses qualitatives par des méthodes traditionnelles présente des limites : des erreurs, des biais ainsi qu’une consommation importante de ressources. MÉTHODE. Dans cette étude, une intelligence artificielle spécialisée dans le traitement du langage naturel a été utilisée pour analyser les 27 290 commentaires des étudiants dans le questionnaire DOCENTIA. Le processus comprend le nettoyage des commentaires, la lemmatisation des mots et l’application de modèles d’espaces vectoriels, suivis de techniques de regroupement afin de les classer en clusters. RÉSULTATS. Les résultats révèlent trois clusters significatifs dans les réponses des étudiants. Le cluster «Bon professeur» représente 14,2% des réponses et met en avant des qualités telles que la bienveillance, l’accessibilité, la compétence et la passion des enseignants. Le Cluster 1, appelé «Bon enseignement», regroupe 26,1% des réponses et reflète la perception des étudiants sur des aspects tels que la qualité des explications, la motivation des enseignants et la structuration logique du cours, entre autres. Le Cluster 2, axé sur les «Objectifs clairs et normes de la matière», englobe 59,7% des réponses et se concentre sur la qualité des objectifs, la transparence dans l’évaluation et les attentes concernant l’accomplissement des devoirs d’enseignement. DISCUSSION. Ces clusters et les termes qui leur sont associés reflètent la perception des étudiants sur la qualité de l’enseignement et son lien avec les objectifs définis dans les normes du Cadre de Développement de l’Enseignement Académique. L’analyse automatisée des commentaires des étudiants s’avère utile, mais il est suggéré d’explorer des détails plus spécifiques, comme l’analyse du sentiment lors des commentaires, en raison de l’importance que ce type d’analyse peut avoir en relation avec les standards de qualité éducative.

Mots-clés : Qualité de l’enseignement, Intelligence artificielle, Analyse de réseau, Études universitaires.

Perfil profesional de los autores

José Manuel Segovia Guisado (autor de contacto)

Licenciado en Sociología por la Universidad Complutense de Madrid y diploma de estudios avanzados en Metodología de la Investigación en Ciencias Sociales también por la UCM. Ha desarrollado su carrera profesional en el sector de la investigación de mercados como analista cuantitativo y cualitativo para empresas del sector de las telecomunicaciones, energía, banca y educación superior. Especializado en técnicas de encuesta online y análisis de datos, actualmente es director de la Unidad de Indicadores de Calidad de la Universidad Complutense de Madrid, donde implanta y analiza resultados de sistemas de evaluación de la calidad de educación Superior.

ORCID: https://orcid.org/0000-0002-0973-8090

Correo electrónico de contacto: jmsegovi@ucm.es

Dirección para la correspondencia: Universidad Complutense de Madrid. Edificio de Estudiantes. Avda. Complutense, s/n. Ciudad Universitaria. 28040 Madrid (España).

Ana Renuncio García

Graduada en Sociología, especializada en Psicología Social. Cuenta con experiencia en el análisis cuantitativo y cualitativo de datos estadísticos en el ámbito académico. Actualmente su labor profesional está vinculada a la intervención psicosocial con niños, niñas y adolescentes.

ORCID: https://orcid.org/0009-0005-8149-2856

Correo electrónico de contacto: arenuncio@outlook.com

Gricela Elizabeth Andrade Ruiz

Gricela Andrade-Ruiz es directora académica del Grado en Marketing en la Universidad Internacional de Valencia (VIU). Su trayectoria académica se centra en el análisis del comportamiento del consumidor, la calidad del servicio, el análisis bibliométrico y los sistemas de recomendación. Ha participado en proyectos de investigación en estos ámbitos y cuenta con experiencia en estrategia digital y experiencia de usuario. Su labor académica se orienta a la aplicación de metodologías innovadoras en la enseñanza del marketing y la investigación aplicada.

ORCID: https://orcid.org/0009-0009-4743-0351

Correo electrónico de contacto: gricelan@ucm.es

Andrés Cano Maganto

Graduado en Psicología con Mención en Psicología de la Salud y Máster Oficial Universitario en Psicología de la Educación en la Universidad Complutense de Madrid y estudiante del Máster Universitario en Formación del Profesorado de Educación Secundaria, Bachillerato y FP e Idiomas en la especialidad de Orientación Educativo en la Universidad Rey Juan Carlos. Psicólogo educativo especializado en evaluación de instrumentos de valoración y sistemas de calidad en el Vicerrectorado de Calidad de la Universidad Complutense de Madrid. Miembro de varios equipos de investigación e intervención como colaborador en Proyectos de Innovación docente, artículos y comunicaciones en congresos.

ORCID: https://orcid.org/0000-0002-7375-292X

Correo electrónico de contacto: andcan01@ucm.es

Ares Bordes Llados

Ares Bordes Lladós, graduada en Filosofía en la Universidad de Barcelona, miembro de la junta de facultades y la comisión académica. También realizó el Máster de Estudios Avanzados en Filosofía en la Universidad Complutense de Madrid. Investigadora actual de la Facultad de Filosofía de la UCM en Teoría Critica y Estéticas Contemporáneas y becaria en el Vicerrectorado de Calidad de la UCM, desempeñando tareas de técnica de calidad docente y de apoyo al servicio.

ORCID: https://orcid.org/0009-0002-0550-9415

Correo electrónico de contacto: abordes@ucm.es

Miguel Ángel Sastre Castillo

Catedrático de Universidad de Organización de Empresas. Actualmente es vicerrector de Calidad de la Universidad Complutense de Madrid UCM. Con tres sexenios de investigación y transferencia reconocidos, es director del grupo de investigación de Dirección de Recursos Humanos y de la Cátedra Extraordinaria UCM-COFARES para la Promoción de la Salud y la Responsabilidad Social Corporativa en la Empresa. Anteriormente ha sido director de la División de Evaluación de Enseñanzas e Instituciones de ANECA, miembro del Comité Académico de la Red Iberoamericana de Aseguramiento de la Calidad en la Educación Superior RIACES, y también en la UCM ha sido vicerrector de Política Económica, decano de la Facultad de Comercio y Turismo, director de la Escuela Universitaria de Estudios Empresariales y director del Departamento de Organización de Empresas.

ORCID: https://orcid.org/0000-0003-0163-5692

Correo electrónico de contacto: masastre@ucm.es

Sonia Martín López

Profesora contratada doctor en el Departamento de Administración Financiera y Contabilidad de la UCM. Sus líneas de investigación se centran en las organizaciones de participación, economía social, empresa individual, trabajo autónomo, emprendimiento social y financiación de microempresas, fundamentalmente. Investigadora de la Escuela de Especialización Profesional en Economía Social, Cooperativas y otras organizaciones de participación (EESCOOP) de la UCM, habiendo participado en varios proyectos de investigación y siendo autora de varios artículos y contribuciones a congresos tanto nacionales como internacionales. Ha sido directora del Máster en Finanzas de Empresa, secretaria académica de la Escuela de Estudios Cooperativos, vicedecana de Calidad de la Facultad de Ciencias Económicas y Empresariales y secretaria académica de la Oficina para la Calidad de la UCM.

ORCID: https://orcid.org/0000-0002-4308-5572

Correo electrónico de contacto: smartin@ucm.es

María del Mar Egea Mota

Funcionaria de carrera de la Escala Técnica de Gestión de la Universidad Complutense de Madrid. Licenciada en Ciencias Políticas y Sociología por la Universidad Complutense de Madrid. En la UCM ha ocupado diversos puestos de gestión en el Servicio de Información General, en la Oficina de Relaciones Internacionales, como adjunta a la gerencia de la Facultad de Estudios Estadísticos y en la Unidad de Organización y Procedimientos como Técnico de Apoyo, jefa de servicio de la Oficina para la Calidad de la UCM y actualmente directora de Estudiantes en la UCM.

ORCID: https://orcid.org/0009-0000-6342-7042

Correo electrónico de contacto: mmegea@ucm.es