Figura 1. Modelo estructural ajustado a través del método de máxima verosimilitud
NURIA SEGOVIA-GARCÍA
Corporación Universitaria de Asturias (Colombia)
DOI: 10.13042/Bordon.2021.87938
Fecha de recepción: 21/02/2021 • Fecha de aceptación: 22/11/2021
Autora de contacto / Corresponding autor: Nuria Segovia-García. E-mail: tencologia.ns@asturias.edu.co
INTRODUCCIÓN. El creciente interés por el aprendizaje abierto y a distancia de los últimos años ha hecho que estudiantes de todo el mundo puedan acceder y aprender a través de cursos gratuitos en línea ofrecidos por conocidas universidades. Sin embargo, a pesar de los potenciales beneficios de los MOOC, sus tasas de abandono son muy elevadas y su calidad general es cuestionable, y actualmente está siendo objeto de un intenso debate. El objetivo de este estudio es conocer la opinión de los estudiantes una vez finalizados los MOOC y detectar mejoras que permitan incrementar la calidad de los cursos. MÉTODO. A partir del análisis de diferentes herramientas para medir la calidad de los sistemas de información, como el modelo de DeLone y McLean, se diseñó una encuesta con 16 preguntas cerradas por medio de una escala Likert de 5 puntos y una pregunta abierta. Se obtuvieron 309 respuestas de estudiantes y se utilizó una metodología de análisis mixto a partir de un modelo de ecuaciones estructurales (SEM) para interpretar los datos cuantitativos y el análisis de contenido como método cualitativo. RESULTADOS. La evaluación resalta la importancia de los factores que inciden directamente en la percepción del estudiante sobre la calidad del servicio prestado y la calidad de la información proporcionada. El análisis cualitativo reveló la importancia que los estudiantes otorgan al contenido práctico. DISCUSIÓN. Estos resultados corroboran las conclusiones de gran parte de los trabajos anteriores en los que se determina la necesidad de desarrollar y difundir modelos metodológicos más activos basados en la práctica y el desarrollo profesional. Además, es necesario reforzar la eficacia y la calidad de la información, proporcionando recursos adicionales y ofreciendo actividades prácticas en las que se expongan ejemplos de aplicación de los contenidos.
Palabras clave: Cursos en línea, Educación abierta, Calidad educativa, Tasa de abandono, Diseño instruccional, Contenido del curso.
La expansión de la formación masiva, abierta y a distancia
Los Massive Online Open Courses (o cursos online masivos y abiertos) se han consolidado en los últimos años como una alternativa para muchos usuarios que encuentran en este formato una vía accesible para seguir formándose. Desde sus inicios en 2012 este tipo de formación ha ido creciendo tanto en el número de usuarios como en el de cursos e instituciones que los desarrollan, convirtiéndose en una excelente oportunidad para facilitar un aprendizaje permanente orientado al desarrollo profesional (Brooker et al., 2018Brooker, A., Corrin, L., De Barba, P. G., Lodge, J. y Kennedy, G. (2018). A tale of two MOOCs: how student motivation and participation predict learning outcomes in different MOOCs. Australasian Journal of Educational Technology, 34(1), 73-87. https://doi-org.ezproxy.uned.es/10.14742/ajet.3237).
Sin embargo, a partir de 2018 se nota un estancamiento en el seguimiento de los MOOC con una bajada del interés por este tipo de formación (Shah, 2021Shah, D. (2021). The second year of the MOOC: a review of MOOC stats and trends in 2020. Class Central. https://www.classcentral.com/report/the-second-year-of-the-mooc/). Y es que son muchos los interrogantes que surgen alrededor de estos cursos y que comprometen su viabilidad a nivel de sostenibilidad, captación del interés y empleabilidad de las acciones formativas, entre otras (Baldomero et al., 2018Baldomero, M., Vázquez-Cano, E. y Belando-Montoro, M. (2018). Diseño de un modelo de evaluación de la calidad de los cursos MOOC mediante lógica difusa. Revista Electrónica de Investigación Educativa, 20(4), 72-85. https://doi.org/10.24320/redie.2018.20.4.1663). Interrogantes que subyacen a un problema común: la alta tasa de abandono (Maya-Jariego et al., 2020Maya-Jariego, I., Holgado, D., González-Tinoco, E., Castaño-Muñoz, Y. y Punie, Y. (2020). Typology of motivation and learning intentions of users in MOOCs: the MOOCKNOWLEDGE study. Educational Technology Research and Development, 68(1), 203-224.).
Las razones de este abandono son complejas y obedecen a diferentes realidades como la pérdida de interés de los estudiantes cuando el diseño del curso no cuenta con una base metodológica clara acerca del aprendizaje y la autorregulación (Bartolomé y Steffens, 2015Bartolomé-Pina, A. R. y Steffens, K. (2015). Are MOOCs promising learning environments? Comunicar, 22(44), 91-99. https://doi.org/10.3916/c44-2015-10; Oh et al., 2019Oh, E. G., Chang, Y. y Park, S. W. (2019). Design review of MOOCs: application of e-learning design principles. Journal of Computing in Higher Education, 32(3), 455-475. https://doi.org/10.1007/s12528-019-09243-w) o cuando este diseño responde a modelos estructurados y lineales como los xMOOC (Marcinkowski y Fonseca, 2015Marcinkowski, M. y Fonseca, F. (2015). Understanding concepts and values for the future of online education through the practice of design. En Conference 2015 Proceedings. http://hdl.handle.net/2142/73660; Young, 2018Young, S. (2018). From disruption to innovation: thoughts on the future of MOOCs. Voprosy obrazovaniya / Educational Studies Moscow, 4, 21-43. https://doi.org/10.17323/1814-9545-2018-4-21-43), impidiendo responder a la diversidad y heterogeneidad de estudiantes que con diferentes objetivos, niveles formativos y competencias se han inscrito en el curso (Bezerra y Da Silva, 2017Bezerra, L. N. M. y Da Silva, M. T. (2017). A review of literature on the reasons that cause the high dropout rates in the MOOCS. Espacios, 38(5), 11-25. https://cutt.ly/qEOaUoQ; Chai et al., 2018Chai, Y., Lei, C. U., Hu, X. y Kwok, Y. K. (2018). WPSS. Proceedings of the Fifth Annual ACM Conference on Learning at Scale. https://doi.org/10.1145/3231644.3231687; Cristea et al., 2018Cristea, A. I., Alamri, A., Kayama, M., Stewart, C., Alshehri, M. y Shi, L. (2018). Earliest predictor of dropout in MOOCs: a longitudinal study of futureLearn courses. 27th International Conference on Information Systems Development (ISD).). También es posible advertir otras razones de abandono como la falta de percepción de un contenido relevante y práctico (Howarth et al., 2016Howarth, J. P., D’Alessandro, S., Johnson, L. y White, L. (2016). Learner motivation for MOOC registration and the role of MOOCs as a university “taster”. International Journal of Lifelong Education, 35(1), 74-85. https://doi-org.ezproxy.uned.es/10.1080/02601370.2015.1122667) o incluso las asociadas a la facilidad para desistir del curso al no tener penalización económica (Moore y Wang, 2020Moore, R. L. y Wang, C. (2020). Influence of learner motivational dispositions on MOOC completion. Journal of Computing in Higher Education, 1-14.), entre otras. Estos factores de abandono pueden contribuir a condicionar la calidad del modelo de formación masivo, abierto y a distancia, constituyéndose como los principales obstáculos para su crecimiento y expansión (Jacobsen, 2019Jacobsen, D. Y. (2019). Dropping out or dropping in? A connectivist approach to understanding participants’ strategies in an e-learning MOOC pilot. Technology, Knowledge and Learning, 24(1), 1-21. https://doi.org/10.1007/s10758-017-9298-z; Niu et al., 2018Niu, Z., Li, W., Yan, X. y Wu, N. (2018). Exploring causes for the dropout on Massive Open Online Courses. Proceedings of ACM Turing Celebration Conference, 47-52.; Zhu et al., 2018Zhu, M., Sari, A. y Lee, M. M. (2018). A systematic review of research methods and topics of the empirical MOOC literature (2014-2016). The Internet and Higher Education, 37, 31-39. https://doi.org/110.1016/j.iheduc.2018.01.002).
A pesar de lo anterior, esta línea decreciente ha encontrado un punto de inflexión a principios de 2020 como consecuencia del desencadenante de la pandemia del COVID-19 y las medidas de confinamiento decretadas a nivel mundial, pudiendo encontrar cómo “de todos los alumnos que se registraron alguna vez en una plataforma MOOC, un tercio lo hizo en 2020” (Shah, 2021Shah, D. (2021). The second year of the MOOC: a review of MOOC stats and trends in 2020. Class Central. https://www.classcentral.com/report/the-second-year-of-the-mooc/).
La calidad en los cursos MOOC
Lo argumentado hasta este momento permite advertir el momento idóneo en el que se encuentran los MOOC para poder profundizar a través de un marco reflexivo y analítico sobre los procesos de calidad que deben acompañarlos. Lo anterior con objeto de superar las barreras apuntadas y relanzar la filosofía con la que se creó esta modalidad formativa: como una herramienta de alto poder para la democratización de la educación superior (Dillahunt et al., 2015;Dillahunt, T., Wang, Z. y Teasley, S. D. (2015). Democratizing Higher Education: exploring MOOC use among those who cannot afford a formal education. The International Review of Research in Open and Distance Learning, 15(5), 177-196. https://files.eric.ed.gov/fulltext/EJ1045991.pdf Kang, 2020Kang, I. G. (2020). Heterogeneity of learners’ behavioral patterns of watching videos and completing assessments in Massive Open Online Courses (MOOCs): a latent class analysis. The International Review of Research in Open and Distributed Learning, 21(4), 222-237. https://doi.org/10.19173/irrodl.v21i4.4645).
La relación entre calidad de la educación y satisfacción de los estudiantes es un tema que se ha trabajado a nivel normativo, tal como se recoge en la Norma UNE 66181:2012 de gestión de la calidad, desarrollada por la Asociación Española de Normalización y Certificación (AENOR, 2012Asociación Española de Normalización y Certificación (2012). Norma UNE 66181:2012 Gestión de la calidad. Calidad de la Formación Virtual. AENOR.), y en el que se ven afectados de manera muy directa las expectativas que tienen los estudiantes al iniciar sus estudios y posteriormente los resultados que se van alcanzando (Watts, 2019Watts, J. (2019). Assessing an online student orientation: impacts on retention, satisfaction, and student learning. Technical Communication Quarterly, 28(3), 254-270. https://doi.org/10.1080/10572252.2019.1607905), pudiendo ser un elemento determinante en la decisión de permanecer o abandonar el programa formativo (Baldomero et al., 2018Baldomero, M., Vázquez-Cano, E. y Belando-Montoro, M. (2018). Diseño de un modelo de evaluación de la calidad de los cursos MOOC mediante lógica difusa. Revista Electrónica de Investigación Educativa, 20(4), 72-85. https://doi.org/10.24320/redie.2018.20.4.1663).
En la actualidad, y fruto de esta necesidad de analizar las dimensiones que afectan la valoración en entornos virtuales, se han establecido diferentes modelos de medida de la calidad, como la mencionada Norma UNE 66181:2012 (AENOR, 2012Asociación Española de Normalización y Certificación (2012). Norma UNE 66181:2012 Gestión de la calidad. Calidad de la Formación Virtual. AENOR.); el modelo Five Pillars of Quality Online Education, con cinco pilares en torno a la eficacia en el aprendizaje, el acceso a la infraestructura tecnológica, materiales y servicios, la satisfacción del profesorado, la satisfacción del estudiante y escala referida a la rentabilidad y la capacidad de los cursos virtuales para fomentar el aprendizaje (Online Learning Consortium, s. f.Online Learning Consortium (s. f.). Quality Framework - OLC. http://bit.ly/2uYDotb ); o el modelo UNIQUe (European Foundation for Quality in E-Learning [EFQUEL], 2011European Foundation for Quality in E-Learning (EFQUEL) (2011). European Universities Quality in e-Learning. UNIQUe. http://bit.ly/2vNrRNG) con tres dimensiones (contexto institucional, recursos educativos y el proceso de enseñanza), por mencionar algunos.
Investigaciones recientes como las desarrolladas por Aldholay et al. (2018Aldholay, A., Isaac, O., Abdullah, Z., Abdulsalam, R. y Al-Shibami, A. H. (2018). An extension of DeLone and McLean IS success model with self-efficacy. The International Journal of Information and Learning Technology, 35(4), 285-304. https://doi.org/10.1108/ijilt-11-2017-0116), Al-Samarraie et al. (2017Al-Samarraie, H., Teng, B. K., Alzahrani, A. I. y Alalwan, N. (2017). E-learning continuance satisfaction in higher education: a unified perspective from instructors and students. Studies in Higher Education, 43(11), 2003-2019. https://doi.org/10.1080/03075079.2017.1298088) y Aparicio et al. (2017Aparicio, M., Bacao, F. y Oliveira, T. (2016). An e-learning theoretical framework. Educational Technology & Society, 19(1), 292-307. https://www.jstor.org/stable/jeductechsoci.19.1.292), entre otros, han tomado como base para el análisis de la calidad de la formación el modelo de éxito o efectividad de sistemas de información propuesto por DeLone y McLean (1992DeLone, W. H. y McLean, E. R. (1992). Information systems success: the quest for the dependent variable. Information Systems Research, 3(1), 60-95. https://doi.org/10.1287/isre.3.1.60, 2003DeLone, W. H. y McLean, E. R. (2003). The DeLone and McLean model of information systems success: a ten-year update. Journal of Management Information Systems, 19(4), 9-30. https://doi.org/10.1080/07421222.2003.11045748). En este modelo se defiende cómo el éxito de la formación virtual depende en gran medida de la satisfacción alcanzada por los usuarios en relación con la calidad de la información y del servicio ofrecido en la acción formativa, la calidad del sistema con el que se trabaja, la facilidad del uso del sistema y los beneficios generados a nivel de impacto individual e impacto organizativo.
Muy cercano a lo anterior y ligado a la tipología de cursos MOOC, autores como Baldomero et al. (2018Baldomero, M., Vázquez-Cano, E. y Belando-Montoro, M. (2018). Diseño de un modelo de evaluación de la calidad de los cursos MOOC mediante lógica difusa. Revista Electrónica de Investigación Educativa, 20(4), 72-85. https://doi.org/10.24320/redie.2018.20.4.1663) sintetizan los indicadores anteriormente contemplados y proponen un modelo que contiene los siguientes ejes: 1) reconocimiento de la formación para la empleabilidad; 2) metodología de aprendizaje; 3) planificación/gestión; 4) diseño-aprendizaje; y 5) comunicación-interacción. Se introduce el componente de interacción como elemento necesario para determinar la satisfacción de los estudiantes con el modelo educativo (Salam y Farooq, 2020Salam, M. y Farooq, M. S. (2020). Does sociability quality of web-based collaborative learning information system influence students’ satisfaction and system usage? International Journal of Educational Technology in Higher Education, 17(1), 1-39. https://doi.org/10.1186/s41239-020-00189-z; Zou et al., 2021Zou, W., Hu, X., Pan, Z., Li, C., Cai, Y. y Liu, M. (2021). Exploring the relationship between social presence and learners’ prestige in MOOC discussion forums using automated content analysis and social network analysis. Computers in Human Behavior, 115. https://doi.org/10.1016/j.chb.2020.106582) y propiciar un clima de trabajo y apoyo para aumentar la calidad percibida por parte de los estudiantes (Al-Fraihat et al., 2020Al-Fraihat, D., Joy, M., Masa’deh, R. y Sinclair, J. (2020). Evaluating e-learning systems success: an empirical study. Computers in Human Behavior, 102, 67-86. https://doi.org/10.1016/j.chb.2019.08.004 ; Wan-Ab-Rahman et al., 2020Wan-Ab-Rahman, W. N., Zulzalil, H., Ishak, I. y Selamat, A. W. (2020). Quality model for Massive Open Online Course (MOOC) web content. International Journal on Advanced Science, Engineering and Information Technology, 10(1), 24. https://doi.org/10.18517/ijaseit.10.1.10192).
A partir de todo lo expuesto anteriormente, y tomando como marco de referencia las investigaciones señaladas sobre la calidad de la formación virtual, el objetivo de este trabajo es analizar la valoración realizada por los estudiantes de un curso MOOC diseñado sobre una base metodológica constructivista donde se prioriza la interacción profesional a través de los foros de aprendizaje y la exposición de situaciones de aplicación práctica (Segovia y Orellana, 2020Segovia-García, N. y Orellana, D. (2020). Calidad de diseño instruccional de cursos MOOC: principales retos. En Docencia 2.0 y 3.0. Tirant.), así como la detección de aspectos que desde la experiencia de los estudiantes y su interacción con los materiales deberían mejorarse. Para ello, este objetivo principal se ha dividido en tres objetivos específicos:
El MOOC ha sido diseñado siguiendo las fases definidas por Segovia-García y Orellana (2020Segovia-García, N. y Orellana, D. (2020). Calidad de diseño instruccional de cursos MOOC: principales retos. En Docencia 2.0 y 3.0. Tirant.) y consta de una secuencia con cinco módulos de contenido donde se van desarrollando las fases del Design Thinking, además de un módulo inicial de presentación y uno final. La metodología apuesta por el debate y la reflexión en torno a situaciones y problemáticas relacionadas con el desarrollo de productos. Para ello todos los módulos cuentan con una primera fase denominada “reflexiona”, donde se expone una situación problemática de una empresa real y se anima a discutir posibles soluciones prácticas en el foro de debate. Finalizada esta fase se accede a la siguiente, denominada “aprende”, en la que a través de contenido audiovisual y lecturas complementarias se podrán contrastar las soluciones ofrecidas en la fase anterior con los conceptos fundamentales desarrollados en el módulo. Finalmente, en la fase “evalúa” se desarrolla una prueba estandarizada para medir el nivel de conocimientos alcanzado en cada módulo.
Instrumentos de recogida de información y participantes
Al iniciar el curso, a través de un módulo de presentación, se ha difundido una encuesta de caracterización permitiendo conocer el perfil sociodemográfico y educativo de la población inscrita en el curso y en el módulo final, tomando como referencia el modelo de calidad de los sistemas de información de DeLone y McLean (1992DeLone, W. H. y McLean, E. R. (1992). Information systems success: the quest for the dependent variable. Information Systems Research, 3(1), 60-95. https://doi.org/10.1287/isre.3.1.60, 2003DeLone, W. H. y McLean, E. R. (2003). The DeLone and McLean model of information systems success: a ten-year update. Journal of Management Information Systems, 19(4), 9-30. https://doi.org/10.1080/07421222.2003.11045748) y las aportaciones posteriores de los trabajos realizados por Baldomero et al. (2018Baldomero, M., Vázquez-Cano, E. y Belando-Montoro, M. (2018). Diseño de un modelo de evaluación de la calidad de los cursos MOOC mediante lógica difusa. Revista Electrónica de Investigación Educativa, 20(4), 72-85. https://doi.org/10.24320/redie.2018.20.4.1663), Salam y Farooq (2020Salam, M. y Farooq, M. S. (2020). Does sociability quality of web-based collaborative learning information system influence students’ satisfaction and system usage? International Journal of Educational Technology in Higher Education, 17(1), 1-39. https://doi.org/10.1186/s41239-020-00189-z) o Zou et al. (2021Zou, W., Hu, X., Pan, Z., Li, C., Cai, Y. y Liu, M. (2021). Exploring the relationship between social presence and learners’ prestige in MOOC discussion forums using automated content analysis and social network analysis. Computers in Human Behavior, 115. https://doi.org/10.1016/j.chb.2020.106582), entre otros, se ha diseñado una encuesta con 17 preguntas, de las cuales las 16 primeras (tabla 1) se obtuvieron con base en una escala Likert de 1 a 5, siendo 1 “totalmente en desacuerdo” y 5 “totalmente de acuerdo”, mientras que la última pregunta enunciada como “qué mejorarías del curso” es una pregunta abierta y voluntaria donde los estudiantes pueden expresar libremente mejoras que implementar en este tipo de cursos.
Ambos instrumentos fueron difundidos a través de la plataforma MiriadaX a lo largo de las dos ediciones realizadas del curso en abril 2020 (1.a edición) y octubre 2020 (2.a edición), y se informó a los estudiantes del uso anonimizado de estos datos para efectos de investigación. De los 1.711 inscritos en el curso, 1.041 respondieron a la encuesta de caracterización y 905 a la de valoración del curso, coincidiendo con el 53% que finalizaron la acción formativa en su totalidad. Para el estudio se ha realizado un muestreo no probabilístico intencional seleccionando, de entre todos los que respondieron la encuesta de valoración, los 309 casos donde se hizo de manera completa tanto en la escala de Likert como en la pregunta abierta.
| Tabla 1. Variables de estudio | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Enfoque de la investigación
La mayoría de los estudios desarrollados sobre la valoración de los estudiantes con su curso de formación, material o programa lo hacen a través de un método directo que evalúa la satisfacción expresada con base en categorías de respuesta previstas en términos de “buena”, “regular” o “mala” a través de ítems cerrados por medio de una escala de Likert. Sin embargo, esta metodología de análisis puede contener vacíos sobre la percepción y sensaciones que los estudiantes advierten cuando desarrollan su experiencia de aprendizaje. Por esta razón, este estudio parte de un modelo mixto a través del uso de métodos multivariados como el de ecuaciones estructurales (SEM), empleado anteriormente por autores como Mustafá et al. (2020Mustafá, S. Z., Kar, A. K. y Janssen, M. F. W. H. A. (2020). Understanding the impact of digital service failure on users: integrating Tan’s failure and DeLone and McLean’s success model. International Journal of Information Management, 53, 102-119. https://doi.org/10.1016/j.ijinfomgt.2020.102119) o Salam y Farooq (2020Salam, M. y Farooq, M. S. (2020). Does sociability quality of web-based collaborative learning information system influence students’ satisfaction and system usage? International Journal of Educational Technology in Higher Education, 17(1), 1-39. https://doi.org/10.1186/s41239-020-00189-z), Segovia-García y Said-Hung (2021Segovia-García, N. y Said-Hung, E. M. (2021). Factores de satisfacción de los alumnos en e-learning en Colombia. Revista Mexicana de Investigación Educativa, 26(89), 595-621. https://cutt.ly/LbUPghi ), entre otros, que permite analizar las relaciones existentes entre variables representadas por sistemas de ecuaciones simultáneas. Pero, por otra parte, se va a tener en cuenta la metodología de análisis de contenido para estudiar y analizar las opiniones recogidas por los estudiantes que han finalizado los cursos MOOC.
A través del SEM se analizará la valoración de los estudiantes con el diseño de curso desarrollado estudiando la asociación causal entre las variables y su direccionalidad (Ruiz et al., 2010Ruiz, M. A., Pardo, A. y San Martín, R. (2010). Modelos de ecuaciones estructurales. Papeles del Psicólogo, 3(1), 34-45. https://cutt.ly/Iy9c9k7). Y con el análisis de contenido se va a poder conocer de forma manifiesta y latente las demandas que están expresando los estudiantes sobre los cursos MOOC y que contribuirían a mejorar la calidad de estos (Mayring, 2000Mayring, P. (2000). Qualitative content analysis. Forum Qualitative Social Research, 1, 1-10. https://doi.org/10.17169/fqs-1.2.1089).
Perfil de los inscritos
El análisis descriptivo de los datos determina un 52% de población femenina frente al 48% de hombres. Estudiantes en su mayoría adultos (el 57% es mayor de 35 años) que poseen estudios superiores (60%) o de posgrado (29%) en áreas de ciencias económicas y jurídicas (35%), humanidades (12%) y ciencias sociales (11%). El 78% de los estudiantes inscritos en el MOOC se encuentran activos laboralmente y abordan esta formación por un interés personal en el tema (51%) o con objeto de mejorar la cualificación profesional en su sector (34%).
A nivel geográfico se percibe una alta dispersión de los estudiantes, destacando que el 61% de los inscritos provienen de la región de América Latina y el Caribe, sobre todo de Perú (16%), México (11%), Colombia (10%) y Venezuela (7%), y el resto de Europa, con una importante representación de españoles (34%).
Medición de la satisfacción
Como primer paso para comenzar el análisis de los datos se ha determinado la fiabilidad del instrumento de recogida de datos con α de Cronbach de .923, pudiendo confirmar la bondad de esta herramienta para el propósito establecido. Antes de realizar el modelo estructural, se hizo un análisis de componentes principales con rotación Varimax, el cual permitió relacionar variables latentes con variables observadas. Para corroborar la validez de la matriz de datos empleada se ha recurrido a la prueba de esfericidad de Bartlett con un valor de .000 y el índice de Kaiser-Meyer-Olkin de adecuación de muestreo con un valor de .921 que corroboran la validez de realizar el análisis factorial de acuerdo con la matriz de datos bajo estudio (tabla 2).
| Tabla 2. Matriz de componente rotado Varimax con normalización Kaiser | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
El análisis factorial arroja una matriz con 3 componentes que constituyen el 65.5% de la varianza total explicada, donde:
A partir de estos factores se construye el modelo de ecuaciones, descartando aquellas variables con un valor p < .70, siempre y cuando cada constructo quede representado por al menos 3 variables (Ruiz et al., 2010Ruiz, M. A., Pardo, A. y San Martín, R. (2010). Modelos de ecuaciones estructurales. Papeles del Psicólogo, 3(1), 34-45. https://cutt.ly/Iy9c9k7) y aquellas que contengan los errores estándar más elevados. Teniendo en cuenta estas condiciones, se elimina del modelo el factor 3 al contar únicamente con 2 variables. Y tomando como base la argumentación teórica sobre la que se sustenta este trabajo se ha realizado un cambio en los factores que atiende a la optimización y mejora de este modelo explicativo (Luque, 2012Luque, T. (2012). Técnicas de análisis de datos en investigación de mercados. Pirámide.), identificando la variable CI3 (contenido: utilidad/actualidad) con el factor 2, referente al diseño del aprendizaje. Con estos ajustes se ha logrado obtener un modelo óptimo que permite explicar la valoración de los estudiantes desde el análisis de las relaciones causales de las variables que hacen parte de los factores que integran este modelo (figura 1).
Los valores recogidos en esta tabla 3 permiten advertir la bondad del modelo propuesto al encontrar óptimas medidas de ajuste en los valores del error cuadrático medio de aproximación por grado de libertad (RMSEA), que se encuentra en los intervalos de ajuste aceptables identificados por autores como Ruiz et al. (2010Ruiz, M. A., Pardo, A. y San Martín, R. (2010). Modelos de ecuaciones estructurales. Papeles del Psicólogo, 3(1), 34-45. https://cutt.ly/Iy9c9k7) entre .05 y hasta .08, la discrepancia/grados de libertad (CMIN), o los valores del índice de forma comparativa (CFI), el coeficiente de Tucker-Lewis (TLI) y el índice de ajuste normado (NFI).
| Tabla 3. Medidas de ajuste del modelo estructural | |||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
La figura 1 representa el modelo explicativo que condiciona la valoración positiva que los estudiantes del curso MOOC han expresado. Se observa una fuerte correlación entre el factor 1 (empleabilidad de la acción formativa) y el factor 2 (diseño del aprendizaje), determinando la dependencia que se genera entre las variables que lo componen. Esta correlación permite advertir cómo un cambio en el diseño del aprendizaje en cuanto a mejora de la claridad y utilidad de los materiales con los que se trabaja, la mejora en la claridad expositiva del docente en los vídeos empleados y el conocimiento de este para guiar la acción formativa pueden aumentar de manera importante la calidad percibida sobre la utilidad y aplicabilidad del curso, así como la satisfacción de los estudiantes que se han inscrito.
|
Figura 1. Modelo estructural ajustado a través del método de máxima verosimilitud |
En el factor 1 es posible encontrar representadas dos de las dimensiones señaladas por DeLone y McLean (1992DeLone, W. H. y McLean, E. R. (1992). Information systems success: the quest for the dependent variable. Information Systems Research, 3(1), 60-95. https://doi.org/10.1287/isre.3.1.60, 2003DeLone, W. H. y McLean, E. R. (2003). The DeLone and McLean model of information systems success: a ten-year update. Journal of Management Information Systems, 19(4), 9-30. https://doi.org/10.1080/07421222.2003.11045748) y Baldomero et al. (2018Baldomero, M., Vázquez-Cano, E. y Belando-Montoro, M. (2018). Diseño de un modelo de evaluación de la calidad de los cursos MOOC mediante lógica difusa. Revista Electrónica de Investigación Educativa, 20(4), 72-85. https://doi.org/10.24320/redie.2018.20.4.1663) en cuanto a la satisfacción y los beneficios generados por la acción formativa, especialmente la referente al reconocimiento de la formación para la empleabilidad y sobre la que es posible apreciar la importancia que adquieren estas variables en los pesos recogidos en la tabla 4.
En el factor 2 se encuentran tres elementos que condicionan la valoración que los estudiantes realizan del curso MOOC: 1) la claridad y utilidad del contenido propuesto en el curso, 2) la importancia de los vídeos como medio para apoyar la adquisición del conocimiento y 3) el conocimiento del docente sobre el tema trabajado, tal como se aprecia en la tabla 4. Estas tres variables y su significativa presencia en el modelo permiten advertir la importancia generada por los usuarios sobre la calidad de la información distribuida en el curso de formación y la calidad del servicio ofrecido por los docentes en cuanto a su conocimiento sobre la materia impartida, y revelan cuáles son las dimensiones valoradas por los estudiantes cuando se enfrentan al desarrollo de un curso MOOC como el presentado en este trabajo.
| Tabla 4. Pesos de cada factor según componente identificado en análisis factorial realizado | ||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||
Elementos de mejora en los cursos MOOC
Una vez analizados los factores que determinan la valoración general de los estudiantes en el curso MOOC, es necesario concretar cuáles son los aspectos que requieren una mejora o transformación. Para este análisis se recurrirá a las respuestas obtenidas en la pregunta abierta del cuestionario y se identificará cada respuesta individual con una unidad de contenido. Posteriormente se comenzará un análisis previo para establecer reglas de análisis y códigos de clasificación que permitirán agrupar contenidos que guarden una relación suficiente para ser considerados similares (Morris, 1994Morris, R. (1994). Computerized content analysis in management research: a demonstration of advantages & limitations. Journal of Management, 20(4), 903-931. https://doi.org/10.1016/0149-2063(94)90035-3).
En cuanto al análisis de contenido realizado se han identificado 15 diferentes códigos de tipo explicativo, posibilitando la enunciación de 5 categorías que organizan de forma definitiva la información (Hernández, 1994) y que permitirán analizar la convergencia entre las diferentes fuentes de información a partir de una triangulación de datos. Las categorías identificadas han sido: 1) calidad del servicio, 2) calidad de la información, 3) calidad del sistema, 4) calidad de las interacciones y 5) impacto de la actividad a nivel de empleabilidad individual y organizativa (figura 1).
|
Figura 2. Red de códigos y categorías |
Es importante destacar que el nodo que mayor codificación ha generado, y por tanto adquiere una mayor importancia a la hora de determinar la valoración que los estudiantes realizan sobre la metodología y los materiales empleados en el curso, es el que hace referencia al “aprendizaje práctico”, con 160 referencias registradas. Después de este nodo que genera las relaciones más intensas se encuentran otros también representativos como “mayor profundidad” (42 referencias), “material adicional” (35 referencias) o la referente a la “interacción activa” (36 referencias).
Este nodo de “aplicación práctica” responde a la demanda de los usuarios que reclaman una mayor afinidad del contenido trabajado en el curso con la aplicación a situaciones reales vinculadas al ámbito empresarial, coincidiendo con lo ya encontrado en el modelo SEM en cuanto a la aplicabilidad (BN1). En este sentido, algunas de las respuestas de los alumnos destacan la importancia que se da a la empleabilidad de estos contenidos como un elemento que determina la calidad de la acción formativa impartida:
Quería ver un ejemplo práctico del Design Thinking aplicado en todas sus fases y un vídeo que acompañe cada módulo, o sea, la gente real que participa crea ideas, prototipos, reflexiona, selecciona, comunica y presenta sus prototipos a los usuarios etc.
Sería ideal añadir un caso práctico real en el proceso de aplicación de cada una de las fases de Design Thinking.
La aplicación práctica demandada por los estudiantes coocurre con otras, como la necesidad de ofrecer contenidos que profundicen más en las áreas temáticas planteadas en el curso, así como la necesidad de ofrecer material adicional e intensificar el intercambio entre docentes y compañeros (tabla 5), coincidiendo con el factor CI3 analizado en el modelo de ecuaciones estructurales.
| Tabla 5. Coocurrencia de códigos | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Que el docente sea más dinámico al realizar las explicaciones, más activo al hablar y complementar con ejemplos lo que podemos leer en las lecturas.
Un feedback del/de la profesor/a en el foro, a las propuestas que se hacen. Enriquecería mucho las propuestas de los participantes.
Una interacción que es demandada a través de encuentros síncronos diferentes al establecido en el curso por medio de foros de debate que agilicen la manera en cómo se relacionan el profesor y compañeros:
Tal vez sería bueno programar también algunos encuentros virtuales en vivo (diferente a los foros), para complementar, resolver dudas e interactuar tanto con el docente como con los demás participantes.
Agregaría alguna clase en vivo para analizar casos actuales (COVID).
En esta tabla de coocurrencias (tabla 5) es posible percibir cómo los estudiantes reclaman mejoras en materiales como los vídeos que aporten mayor interacción y dinamismo a la acción formativa:
Los vídeos deberían ser más a menos, menos monótonos. Están bien para quien esté muy interesado de antemano, pero quizá mejorables para motivar a los alumnos.
Los vídeos podrían ser más didácticos visualmente hablando. El voice in off está bien.
Y finalmente se reclama una mayor profundidad en el curso, requiriendo ampliar el tiempo de esta acción formativa.
Este estudio ha permitido conocer las fortalezas y debilidades del diseño de un curso MOOC a través de la valoración de los estudiantes que han interaccionado con los materiales, la metodología y el docente propuesto para la acción formativa, complementando lo ya trabajado por estudios como los desarrollados por Baldomero et al. (2018Baldomero, M., Vázquez-Cano, E. y Belando-Montoro, M. (2018). Diseño de un modelo de evaluación de la calidad de los cursos MOOC mediante lógica difusa. Revista Electrónica de Investigación Educativa, 20(4), 72-85. https://doi.org/10.24320/redie.2018.20.4.1663), a través del modelo de evaluación mediante lógica difusa, por Moore y Wang (2020Moore, R. L. y Wang, C. (2020). Influence of learner motivational dispositions on MOOC completion. Journal of Computing in Higher Education, 1-14.), más centrados en el análisis motivacional de los estudiantes, o los estudios desarrollados por Wan Ab Rahman et al. (2020Wan-Ab-Rahman, W. N., Zulzalil, H., Ishak, I. y Selamat, A. W. (2020). Quality model for Massive Open Online Course (MOOC) web content. International Journal on Advanced Science, Engineering and Information Technology, 10(1), 24. https://doi.org/10.18517/ijaseit.10.1.10192), que se centran en la calidad de los contenidos a través del modelo de las 7´C.
En general, el modelo indica que la calidad de la acción planificada cumple con las expectativas de los estudiantes inscritos, registrando una alta satisfacción y percepción del beneficio generado por el curso, lo que responde a una correcta planificación del diseño seguido, según lo orientado por Segovia-García y Orellana (2020Segovia-García, N. y Orellana, D. (2020). Calidad de diseño instruccional de cursos MOOC: principales retos. En Docencia 2.0 y 3.0. Tirant.), de una adecuada selección de la temática, teniendo en cuenta que sea de alto impacto e interés actual como es el Design Thinking, junto con un diseño metodológico orientado a la interacción y compartición de ideas y experiencias a través del foro de debate.
Pese a estos datos, que permiten valorar la pertinencia del diseño y contenido propuestos, los resultados alcanzados reclaman la necesidad de reforzar el sentido práctico de estos cursos, orientándolos hacia una empleabilidad de los aprendizajes a partir de un diseño innovador que responda a las necesidades de los alumnos, tal como defienden Liu et al. (2019Liu, M., Zou, W., Shi, Y., Pan, Z. y Li, C. (2019). What do participants think of today’s MOOCs: an updated look at the benefits and challenges of MOOCs designed for working professionals. Journal of Computing in Higher Education, 32(2), 307-329. https://doi.org/10.1007/s12528-019-09234-x). En este sentido, aprovechar las ventajas de la tecnología y tomar como base los principios del Diseño Universal de Aprendizaje (DUA) (Al-Azawei et al., 2017Al-Azawei, A., Parslow, P. y Lundqvist, K. (2017). The effect of Universal Design for Learning (UDL) application on e-learning acceptance: a structural equation model. International Review of Research in Open and Distributed Learning, 18(8), 54-87. https://cutt.ly/dy9Hz1w) facilitaría la puesta en marcha de diferentes alternativas de acceso al conocimiento y permitiría a los alumnos definir el grado de implicación que desean establecer con el curso, pudiendo adoptar incluso el rol de creador de recursos, ideas y soluciones, tal como abogan Abdi et al. (2021Abdi, S., Khosravi, H., Sadiq, S. y Darvishi, A. (2021). Open learner models for multi-activity educational systems. Lecture Notes in Computer Science, 11-17. https://doi.org/10.1007/978-3-030-78270-2_2) o Singh et al. (2021Singh, A., Brooks, C., Lin, Y. y Li, W. (2021). What’s in it for the learners? Evidence from a randomized field experiment on learnersourcing questions in a MOOC. Proceedings of the Eighth ACM Conference on Learning @ Scale. https://doi.org/10.1145/3430895.3460142), entre otros.
Lo anterior permite advertir la necesidad de evolucionar a formatos de aprendizaje desvinculados de los clásicos xMOOC cerrados, estructurados y lineales, donde se ofrece un contenido teórico a través de vídeos o materiales complementarios y se evalúa con base en pruebas estandarizadas que se apartan del objetivo principal de los MOOC para democratizar el aprendizaje. Se debería avanzar hacia formatos activos e innovadores como son los Transfer MOOC, diseñados sobre una base metodológica constructivista que toma como eje de partida la acción y transferencia profesional (Osuna-Acedo et al., 2018Osuna-Acedo, S., Marta-Lazo, C. y Frau-Meigs, D. (2018). From sMOOC to tMOOC, learning towards professional transference. ECO European Project. Comunicar, 26(55), 105-114. https://doi. org/10.3916/c55-2018-10.), teniendo muy presente la necesidad de diseñar materiales con un alto componente didáctico (Jansen et al., 2020Jansen, R. S., Van Leeuwen, A., Janssen, J., Conijn, R. y Kester, L. (2020). Supporting learners’ self-regulated learning in Massive Open Online Courses. Computers & Education, 146, 103771.) a través de contenidos prácticos y recursos significativos para los estudiantes (Howarth et al., 2016Howarth, J. P., D’Alessandro, S., Johnson, L. y White, L. (2016). Learner motivation for MOOC registration and the role of MOOCs as a university “taster”. International Journal of Lifelong Education, 35(1), 74-85. https://doi-org.ezproxy.uned.es/10.1080/02601370.2015.1122667; Lan y Hew, 2020Lan, M. y Hew, K. F. (2020). Examining learning engagement in MOOCs: a self-determination theoretical perspective using mixed method. International Journal of Educational Technology in Higher Education, 17(1), 1-24. https://doi.org/10.1186/s41239-020-0179-5).
El cambio en el planteamiento de los MOOC, que se infiere de lo expuesto hasta este momento, abre las puertas a nuevos enfoques de diseño, como el crowdsourcing defendido por Van Rosmalen et al. (2017Van Rosmalen, P., Kasch, J., Kalz, M., Firssova, O. y Brouns, F. (2017). Towards “MOOCs with a purpose”: crowdsourcing and analysing scalable design solutions with MOOC learners. Data Driven Approaches in Digital Education, 486-491. https://doi.org/10.1007/978-3-319-66610-5_47), y que apuesta por un diálogo colaborativo y abierto donde tanto estudiantes como docentes tengan la oportunidad de aportar su conocimiento y compartirlo. Estrategias que podrían ser adecuadas para, a través de esta inteligencia colectiva, evolucionar hacia espacios de trabajo innovadores y más complejos donde cada estudiante, en función de sus expectativas o intereses, pueda participar de manera activa.
Como cierre hay que señalar que la política de privacidad de la plataforma ha impedido establecer una asociación entre los datos sociodemográficos y educativos de los inscritos y las valoraciones emitidas al final del curso limitando la posibilidad de extraer factores asociados a esta satisfacción y motivación de los estudiantes. Investigaciones futuras podrían tratar de trabajar con esta información profundizando en la comprensión de los patrones de participación de los alumnos en los MOOC y orientando el desarrollo de mecanismos de aprendizaje adaptativos y específicos, tal como han contemplado Henderikx et al. (2017Henderikx, M. A., Kreijns, K. y Kalz, M. (2017). Refining success and dropout in massive open online courses based on the intention-behavior gap. Distance Education, 38(3), 353-368. https://doi.org/10.1080/01587919.2017.1369006).
| ○ | Abdi, S., Khosravi, H., Sadiq, S. y Darvishi, A. (2021). Open learner models for multi-activity educational systems. Lecture Notes in Computer Science, 11-17. https://doi.org/10.1007/978-3-030-78270-2_2 |
| ○ | Al-Azawei, A., Parslow, P. y Lundqvist, K. (2017). The effect of Universal Design for Learning (UDL) application on e-learning acceptance: a structural equation model. International Review of Research in Open and Distributed Learning, 18(8), 54-87. https://cutt.ly/dy9Hz1w |
| ○ | Aldholay, A., Isaac, O., Abdullah, Z., Abdulsalam, R. y Al-Shibami, A. H. (2018). An extension of DeLone and McLean IS success model with self-efficacy. The International Journal of Information and Learning Technology, 35(4), 285-304. https://doi.org/10.1108/ijilt-11-2017-0116 |
| ○ | Al-Fraihat, D., Joy, M., Masa’deh, R. y Sinclair, J. (2020). Evaluating e-learning systems success: an empirical study. Computers in Human Behavior, 102, 67-86. https://doi.org/10.1016/j.chb.2019.08.004 |
| ○ | Al-Samarraie, H., Teng, B. K., Alzahrani, A. I. y Alalwan, N. (2017). E-learning continuance satisfaction in higher education: a unified perspective from instructors and students. Studies in Higher Education, 43(11), 2003-2019. https://doi.org/10.1080/03075079.2017.1298088 |
| ○ | Aparicio, M., Bacao, F. y Oliveira, T. (2016). An e-learning theoretical framework. Educational Technology & Society, 19(1), 292-307. https://www.jstor.org/stable/jeductechsoci.19.1.292 |
| ○ | Asociación Española de Normalización y Certificación (2012). Norma UNE 66181:2012 Gestión de la calidad. Calidad de la Formación Virtual. AENOR. |
| ○ | Baldomero, M., Vázquez-Cano, E. y Belando-Montoro, M. (2018). Diseño de un modelo de evaluación de la calidad de los cursos MOOC mediante lógica difusa. Revista Electrónica de Investigación Educativa, 20(4), 72-85. https://doi.org/10.24320/redie.2018.20.4.1663 |
| ○ | Bartolomé-Pina, A. R. y Steffens, K. (2015). Are MOOCs promising learning environments? Comunicar, 22(44), 91-99. https://doi.org/10.3916/c44-2015-10 |
| ○ | Bezerra, L. N. M. y Da Silva, M. T. (2017). A review of literature on the reasons that cause the high dropout rates in the MOOCS. Espacios, 38(5), 11-25. https://cutt.ly/qEOaUoQ |
| ○ | Brooker, A., Corrin, L., De Barba, P. G., Lodge, J. y Kennedy, G. (2018). A tale of two MOOCs: how student motivation and participation predict learning outcomes in different MOOCs. Australasian Journal of Educational Technology, 34(1), 73-87. https://doi-org.ezproxy.uned.es/10.14742/ajet.3237 |
| ○ | Chai, Y., Lei, C. U., Hu, X. y Kwok, Y. K. (2018). WPSS. Proceedings of the Fifth Annual ACM Conference on Learning at Scale. https://doi.org/10.1145/3231644.3231687 |
| ○ | Cristea, A. I., Alamri, A., Kayama, M., Stewart, C., Alshehri, M. y Shi, L. (2018). Earliest predictor of dropout in MOOCs: a longitudinal study of futureLearn courses. 27th International Conference on Information Systems Development (ISD). |
| ○ | DeLone, W. H. y McLean, E. R. (1992). Information systems success: the quest for the dependent variable. Information Systems Research, 3(1), 60-95. https://doi.org/10.1287/isre.3.1.60 |
| ○ | DeLone, W. H. y McLean, E. R. (2003). The DeLone and McLean model of information systems success: a ten-year update. Journal of Management Information Systems, 19(4), 9-30. https://doi.org/10.1080/07421222.2003.11045748 |
| ○ | Dillahunt, T., Wang, Z. y Teasley, S. D. (2015). Democratizing Higher Education: exploring MOOC use among those who cannot afford a formal education. The International Review of Research in Open and Distance Learning, 15(5), 177-196. https://files.eric.ed.gov/fulltext/EJ1045991.pdf |
| ○ | European Foundation for Quality in E-Learning (EFQUEL) (2011). European Universities Quality in e-Learning. UNIQUe. http://bit.ly/2vNrRNG |
| ○ | Henderikx, M. A., Kreijns, K. y Kalz, M. (2017). Refining success and dropout in massive open online courses based on the intention-behavior gap. Distance Education, 38(3), 353-368. https://doi.org/10.1080/01587919.2017.1369006 |
| ○ | Hernández, R., Fernández, C. y Baptista, P. (2003). Metodología de la investigación. McGraw-Hill. |
| ○ | Howarth, J. P., D’Alessandro, S., Johnson, L. y White, L. (2016). Learner motivation for MOOC registration and the role of MOOCs as a university “taster”. International Journal of Lifelong Education, 35(1), 74-85. https://doi-org.ezproxy.uned.es/10.1080/02601370.2015.1122667 |
| ○ | Jacobsen, D. Y. (2019). Dropping out or dropping in? A connectivist approach to understanding participants’ strategies in an e-learning MOOC pilot. Technology, Knowledge and Learning, 24(1), 1-21. https://doi.org/10.1007/s10758-017-9298-z |
| ○ | Jansen, R. S., Van Leeuwen, A., Janssen, J., Conijn, R. y Kester, L. (2020). Supporting learners’ self-regulated learning in Massive Open Online Courses. Computers & Education, 146, 103771. |
| ○ | Kang, I. G. (2020). Heterogeneity of learners’ behavioral patterns of watching videos and completing assessments in Massive Open Online Courses (MOOCs): a latent class analysis. The International Review of Research in Open and Distributed Learning, 21(4), 222-237. https://doi.org/10.19173/irrodl.v21i4.4645 |
| ○ | Lan, M. y Hew, K. F. (2020). Examining learning engagement in MOOCs: a self-determination theoretical perspective using mixed method. International Journal of Educational Technology in Higher Education, 17(1), 1-24. https://doi.org/10.1186/s41239-020-0179-5 |
| ○ | Liu, M., Zou, W., Shi, Y., Pan, Z. y Li, C. (2019). What do participants think of today’s MOOCs: an updated look at the benefits and challenges of MOOCs designed for working professionals. Journal of Computing in Higher Education, 32(2), 307-329. https://doi.org/10.1007/s12528-019-09234-x |
| ○ | Luque, T. (2012). Técnicas de análisis de datos en investigación de mercados. Pirámide. |
| ○ | Marcinkowski, M. y Fonseca, F. (2015). Understanding concepts and values for the future of online education through the practice of design. En Conference 2015 Proceedings. http://hdl.handle.net/2142/73660 |
| ○ | Maya-Jariego, I., Holgado, D., González-Tinoco, E., Castaño-Muñoz, Y. y Punie, Y. (2020). Typology of motivation and learning intentions of users in MOOCs: the MOOCKNOWLEDGE study. Educational Technology Research and Development, 68(1), 203-224. |
| ○ | Mayring, P. (2000). Qualitative content analysis. Forum Qualitative Social Research, 1, 1-10. https://doi.org/10.17169/fqs-1.2.1089 |
| ○ | Moore, R. L. y Wang, C. (2020). Influence of learner motivational dispositions on MOOC completion. Journal of Computing in Higher Education, 1-14. |
| ○ | Morris, R. (1994). Computerized content analysis in management research: a demonstration of advantages & limitations. Journal of Management, 20(4), 903-931. https://doi.org/10.1016/0149-2063(94)90035-3 |
| ○ | Mustafá, S. Z., Kar, A. K. y Janssen, M. F. W. H. A. (2020). Understanding the impact of digital service failure on users: integrating Tan’s failure and DeLone and McLean’s success model. International Journal of Information Management, 53, 102-119. https://doi.org/10.1016/j.ijinfomgt.2020.102119 |
| ○ | Niu, Z., Li, W., Yan, X. y Wu, N. (2018). Exploring causes for the dropout on Massive Open Online Courses. Proceedings of ACM Turing Celebration Conference, 47-52. |
| ○ | Oh, E. G., Chang, Y. y Park, S. W. (2019). Design review of MOOCs: application of e-learning design principles. Journal of Computing in Higher Education, 32(3), 455-475. https://doi.org/10.1007/s12528-019-09243-w |
| ○ | Online Learning Consortium (s. f.). Quality Framework - OLC. http://bit.ly/2uYDotb |
| ○ | Osuna-Acedo, S., Marta-Lazo, C. y Frau-Meigs, D. (2018). From sMOOC to tMOOC, learning towards professional transference. ECO European Project. Comunicar, 26(55), 105-114. https://doi.org/10.3916/c55-2018-10. |
| ○ | Ruiz, M. A., Pardo, A. y San Martín, R. (2010). Modelos de ecuaciones estructurales. Papeles del Psicólogo, 3(1), 34-45. https://cutt.ly/Iy9c9k7 |
| ○ | Salam, M. y Farooq, M. S. (2020). Does sociability quality of web-based collaborative learning information system influence students’ satisfaction and system usage? International Journal of Educational Technology in Higher Education, 17(1), 1-39. https://doi.org/10.1186/s41239-020-00189-z |
| ○ | Segovia-García, N. y Orellana, D. (2020). Calidad de diseño instruccional de cursos MOOC: principales retos. En Docencia 2.0 y 3.0. Tirant. |
| ○ | Segovia-García, N. y Said-Hung, E. M. (2021). Factores de satisfacción de los alumnos en e-learning en Colombia. Revista Mexicana de Investigación Educativa, 26(89), 595-621. https://cutt.ly/LbUPghi |
| ○ | Shah, D. (2021). The second year of the MOOC: a review of MOOC stats and trends in 2020. Class Central. https://www.classcentral.com/report/the-second-year-of-the-mooc/ |
| ○ | Singh, A., Brooks, C., Lin, Y. y Li, W. (2021). What’s in it for the learners? Evidence from a randomized field experiment on learnersourcing questions in a MOOC. Proceedings of the Eighth ACM Conference on Learning @ Scale. https://doi.org/10.1145/3430895.3460142 |
| ○ | Van Rosmalen, P., Kasch, J., Kalz, M., Firssova, O. y Brouns, F. (2017). Towards “MOOCs with a purpose”: crowdsourcing and analysing scalable design solutions with MOOC learners. Data Driven Approaches in Digital Education, 486-491. https://doi.org/10.1007/978-3-319-66610-5_47 |
| ○ | Wan-Ab-Rahman, W. N., Zulzalil, H., Ishak, I. y Selamat, A. W. (2020). Quality model for Massive Open Online Course (MOOC) web content. International Journal on Advanced Science, Engineering and Information Technology, 10(1), 24. https://doi.org/10.18517/ijaseit.10.1.10192 |
| ○ | Watts, J. (2019). Assessing an online student orientation: impacts on retention, satisfaction, and student learning. Technical Communication Quarterly, 28(3), 254-270. https://doi.org/10.1080/10572252.2019.1607905 |
| ○ | Young, S. (2018). From disruption to innovation: thoughts on the future of MOOCs. Voprosy obrazovaniya / Educational Studies Moscow, 4, 21-43. https://doi.org/10.17323/1814-9545-2018-4-21-43 |
| ○ | Zhu, M., Sari, A. y Lee, M. M. (2018). A systematic review of research methods and topics of the empirical MOOC literature (2014-2016). The Internet and Higher Education, 37, 31-39. https://doi.org/110.1016/j.iheduc.2018.01.002 |
| ○ | Zou, W., Hu, X., Pan, Z., Li, C., Cai, Y. y Liu, M. (2021). Exploring the relationship between social presence and learners’ prestige in MOOC discussion forums using automated content analysis and social network analysis. Computers in Human Behavior, 115. https://doi.org/10.1016/j.chb.2020.106582 |
Quality criteria of a Massive Open Online Course (MOOC) based on students’ assessment
INTRODUCTION. The increasing interest in open and distance learning of recent years has meant that students from all over the world can access and learn through free courses online offered from well-known universities. However, despite the potential benefits of MOOCs, their dropout rates are very high and their general quality is questionable and currently under lively debate. The aim of this study is to find out what students think once they have finished their MOOCs and to detect possible areas for improvement quality. METHOD. Based on the analysis of different useful tools for measuring the quality of information systems, such as the DeLone and McLean model, a survey was designed, with 16 closed- questions using 5-point Likert scales and an open-ended question. A total of 309 persons answered the survey and a mixed model based on structural equations model (SEM) was used to analyze quantitative data and a content analysis as a qualitative method. RESULTS. The assessment highlights the importance of factors that have a direct impact on the student´s perception of the quality of the service provided and the quality of the information provided. Qualitative analyses of student responses revealed the importance of practical content. DISCUSSION. These results corroborate the findings of a great deal of the previous work in which concluded that was necessary development and dissemination of more active methodological models based on practice and professional development. In addition, there is a need to strengthen the efficiency and the quality of information, providing additional course resources and offering practical activities in which examples of application of the content are stated.
Keywords: Online courses, Open education, Educational quality, Dropout rate, Instructional design, Course content.
Critères de qualité d’un MOOC basés sur l’évaluation des étudiants
INTRODUCTION. Au cours des dernières années, l’intérêt croissant pour l’enseignement ouvert et à distance a facilité aux étudiants du monde entier l’accès à des cours en ligne gratuits proposés par des universités de prestige en promouvant l’apprentissage. Cependant, malgré les avantages potentiels des MOOC, le taux d’abandon universitaire est très élevé et la qualité globale des enseignements est discutable, ce qui fait actuellement l’objet d’un débat intense. L’objectif de cette étude est de savoir ce que les étudiants pensent des MOOC après les avoir terminés et de détecter les améliorations qui permettront d’améliorer la qualité des cours. MÉTHODE. Sur la base de l’analyse de différents outils de mesure de la qualité des systèmes d’information, tels que le modèle de DeLone et McLean, une enquête a été conçue contenant 16 questions fermées basées sur une échelle de Likert en 5 points et une question ouverte. Un total de 309 réponses d’étudiants a été obtenu. Une méthodologie d’analyse mixte utilisant la modélisation par équations structurelles (SEM) a été utilisée pour interpréter les données quantitatives et comme méthode qualitative l’analyse de contenu a été mobilisé. RÉSULTATS. L’évaluation met en évidence l’importance des facteurs qui influent directement sur la perception de l’étudiant sur la qualité du service et de l’information fournis. L’analyse qualitative a révélé l’importance que les étudiants attachent aux contenus de type pratique. DISCUSSION. Ces résultats corroborent les conclusions d’une grande partie des travaux antérieurs identifiant la nécessité de développer et de diffuser des modèles méthodologiques plus actifs basés sur la pratique et le développement professionnel. En outre, il est nécessaire de renforcer l’efficacité et la qualité de l’information en fournissant des ressources supplémentaires pour les cours et en proposant des activités pratiques où des exemples d’application des contenus soient présentés.
Mots-clés : Cours en ligne, Education ouverte, Qualité de l’éducation, Taux d’abandon, Conception pédagogique, Contenu du cours.
Nuria Segovia-García
Doctora en Modelos Didácticos y Tecnología de la Información y Comunicación por la Universidad Internacional de La Rioja y licenciada en Pedagogía por la Universidad de Salamanca. Directora de Tecnología Educativa de la Red Internacional de Universidades Virtuales, Red Summa e investigadora del grupo Sinergia Digit@l reconocido por Colciencias. Docente en la Corporación Universitaria de Asturias, Summa University y el Instituto Europeo de Posgrado, donde además dirige el Máster en Educación y Desarrollo Digital Pedagógico.
Código ORCID: https://orcid.org/0000-0003-4329-0987
Correo electrónico de contacto: tecnologia.ns@iep.edu.es
Dirección para la correspondencia: C/ Río Ebro, 16, 10 C. 28935, Móstoles, Madrid.