TRADUCCIÓN Y VALIDACIÓN DE LA ESCALA DE EVALUACIÓN DE EXPERIENCIAS GAMIFICADAS (GAMEX)
Translation and validation of the Gameful Experience Scale (GAMEX)

Mª ELENA PARRA-GONZÁLEZ Y ADRIÁN SEGURA-ROBLES
Universidad de Granada (España)

DOI: 10.13042/Bordon.2019.70783
Fecha de recepción: 11/02/2019 • Fecha de aceptación: 17/06/2019
Autora de contacto / Corresponding author: M.ª Elena Parra-González. E-mail: elenaparra@ugr.es
Fecha de publicación online: 12/09/2019

INTRODUCCIÓN. El uso de la gamificación en educación consiste en el uso de mecánicas, diseño o estructuras de juegos en las aulas. Hay que destacar la diferencia entre un juego, que es entendido como un producto acabado, algo concreto, y la gamificación, que parte de un contenido didáctico, definiéndola como una actividad que contiene elementos y espíritu de juego. Mediante esta metodología innovadora se premia y valora el esfuerzo, no solo el logro, mediante insignias. A través de esta metodología, el juego se trata como elemento motivador en clase, y está considerada como una metodología activa, ya que el alumno debe estar activo y ser el protagonista en el proceso de aprendizaje. MÉTODO. Este trabajo supone la traducción y validación de una escala GAMEX (Gameful Experience in Gamification) que mide la experiencia gamificada en inglés y alemán. La muestra está compuesta por 224 participantes relacionados con la educación y experiencias gamificadas (52% docentes y 48% estudiantes). Se llevó a cabo un análisis factorial exploratorio (AFE) y un análisis factorial de confirmatorio (AFC) para corroborar la estructura dimensional de la escala. RESULTADOS. Los resultados muestran la complejidad de evaluar experiencias gamificadas desde una perspectiva única y válida, ya que entran en juego varias dimensiones. Hay instrumentos válidos que no tienen en cuenta todas las dimensiones, y este instrumento propuesto muestra niveles aceptables de ajuste con respecto al modelo original. DISCUSIÓN. Se enfatiza la naturaleza multidimensional de la experiencia gamificada y se pone de manifiesto la necesidad de crear un instrumento para evaluarla y poder mejorar las experiencias gamificadas futuras.

Palabras clave: Cuestionarios, Validez de constructo, Juegos educativos, Métodos de enseñanza, Motivación de aprendizaje.

Introducción

Una de las metodologías activas utilizadas en educación es la gamificación. Esta consiste en utilizar juegos, diseños o mecánicas de juegos en contextos no lúdicos (Attali y Arieli-Attali, 2015Attali, Y. y Arieli-Attali, A. (2015). Gamification in assessment: do points affect test performance? Computers and Education, 83(1), 57-63. doi: dx.doi.org/10.1016/j.compedu.2014.12.012; Bruder, 2015Bruder, P. (2015). Game on: gamification in the classroom. Education Digest, 80(7), 50-56.; Dale, 2014Dale, S. (2014). Gamification: making work fun, or making fun of work? Business Information Review, 31(2), 82-90. doi: dx.doi.org/10.1177/0266382114538350; Deterding, 2012Deterding, S. (2012). Gamification: designing for motivation. Interactions, 19(4), 14-17. doi: dx.doi.org/10.1145/2212877.2212883; Deterding, Dixon, Khaled, Nacke, 2011Deterding, S., Dixon, D., Khaled, R. y Nacke, L. (2011). From game design elements to gamefulness: defining “gamification”. En Proceedings of the 15th International Academic MindTrek Conference: Envisioning Future Media Environments (pp. 9-15). Nueva York: ACM. doi: dx.doi.org/10.1145/2181037.2181040; Deterding, Sicart, Nacke, O’Hara y Dixon, 2011Deterding, S., Sicart, M., Nacke, L., O’Hara, K. y Dixon, D. (2011). Gamification: using game-design elements in non-gaming contexts. En Proceedings of the 2011 Annual Conference of Human Factors in Computing Systems, (pp. 2425-2428). doi: dx.doi.org/10.1145/1979742.1979575; González et al., 2016González, C. S., Gómez, N., Navarro, V., Cairós, M., Quirce, C., Toledo, P. y Marrero-Gordillo, N. (2016). Learning healthy lifestyles through active videogames, motor games and the gamification of educational activities. Computers in Human Behavior, 55(A), 529-551. doi: dx.doi.org/10.1016/j.chb.2015.08.052; Hanus y Fox, 2015Hanus, M. D. y Fox, J. (2015). Assessing the effects of gamification in the classroom: a longitudinal study on intrinsic motivation, social comparison, satisfaction, effort, and academic performance. Computers & Education, 80(1), 152-161. doi: dx.doi.org/10.1016/j.compedu.2014.08.019; Koivisto y Hamari, 2014Koivisto, J. y Hamari (2014). Demographic differences in perceived benefits from gamification. Computers in Human Behavior, 35, 179-188. doi: dx.doi.org/10.1016/j.chb.2014.03.007). Como vemos, muchos investigadores se centran en esta temática, dados los beneficios e intereses que proporciona. Mediante esta metodología innovadora se premia y valora el esfuerzo mediante insignias, no solo el logro.

Aunque hoy día la gamificación se considere como una de las metodologías emergentes y activas en educación, desde hace años se viene defendiendo el uso del juego o elementos del mismo como herramientas útiles y poderosas en el aprendizaje y desarrollo de la imaginación (Malone, 1980Malone, T. W. (1980). What makes things fun to learn? Heuristics for designing instructional computer games. En Proceedings of the 3rd ACM SIGSMALL Symposium and the First SIGPC Symposium on Small Systems - SIGSMALL ’80 (pp. 162-169). doi: dx.doi.org/10.1145/800088.802839 ; Malone y Lepper, 1987Malone, T. y Lepper, M. (1987). Making Learning Fun: A Taxonomy of Intrinsic Motivations for Learning. En R. Snow y M. Farr, Aptitude, Learning and Instruction: III. Conative and affective process analyses (pp. 223-253). Hilsdale: Erlbaum. ; Piaget, 1962Piaget, J. (1962). Play, dreams and imitation in childhood. New York: W.W. Norton & Co.).

El uso de la gamificación va en aumento en los procesos de enseñanza-aprendizaje para así fomentar la motivación entre los estudiantes (Banfield y Wilkerson, 2014Banfield, J. y Wilkerson, B. (2014). Increasing student intrinsic motivation and self-efficacy through gamification pedagogy. Contemporary Issues in Education Research, 7(4), 291-298. ). Sabemos que para que las estrategias de aprendizaje sean eficaces hay que tener en cuenta la motivación del alumno, ya que esta va a propiciar que trabaje para conseguir el objetivo que se persigue (Pintrich y Schunk, 2006Pintrich, P. R. y Schunk, D. H. (2006). Motivación en contextos educativos. Teoría, investigación y aplicaciones. Madrid: Pearson Prentice Hall.), y, además, hay que darle más importancia al alumno que al profesor en el proceso de enseñanza-aprendizaje.

Los juegos se han usado en clase durante décadas, pero ahora muchos docentes convierten su clase en un juego (Kapp, 2012Kapp, K. M. (2012). The gamification of learning and instruction: Game-based methods and strategies for training and education. San Franciso: Pfieffer.). Normalmente, mediante este tipo de aprendizaje se pueden repetir los juegos, con lo que los alumnos pueden volver a experimentar una y otra vez y aprender de los errores sin ningún miedo (Lee y Hammer, 2011Lee, J. J. y Hammer, J. (2011). Gamification in education: what, how, why bother? Academic Exchange Quarterly, 15(2), 146. ). Así, el uso de juegos digitales y videojuegos como otra forma de adquirir conocimientos queda patente y es de completa actualidad (Asensio et al., 2014Asensio, J. J., Mora, A. M., Fernández, A. J., García-Sánchez, P., Merelo, J. J. y Castillo, P. A. (2014). Programar: aprendiendo a programar usando videojuegos como metáfora para visualización de código. ReVisión. Revista de Investigación en Docencia Universitaria de la Informática, 7(2), 93-103.; Contreras-Espinosa, 2016Contreras-Espinosa, R. S. (2016). Juegos digitales y gamificación aplicados en el ámbito de la educación. RIED. Revista Iberoamericana de Educación a Distancia, 19(2), 27-33. doi: dx.doi.org/10.5944/ried.19.2.16143; Gallego, Villagrá, Satorre, Compañ, Molina y Lorens, 2014Gallego, F. J., Villagrá, C. J., Satorre, R., Compañ, P., Molina, R. y Lorens, F. (2014). Panorámica: serious games, gamification y mucho más. ReVisión. Revista de Investigación en Docencia Universitaria de la Informática, 7(2), 13-23.).

Los principales elementos de las metodologías activas señalan que los alumnos son los protagonistas activos en su proceso de enseñanza-aprendizaje, aprenden de la interacción con los demás y que, a través de un aprendizaje realista, pueden ser capaces de transferir ese conocimiento (Bernal y Martínez, 2009Bernal, M. C. y Martínez, M. S. (2009). Metodologías activas para la enseñanza y el aprendizaje. Revista de Pedagogía Saberes y Quehaceres del Pedagogo, 14, 101-106.). Con esto se promoverían dos características del aprendizaje, como son la sociabilidad del aprendizaje, porque para que haya aprendizaje debe haber interacción con otros; y la interactividad del aprendizaje, porque a través de las nuevas tecnologías se desarrollan las comunidades de aprendizaje, fomentando la interacción sin importar el tiempo y el espacio.

Uno de los problemas en educación es la falta de implicación del alumnado en las tareas académicas. Brewer et al. (2013Brewer, R., Anthony, L., Brown, Q., Irwin, G., Nias, J. y Tate, B. (2013). Using Gamification to Motivate Children to Complete Empirical Studies in Lab Environments. En Proceedings of the 12th International Conference on Interaction Design and Children (pp. 388-391). New York: ACM. doi: dx.doi.org/10.1145/2485760.2485816), a través del uso de la gamificación en niños de entre 5 y 7 años, concluyeron que la gamificación implicaba un aumento significativo de tareas acabadas. Asimismo, Wang (2015Wang, A. I. (2015). The wear out effect of a game-based student response system. Computers & Education, 82, 217-227. doi: dx.doi.org/10.1016/j.compedu.2014.11.004) afirma que el uso de los juegos implica a los alumnos también en altos porcentajes. En esta línea, Pérez-Manzano y Almela-Baeza (2018Pérez-Manzano, A. y Almela-Baeza, J. (2018). Gamification and transmedia for scientific promotion and for encouraging scientific careers in adolescents. Comunicar, 26(55), 93-103. doi: doi.org/10.3916/c55-2018-09) también confirman con su estudio que los participantes, a través de un entorno gamificado, aumentan significativamente su interés por la temática.

Avanzando un poco más en la línea de resultados positivos en torno a la investigación y los efectos de la gamificación, del estudio de Xi y Hamari (2019Xi, N. y Hamari, J. (2019). Does gamification satisfy needs? A study on the relationship between gamification features and intrinsic need satisfaction. International Journal of Information Management, 46, 210-221. doi: doi.org/10.1016/j.ijinfomgt.2018.12.002) se desprenden resultados que implican que la gamificación puede tener un efecto positivo en la satisfacción de las necesidades intrínsecas de los usuarios como, por ejemplo, la autonomía.

Dada la importancia de la temática, y ya que no existía en español una escala de medición de experiencias gamificadas en educación, este trabajo supone ofrecer a la comunidad científica la traducción y validación de una herramienta como es la escala de Gameful Experience Scale (GAMEX) usada para medir la gamificación en el ámbito del marketing (Eppmann, Bekk y Klein, 2018Eppmann, R., Bekk, M. y Klein, K. (2018). Gameful Experience in Gamification: Construction and Validation of a Gameful Experience Scale [GAMEX]. Journal of Interactive Marketing, 43, 98-115. doi: dx.doi.org/10.1016/j.intmar.2018.03.002), para traerla al área de educación. Esta aportación es necesaria en el campo de la investigación y vendría sustentada por Vesa y Harviainen (2018Vesa, M. y Harviainen, J. T. (2018). Gamification: Concepts, Consequences, and Critiques. Journal of Management Inquiry, 28(2), 128-130. doi: doi.org/10.1177/1056492618790911), que postulan que la gamificación es un fenómeno de interés que va más allá de las intervenciones basadas en el juego y que debería estar más rigurosamente expuesta a la investigación organizativa. Por lo tanto, esta investigación sería un avance en este sentido dentro del campo científico.

Método

Diseño

Para el desarrollo de la presente investigación se recurre a un diseño instrumental. Este tipo de diseños se usan, principalmente, para analizar las propiedades psicométricas de los instrumentos. El objetivo principal de este diseño es proceder a una validación de un instrumento (Ato, López-García y Benavente, 2013Ato, M., López-García, J. y Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales De Psicología, 29(3). doi: dx.doi.org/10.6018/analesps.29.3.178511).

Instrumento

El instrumento utilizado es la escala GAMEX (Gameful Experience in Gamification) o escala de experiencia de juego gamificado. La escala ha sido desarrollada y validada en inglés por Eppmann, Bekk y Klein (2018Eppmann, R., Bekk, M. y Klein, K. (2018). Gameful Experience in Gamification: Construction and Validation of a Gameful Experience Scale [GAMEX]. Journal of Interactive Marketing, 43, 98-115. doi: dx.doi.org/10.1016/j.intmar.2018.03.002). Las opciones de respuesta son de tipo Likert (1= “totalmente en desacuerdo” y 5= “totalmente de acuerdo”). Se compone de 6 dimensiones principales en torno a la experiencia de los participantes en actividades o ambientes gamificados.

• Disfrute/diversión: en esta dimensión se mide el grado de disfrute del usuario con la experiencia de gamificación. Analiza variables como “le gustó jugar o si disfrutó haciéndolo”. Compuesta por 6 ítems.
• Absorción: en esta dimensión se quiere conocer el grado de absorción en la experiencia y evasión del entorno que le rodea, además de la conciencia o no de la noción del tiempo mientras dura la experiencia. Compuesta por 6 ítems.
• Pensamiento creativo: analiza el grado de imaginación o creatividad que el usuario percibe que desarrolla durante la experiencia. Compuesta por 4 ítems.
• Activación: se mide el grado de actividad que el usuario considera que ha desarrollado durante la experiencia. Compuesta por 4 ítems.
• Ausencia de efecto negativo: mide si los usuarios han manifestado o sentido emociones negativas mientras jugaban, como la frustración. Compuesta por 3 ítems.
• Dominio: por último, en esta dimensión se quiere conocer la sensación de estar al mando. Analiza el dominio o confianza que el usuario tiene en sí mismo durante la experiencia. Compuesta por 4 ítems.

GAMEX ha demostrado su fiabilidad como instrumento de recogida de información sobre experiencias gamificadas (Eppmann, Bekk y Klein, 2018Eppmann, R., Bekk, M. y Klein, K. (2018). Gameful Experience in Gamification: Construction and Validation of a Gameful Experience Scale [GAMEX]. Journal of Interactive Marketing, 43, 98-115. doi: dx.doi.org/10.1016/j.intmar.2018.03.002). Los autores originales obtienen índices de consistencia interna del constructo muy buenos. Además de alfas de Cronbach superiores a .90, tanto para cada una de sus dimensiones como para el total de la escala.

Traducción del instrumento

No existen pautas claras sobre cómo traducir los cuestionarios (Epstein, Santo y Guillemin, 2015Epstein, J., Santo, R. y Guillemin, F. (2015). A review of guidelines for cross-cultural adaptation of questionnaires could not bring out a consensus. Journal of Clinical Epidemiology, 68(4), 435-441. doi: dx.doi.org/10.1016/j.jclinepi.2014.11.021), en particular cuando los test requieren adaptaciones culturales (Muñiz, Elosua y Hambleton, 2013Muñiz, J., Elosua, P. y Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), 151-157. doi: dx.doi.org/10.7334/psicothema2013.24). En este caso se siguen las pautas establecidas por Buta et al. (2016Buta, B., Walston, J., Godino, J., Park, M., Kalyani, R. y Xue, Q., Bandeen-Roche, K. y Varadhan, R. (2016). Frailty assessment instruments: Systematic characterization of the uses and contexts of highly-cited instruments. Ageing Research Reviews, 26, 53-61. doi: dx.doi.org/10.1016/j.arr.2015.12.003) para la traducción y adaptación de escalas.

1. Un par de expertos bilingües revisa la estructura del documento en inglés y analizan la factibilidad de ser traducido.
2. Los autores realizan la traducción al español.
3. Los expertos y dos investigadores monolingües revisan la traducción y proponen las modificaciones necesarias.
4. Los expertos bilingües traducen la escala al español. Se comprueba su concordancia con las traducciones anteriores y las realizadas por los autores, obteniendo así una escala lo más fielmente posible a la original.

Procedimiento

Todos los cuestionarios se rellenaron a través de la plataforma Google Forms. Esto permite a los participantes acceder de una manera mucho más rápida y eficiente. Una vez recogidos todos los datos se descarga en forma de matriz. Posteriormente se introducen en el software de análisis estadístico SPSS en su versión 25. Antes de proceder a los análisis se invierten los ítems de la dimensión “ausencia de efecto negativo” (Aan1, Aan2, Aan3), ya que puntúan de forma inversa al resto.

Participantes

Los participantes de la investigación han sido todas aquellas personas relacionadas con el ámbito de la enseñanza que han tenido experiencias gamificadas (figura 1). Se utilizó una muestra causal o accidental no probabilística. La mayoría de docentes y estudiantes participantes pertenecen a las universidades de Granada, Jaén y Sevilla. Tras depurar la matriz de datos la muestra queda compuesta por un total de 224 participantes. Un 48% de los participantes son estudiantes, mientras que un 52% son docentes. El 56% de los estudiantes se encuentra matriculado en una titulación de grado. El 44% de estos se encuentra en una titulación de posgrado (máster o doctorado). Respecto al sexo, un 61% son hombres y un 39% mujeres. Por otro lado, cuando se les pregunta por una formación específica, un 65% indica que no ha recibido ninguna respecto a un 35% que sí. La media total para estudiantes es de 21.51±3.2 años, mientras que para los docentes es de 33.42±12.5.

Figura 1. Descripción visual de la muestra utilizada [View full size] [Descargar tamaño completo]

Resultados

Análisis factorial exploratorio

En primer lugar, se realiza un análisis factorial exploratorio (AFE) de los ejes principales con rotación Promax (oblicua), utilizado para dimensiones que mantienen una correlación (Kahn, 2006Kahn, J. (2006). Factor Analysis in Counseling Psychology Research, Training, and Practice. The Counseling Psychologist, 34(5), 684-718. doi: dx.doi.org/10.1177/0011000006286347). Para determinar el número de factores durante el análisis se utilizan dos criterios clásicos. Por un lado, se recurre a la varianza total explicada, siendo el umbral aceptado dentro de las ciencias sociales un mínimo del 60%. Por otro, también se recurre a una extracción de factores determinados (6 factores), siendo un criterio útil para replicar los resultados de investigaciones previas (Hair, Black, Babin y Anderson, 2010Hair, J. F., Black, W. C., Babin, B. J. y Anderson, R. E. (2010). Multivariate data analysis. Upper Saddle River: Prentice Hall.).

Los resultados para este primer criterio muestran que la escala propuesta está compuesta por 5 dimensiones, por lo que, en adelante, se presentarán los resultados tanto para la escala original forzada a 6 factores (modelo A), como para la obtenida en esta investigación con 5 factores (modelo B), que explican un 70% de la muestra. La diferencia entre modelos radica en la dimensión “pensamiento creativo y dominio”; de forma parcial, las que parecen estar relacionadas en este último muestran pesos factoriales que no dejan lugar a duda de dónde deben situarse. Asimismo, se muestra (tabla 1) que los ítems Dom1 y Act1 no poseen un peso factorial claro, por lo que se eliminan de forma definitiva en el modelo propuesto (modelo B). Además de las cargas factoriales bajas, la eliminación del ítem Dom1 puede justificarse por la interpretación que cada sujeto hace del sentido “dominante” que puede poseer, para algunos sujetos, un sentido negativo. Por otro lado, el ítem Act1 parece redundante y demasiado explícito en la dimensión a la que pertenece, siendo el resto de ítems suficientes para explicar la dimensión (Lloret-Segura, Ferreres-Traver, Hernández-Baeza y Tomás-Marco, 2014Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A. y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales De Psicología, 30(3), 1-12. doi: dx.doi.org/10.6018/analesps.30.3.199361).

La tabla 2 muestra los valores obtenidos tras el AFE para ambos modelos. Para el modelo A se estima un valor KMO= .896, superior al .50 necesario para este tipo de prueba (Kaiser, 1974Kaiser, H. (1974). An index of factorial simplicity. Psychometrika, 39(1), 31-36. doi: dx.doi.org/10.1007/bf02291575). De la misma manera, el test de esfericidad de Bartlett (χ² (351)= 3,773.170, p<.001) muestra una puntuación y una significación apropiada para realizar un análisis factorial confirmatorio o AFC (Burton y Mazerolle, 2011Burton, L. J. y Mazerolle, S. J. (2011). Survey Instrument Validity Part I: Principles of Survey Instrument Development and Validation in Athletic Training Education Research. Athletic Training Education Journal, 6(1), 27-35.; Vallejo y Ato, 2011Vallejo, G. y Ato, M. (2011). Robust tests for multivariate factorial designs under heteroscedasticity. Behavior Research Methods, 44(2), 471-489. doi: dx.doi.org/10.3758/s13428-011-0152-2). Por otro lado, el modelo B presenta un KMO= .905 y un test de esfericidad (χ² (351)= 4495,775, p<.001), mostrando igualmente resultados aptos para realizar un análisis posterior.

Índices de bondad de ajuste

Para el ajuste global del modelo a través del AFC se tienen en consideración los siguientes criterios básicos reconocidos por la literatura científica (Hu y Bentler, 1999Hu, L. y Bentler, P. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. doi: dx.doi.org/10.1080/10705519909540118; Schumacker y Lomax, 2010Schumacker, R. y Lomax, R. (2010). A beginner's guide to structural equation modelling. New York: Routledge.; Hoyle, 2015Hoyle, R. (2015). Handbook of structural equation modelling. New York: Guilford Press.; Shanmugam y Marsh, 2015Shanmugam, V. y Marsh, J. (2015). Application of Structural Equation Modeling to the Social Sciences: A Brief Guide for Researchers. Mesure Et Évaluation En Éducation, 37(3), 99. doi: dx.doi.org/10.7202/1036329ar), al igual que los valores establecidos en la misma. El indicador RMSEA (Root Mean Square Error of Approximation) o raíz cuadrática media del error de aproximación junto a los índices comparativos NFI (Normed-Fit-Index) o índice de ajuste normativo, GFI (Goodness of Fit Index) o índice de bondad de ajuste, TLI (Tucker Lewis Index) o índice de Tucker Lewis, CFI (Comparative-Fit-Index) o índice de ajuste comparativo e IFI (Incremental-Fit-Index) o índice de ajuste incremental. En la tabla 3 se muestran los resultados en comparación con los establecidos en la literatura. Cabe recordar que algunos de estos índices son sensibles al tamaño muestral, un ejemplo es el NFI, por lo que se recomienda usar el valor TLI como indicador (Ullman, 2001Ullman, J. B. (2001). Structural equation modeling. En B. G. Tabachnick y L. S. Fidell, Using Multivariate Statistics (pp. 653-771). Needham Heights: Allyn & Bacon.).

Los resultados muestran unos índices para el modelo A de χ² (309)= 838.01 (p<.001), χ²/d.f.= 2.710, CFI= .853, TLI= .89, NFI= .79, GFI= .75, IFI= .86 y RMSEA= .09, mostrando valores contrarios a un modelo con buen ajuste. Por otro lado, el modelo B presenta χ² (309)= 642.699 (p<.001), χ²/d.f.= 2.080, CFI= .92, TLI= .91, NFI= .86, GFI= .90, IFI= .94 y RMSEA= .07 que, si bien no son indicativos de un ajuste excelente, sí lo son de uno aceptable, más en concordancia con los resultados obtenidos.

Fiabilidad en función de las dimensiones detectadas y total

Para analizar la fiabilidad se recurre al alfa de Cronbach, aunque se añaden dos indicadores más como son la fiabilidad compuesta (FC) y la varianza media extractada (VME), debido a la debilidad estadística mostrada por el indicador alfa (Dunn, Baguley y Brunsden, 2013Dunn, T., Baguley, T. y Brunsden, V. (2013). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 399-412. doi: dx.doi.org/10.1111/bjop.12046), siendo valores aceptables aquellos que superan .7 para la FC y aquellos superiores a .50 para la VME (Hair y Gómez Suárez, 2010Hair, J. F. y Gómez Suárez, M. (2010). Análisis multivariante. Madrid: Prentice-Hall.). Los valores superiores a .7 se entienden como aceptables y los superiores a .8 como ideales para el alfa de Cronbach (Cortina, 1993Cortina, J. (1993). What is coefficient alpha? An examination of theory and applications. Journal of Applied Psychology, 78(1), 98-104. doi: dx.doi.org/10.1037/0021-9010.78.1.98).

El modelo A obtiene unos valores alfa adecuados para cada una de las dimensiones (>.80) y unos índices superiores al que marca la literatura (<.70). No sucede lo mismo con el valor VME que obtiene valores aceptables en todas sus dimensiones, menos en “dominio” (AVE= .490) y “activación” (AVE= .447). Para el modelo B los valores obtenidos sí se adecuan más a valores acordes a los establecidos, obteniendo las 5 dimensiones valores superiores a .80 para la FC y .53 para la VME. Respecto al alfa de Cronbach, obtiene resultados bastante buenos para la mayoría de dimensiones, a excepción de la dimensión “activación” (α= .75) y muy buenos (α_A= .92; α_B= .93) para los totales de ambos modelos propuestos.

Correlación entre las dimensiones

Como se muestra en la tabla 5, todas las dimensiones están relacionadas entre sí, siendo una muestra de la relación entre las dimensiones y el objetivo que busca analizar la escala. Debemos tener en cuenta que una correlación excesivamente alta r>.71 es un mal indicativo (Ntoumanis y Aggelonidis, 2004Ntoumanis, N. y Aggelonidis, Y. (2004). A psychometric evaluation of the Group Environment Questionnaire in a sample of elite and regional level Greek volleyball players. European Physical Education Review, 10, 261-278. doi: dx.doi.org/10.1177/1356336X04047126). Si una correlación es muy alta podría ser indicativo de que las dimensiones analizadas no son tan diferentes a como se plantean en los modelos iniciales.

La única dimensión que mantiene una correlación negativa con el resto en ambos modelos es la Aan (ausencia de efecto negativo), aunque hay que destacar que estos ítems fueron rotados en la preparación inicial de la matriz de datos. Es, en este caso, el modelo B el que muestra mejores resultados respecto a las correlaciones existentes entre las dimensiones.

Discusión y conclusiones

El objetivo del presente estudio es examinar las propiedades psicométricas de la versión en español de GAMEX con una muestra de estudiantes y profesores universitarios que han tenido contacto con experiencias gamificadas. Los datos analizados y los resultados han conducido a una visualización más clara de las propiedades psicométricas de esta escala cuando se traduce al castellano. Por consiguiente, los resultados indican que la escala no muestra una estructura adecuada cuando se tienen en cuenta las seis dimensiones originales, pero sí lo hace cuando estas se reducen a cinco.

Este hallazgo importante conlleva la fusión dada entre dos dimensiones, distintas en su planteamiento original, como son el pensamiento creativo y el dominio. Esta fusión inesperada tiene, además de razones estadísticas, sentido teórico, y es que la sensación de control o dominancia y la creatividad han sido relacionadas directamente con la motivación intrínseca (Csikszentmihalyi y Wolfe, 2014Csikszentmihalyi, M. y Wolfe, R. (2014). New Conceptions and Research Approaches to Creativity: Implications of a Systems Perspective for Creativity in Education. En The Systems Model of Creativity: The Collected Works of Mihaly Csikszentmihalyi (pp. 161-184). Dordrecht, Países Bajos: Springer, Dordrecht. doi: dx.doi.org/10.1007/978-94-017-9085-7_10; Reiss, 2004Reiss, S. (2004). Multifaceted Nature of Intrinsic Motivation: The Theory of 16 Basic Desires. Review of General Psychology, 8(3), 179-193. doi: dx.doi.org/10.1037/1089-2680.8.3.179), por lo que podemos considerar este factor fusionado como uno único, llamado motivación o motivación intrínseca. Este último fenómeno, desde una perspectiva teórica, puede relacionarse estrechamente con la teoría de la autodeterminación, en la que las personas toman decisiones sin ningún tipo de influencia externa, solo guiadas por su motivación interna (Chen y Jang, 2010Chen, K. y Jang, S. (2010). Motivation in online learning: Testing a model of self-determination theory. Computers In Human Behavior, 26(4), 741-752. doi: dx.doi.org/10.1016/j.chb.2010.01.011). Siendo este uno de los aspectos claves a desarrollar en cualquier experiencia gamificada (Hanus y Fox, 2015Hanus, M. D. y Fox, J. (2015). Assessing the effects of gamification in the classroom: a longitudinal study on intrinsic motivation, social comparison, satisfaction, effort, and academic performance. Computers & Education, 80(1), 152-161. doi: dx.doi.org/10.1016/j.compedu.2014.08.019; Xi y Hamari, 2019Xi, N. y Hamari, J. (2019). Does gamification satisfy needs? A study on the relationship between gamification features and intrinsic need satisfaction. International Journal of Information Management, 46, 210-221. doi: doi.org/10.1016/j.ijinfomgt.2018.12.002).

Los indicadores de validez y confiabilidad analizados han mostrado que el modelo original propuesto por los autores (Eppmann, Bekk y Klein, 2018Eppmann, R., Bekk, M. y Klein, K. (2018). Gameful Experience in Gamification: Construction and Validation of a Gameful Experience Scale [GAMEX]. Journal of Interactive Marketing, 43, 98-115. doi: dx.doi.org/10.1016/j.intmar.2018.03.002) tiene algunas deficiencias en su planteamiento teórico. Aunque los autores se basan en propuestas ya establecidas, como la escala GEQ (Game Engagement/Experience Questionnaire) o GExpQ (Game Experience Questionnaire), parece ser, según indican los resultados, que no se ha realizado una buena interpretación o adaptación de los mismos al objetivo inicial de la investigación. Esto se muestra en la diferencia entre las dimensiones encontradas por estos (6) y las que se han encontrado en este estudio (5), volviendo a ser la dificultad de establecer una dimensionalidad común cuando tratamos de estudiar las experiencias gamificadas (Norman, 2013Norman, K. (2013). GEQ (Game Engagement/Experience Questionnaire): A Review of Two Papers. Interacting with Computers, 25(4), 278-283. doi: dx.doi.org/10.1093/iwc/iwt009).

Otro de los aspectos que destacan los autores es la capacidad de GAMEX para adaptarse a otros contextos. Los resultados vuelven a poner de manifiesto la poca consistencia de las afirmaciones, ya que en un contexto puramente educativo ha sido necesario adaptar el modelo, reduciendo sus factores y eliminando ítems, siendo esta capacidad de adaptación uno de los mayores problemas en este tipo de escalas (Deterding, Dixon, Khaled, Nacke, 2011Deterding, S., Dixon, D., Khaled, R. y Nacke, L. (2011). From game design elements to gamefulness: defining “gamification”. En Proceedings of the 15th International Academic MindTrek Conference: Envisioning Future Media Environments (pp. 9-15). Nueva York: ACM. doi: dx.doi.org/10.1145/2181037.2181040 ).

Una vez más se muestra la complejidad de evaluar experiencias gamificadas desde una perspectiva única y válida. La experiencia gamificada, como cualquier experiencia educativa en la que entran en juego varias dimensiones o constructos, es compleja de medir como un todo. Existen instrumentos que han demostrado ser válidos pero que no tienen en cuenta todas las dimensiones, y este modelo que presentamos, aunque no es perfecto, es un modelo que muestra niveles más aceptables de ajuste que el modelo original. Aun con estos resultados, sigue siendo difícil y, aunque se ha avanzado mucho en el análisis de los efectos positivos y negativos de estas experiencias, aún queda mucho trabajo teórico que las justifique (Van Roy y Zaman, 2019Van Roy, R. y Zaman, B. (2019). Unravelling the ambivalent motivational power of gamification: A basic psychological needs perspective. International Journal of Human-Computer Studies, 127, 38-50. doi: dx.doi.org/10.1016/j.ijhcs.2018.04.009).

Este estudio enfatiza la naturaleza multifacética de la experiencia del juego y pone de manifiesto la necesidad de crear un instrumento completo y multidimensional para evaluarla y poder mejorar las experiencias gamificadas futuras.

Limitaciones y prospectiva

Este estudio parte con la limitación de que la muestra participante formaba parte del entorno universitario, y como planteamiento en un futuro próximo habrá que tener en cuenta a participantes de otros niveles educativos, como son de educación primaria y secundaria.

Por otro lado, también es importante la creación de un instrumento único y original para analizar las experiencias gamificadas en educación, que sea completo para medir todas las variables que forman parte del aprendizaje.

Referencias bibliográficas

Abstract

Translation and validation of the Gameful Experience Scale (GAMEX)

INTRODUCTION. Gamification in the classroom consists in the use of the game designed mechanically and structurally to teach through game(s). It is important to note the difference between a game and gamification. A game, which is understood as a finished product and something concrete, unlike the gamification part of a didactic content which may be defined as an activity that contains the elements found in a spirit of play. Through this innovative methodology, effort is rewarded and valued, not only achievement, through the use of badges. Through this methodology, the game is treated as a motivating element in the classroom, and moreover it is a methodology which is considered as an active one because the student must be active and be the main character in the learning process. METHOD. This work involves the translation and validation of a GAMEX scale (Gameful Experience in Gamification) that measures the gamified experience in English and German. The sample consists of 224 participants related to education and gamified experiences (52% teachers and 48% students). Exploratory factor analysis (AFE) and confirmatory factor analysis (CFA) were carried out to confirm the dimensional structure of the scale. RESULTS. The results show the complexity of evaluating gamified experiences from a unique and valid perspective, since several dimensions come into play. There are valid instruments that do not take into account all dimensions, and this proposed instrument shows a higher acceptable level of adjustment than the original model. DISCUSSION. The multi-dimensional nature of the gamified experience is emphasized and the need to create an instrument to evaluate it and improve future gamified experiences is highlighted.

Keywords: Questionnaires, Construct validity, Educational games, Teaching methods, Learning motivation.

Résumé

Traduction et validation de l'échelle d'évaluation d'expériences gamifiées (GAMEX)

INTRODUCTION. L’usage de la gamification en éducation consiste en la conception, l’utilisation de mécaniques ou structures de jeux dans les cours. Il est nécessaire de souligner la différence entre un jeu, compris comme un produit fini, quelque chose de concret, et la gamification qui part d’un contenu didactique. Se définissant donc comme une activité qui contient des éléments provenant de l’univers du jeu. Au moyen de l’utilisation des badges, cette méthodologie innovante prime la valeur de l’effort plutôt que la réussite. Ainsi, le jeu est considéré comme un élément de motivation à caractère pédagogique et est considéré comme une méthodologie dite active. En effet, l’élève se doit d’être actif et de jouer un rôle de premier plan dans le processus d’apprentissage. MÉTHODE. Ce travail implique la traduction et la validation d'une échelle GAMEX (Gameful Experience in Gamification) qui mesure l'expérience gamifiée en anglais et allemand. L’échantillon est composé de 224 participants en lien avec l’éducation et la gamification (52% d’enseignants et 48% d'étudiants). Une analyse factorielle exploratoire (AFE) et une analyse factorielle confirmatoire (AFC) ont été effectuées pour confirmer la structure dimensionnelle de l'échelle. RÉSULTATS. Les résultats montrent la complexité de l'évaluation des expériences gamifiées d'un point de vue unique et valable, dans la mesure où plusieurs dimensions entrent en jeu. Il existe des instruments valides qui ne prennent pas en compte toutes les dimensions et l'instrument proposé présente des niveaux d'ajustement acceptables par rapport au modèle d'origine. DISCUSSION. La nature multidimensionnelle de la gamification est mise en évidence, ainsi que la nécessité de créer un instrument pour pouvoir l'évaluer et améliorer les expériences gamifiées futures.

Mots-clés: Questionnaires, Validation de la construction, Jeux éducatifs, Méthodes d'enseignement, Motivation dans l'apprentissage.

Perfil profesional de los autores

M.ª Elena Parra-González (autora de contacto)

Profesora del Departamento de Métodos de Investigación y Diagnóstico en Educación y responsable de la sección departamental en la Facultad de Educación, Economía y Tecnología de Ceuta. Sus principales líneas de investigación son la innovación docente, las metodologías activas y la investigación en la transformación de los contextos y aprendizaje. Ha llevado a cabo diversas acciones formativas para el profesorado en activo como coordinadora, ponente y experta evaluadora de programas europeos.

Correo electrónico de contacto: elenaparra@ugr.es

Dirección para correspondencia: Facultad de Educación, Economía y Tecnología de Ceuta. C/ Cortadura del Valle s/n, 51001 Ceuta (España).

Adrián Segura Robles

Profesor del Departamento de Métodos de Investigación y Diagnóstico en Educación en la Facultad de Educación, Economía y Tecnología de Ceuta. Miembro del grupo Conocimiento Abierto para la Acción Social (CAAS). Su perfil docente e investigador se centra en la diversidad cultural y los nuevos métodos de enseñanzas aplicados a la educación en todos sus ámbitos.

Correo electrónico de contacto: adrianseg@ugr.es