Métricas alternativas
Keywords
educational technology
higher education
measuring instrument
perception Inteligencia artificial
tecnología educativa
educación superior
instrumento de medida
percepción
How to Cite
Abstract
This study presents the design, validation, and psychometric analysis of a questionnaire to measure the academic use of generative artificial intelligence (IAGen) in higher education students. Content validity was established using Aiken's V coefficient with expert judges, which allowed for item adjustment and refinement. The questionnaire was subsequently administered to a sample of 905 university students. Exploratory Factor Analysis (EFA) identified a seven-factor structure, instead of the initial nine dimensions, explaining 64% of the total variability. Factor loadings ranged from .44 to .96, with the proportion of variance of each item explained by the factors between .41 and .79. Confirmatory Factor Analysis (CFA) showed that the seven-dimensional model fit the data better (CFI = .90, TLI = .90, RMSEA = .06, SRMR = .04) than the theoretical nine-dimensional model. In conclusion, the instrument constitutes a valid, reliable, and applicable tool for evaluating student perceptions about the academic use of IAGen in higher education.
References
Aiken, L. R. (1985). Three Coefficients for Analyzing the Reliability and Validity of Ratings. Educational and Psychological Measurement, 45(1), 131-142. https://doi.org/10.1177/0013164485451012 (Original work published 1985).
Álvarez-Rebolledo, A., Santos Carreto, M. y Barrios González, E. (2019). Propiedades psicométricas del cuestionario “Percepción de la inclusión educativa en nivel superior”. Sinectica 53, 1-21. https://doi.org/10.31391/S2007-7033(2019)0053-009
American Educational Research Association, American Psychological Association, y National Council on Measurement in Education. (2018). Estándares para pruebas educativas y psicológicas (M. Lieve, Trans.). American Educational Research Association. https://www.testingstandards.net/uploads/7/6/6/4/76643089/9780935302745_web.pdf
Ato, M., López-García, J., y Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología, 29(3), 1038-1059. https://doi.org/10.6018/analesps.29.3.178511
Bond, M., Khosravi, H., De Laat, M. et al. (2024). A meta systematic review of artificial intelligence in higher education: a call for increased ethics, collaboration, and rigour. Int J Educ Technol High Educ 21, 4. https://doi.org/10.1186/s41239-023-00436-z
Castaño Umaña, R. A. (2024). Impacto de la inteligencia artificial generativa en la educación superior: un estudio comparativo. Revista Compromiso Social, 7(12), 95–110. https://doi.org/10.5377/recoso.v7i12.19650
Chen, L., Chen, P. and Lin, Z. (2020)."Artificial Intelligence in Education: A Review," in IEEE Access, 8, 75264-75278. https://doi.org/10.1109/ACCESS.2020.2988510
Escobar-Pérez, J., & Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, 6(1), 27-36. https://www.humanas.unal.edu.co/lab_psicometria/application/files/9416/0463/3548/Vol_6._Articulo3_Juicio_de_expertos_27-36.pdf
Escurra Mayaute, L. M. (1988). Cuantificación de la validez de contenido por criterio de jueces. Revista De Psicología, 6(1-2), 103–111. https://doi.org/10.18800/psico.198801-02.008
Fan, L., Deng, K. y Liu, F. Impactos educativos de la inteligencia artificial generativa en el aprendizaje y el rendimiento de estudiantes de ingeniería en China. Sci Rep 15, 26521 (2025). https://doi.org/10.1038/s41598-025-06930-w
Francis N.J., Jones, S., & Smith, D.P. (2025) Generative AI in Higher Education: Balancing Innovation and Integrity. Br J Biomed Sci 81:14048. https://doi.org/10.3389/bjbs.2024.14048
Giannakos, M., Azevedo, R., Brusilovsky, P., Cukurova, M., Dimitriadis, Y., Hernandez-Leo, D., … Rienties, B. (2024). The promise and challenges of generative AI in education. Behaviour & Information Technology, 44(11), 2518–2544. https://doi.org/10.1080/0144929X.2024.2394886
Gil Iranzo, R., Gutiérrez-Ujaque, D., & Teixidó Cairol, M. (2024). De la ansiedad al empoderamiento: Impacto del uso de la inteligencia artificial en la percepción de los estudiantes en educación superior. REDU. Revista De Docencia Universitaria, 22(2), 85–104. https://doi.org/10.4995/redu.2024.22009
Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2019). Multivariate data analysis (8th ed.). Cengage.
Hu, L.-t. y Bentler, PM (1999). Criterios de corte para índices de ajuste en el análisis de la estructura de covarianza: Criterios convencionales frente a nuevas alternativas. Modelado de Ecuaciones Estructurales, 6 (1), 1–55. https://doi.org/10.1080/10705519909540118
Jovanović, M. and Campbell, M. (2022). "Generative Artificial Intelligence: Trends and Prospects," Computer, 55 (10),107-112. https://doi.org/10.1109/MC.2022.3192720
Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). Análisis factorial de ítems exploratorios: una guía práctica revisada y actualizada. Anales de Psicología / Annals of Psychology , 30 (3), 1151–1169. https://doi.org/10.6018/analesps.30.3.199361
Maldonado-Suárez, N., y Santoyo-Telles, F. (2024). Validez de contenido por juicio de expertos: Integración cuantitativa y cualitativa en la construcción de instrumentos de medición. REIRE Revista d’Innovació i Recerca en Educació, 17(2), 1-19. https://doi.org/10.1344/reire.46238
Martín-Romera, Ana, y Molina Ruiz, Enriqueta. (2017). El valor del conocimiento pedagógico para la docencia en secundaria: diseño y validación de un cuestionario. Estudios pedagógicos (Valdivia), 43(2), 195-220. https://dx.doi.org/10.4067/S0718-07052017000200011
Ng, S.-L., & Ho, C.-C. (2025). Generative AI in Education: Mapping the Research Landscape Through Bibliometric Analysis. Information, 16(8), 657. https://doi.org/10.3390/info16080657
Niño-Carrasco, S. A., Castellanos-Ramírez, J. C., Perezchica Vega, J. E., & Sepúlveda Rodríguez, J. A. (2025). Percepciones de estudiantes universitarios sobre los usos de inteligencia artificial en educación. Revista Fuentes, 27(1), 94–106. https://doi.org/10.12795/revistafuentes.2025.26356
Peres, R., Schreier, M., Schweidel, D. & Sorescu, A. (2023). On ChatGPT and beyond: How generative artificial intelligence may affect research, teaching, and practice. International Journal of Research in Marketing, 40 (2), 269-275, https://doi.org/10.1016/j.ijresmar.2023.03.001
Romeu Fontanillas, T., Romero Carbonell, M., Guitert Catasús, M., & Baztán Quemada, P. (2025). Desafíos de la Inteligencia Artificial generativa en educación superior: fomentando su uso crítico en el estudiantado. RIED-Revista Iberoamericana de Educación a Distancia, 28(2), 209–231. https://doi.org/10.5944/ried.28.2.43535
Russell, S.; Norvig, P. Artificial Intelligence: A Modern Approach, 4th ed.; Pearson: Hoboken, NJ, USA, 2021; pp. 1–1152.
Ruiz Mendoza, K. K., Miramontes Arteaga, M. A., & Reyna García, C. (2024). Percepciones y expectativas de estudiantes universitarios sobre la IAG. European Public & Social Innovation Review, 9, 1–21. https://doi.org/10.31637/epsir-2024-357
Saúde, S., Barros, JP, y Almeida, I. (2024). Impactos de la Inteligencia Artificial Generativa en la Educación Superior: Tendencias de Investigación y Percepciones de los Estudiantes. Ciencias Sociales, 13(8), 410. https://doi.org/10.3390/socsci13080410
Silgado-Tuñón, D. A., & López-Flores, J. I. (2025). Inteligencia Artificial Generativa en la Educación Superior: una Revisión Sistemática. UNIÓN - REVISTA IBEROAMERICANA DE EDUCACIÓN MATEMÁTICA, 21(73). https://revistaunion.org/index.php/UNION/article/view/1709
Ursavaş, Ö.F., Yalçın, Y., İslamoğlu, H. et al. (2025). Replanteando la importancia de las normas sociales en la adopción de la IA generativa: investigación sobre la aceptación y el uso de la IA generativa entre estudiantes de educación superior. Int J Educ Technol High Educ 22, 38. https://doi.org/10.1186/s41239-025-00535-z
Xia, Q.; Weng, X.; Ouyang, F.; Lin, T.J.; Chiu, T.K.F. (2024). A scoping review on how generative artificial intelligence transforms assessment in higher education. Int. J. Educ. Technol. High. Educ., 21, 40. https://doi.org/10.1186/s41239-024-00468-z
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Copyright (c) 2025 Pixel-Bit. Media and Education Journal