La inteligencia artificial en los procesos de evaluación en educación superior: un análisis bibliométrico (2014-2024)
Barra lateral del artículo
Contenido principal del artículo
Resumen
INTRODUCCIÓN. Para la educación superior, la inteligencia artificial (IA) representa una innovación significativa que está transformando la enseñanza, el aprendizaje y la evaluación académica. Esta última es esencial para proporcionar retroalimentación al alumnado, evaluar su comprensión y favorecer la mejora continua del aprendizaje. El objetivo del presente estudio se centra en analizar la producción científica relativa a la IA en la evaluación en educación superior durante la última década. Este análisis abarca la productividad cronológica y geográfica, así como un estudio detallado de las fuentes, palabras clave y el número de citas de los artículos más destacados en este ámbito. MÉTODO. Para ello, se realizó una revisión bibliométrica y sistemática siguiendo las indicaciones de la Declaración PRISMA. RESULTADOS. Inicialmente se identificaron 2.275 estudios en la base de datos Web of Science y tras aplicar los criterios de elegibilidad se seleccionaron 130 estudios para su posterior análisis. DISCUSIÓN. Las investigaciones revisadas concluyen que las principales formas de integración de la IA en el proceso de evaluación incluyen el feedback automatizado, la predicción del rendimiento académico mediante análisis de datos basados en IA, el uso de modelos de lenguaje como ChatGPT y la consideración de cuestiones éticas asociadas. Se observa un notable incremento en el volumen de publicaciones durante el período 2023-2024, con Estados Unidos liderando la producción científica y la revista Education Sciences siendo la principal fuente de difusión. El análisis de co-palabras revela una falta de uniformidad terminológica, lo que sugiere la necesidad de estandarizar el lenguaje para mejorar la claridad en el campo.
Descargas
Detalles del artículo
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
Citas
Afzaal, M., Zia, A., Nouri, J., y Fors, U. (2023). Informative Feedback and Explainable AI-Based Recommendations to Support Students’ Self-regulation. Technology, Knowledge and Learning, 29(1), 331–354. https://doi.org/10.1007/s10758-023-09650-0
Ardanuy, J. (2012). Breve introducción a la bibliometría. Universitat de Barcelona. Recuperado de: http://diposit.ub.edu/dspace/bitstream/2445/30962/1/breve%20introduccion%20bibliometria.pdf
Banerjee, P., Srivastava, A., Adjeroh, D., Reddy, Y. R., y Karimian, N. (2023). Understanding Chat-GPT: Impact Analysis and Path Forward for Teaching Computer Science and Engineering. TechRxiv. https://doi.org/10.36227/techrxiv.22639705.v1
Banihashem, S., Kerman, N., Noroozi, O., Moon, J., y Drachsler, H. (2024). Feedback sources in essay writing: Peer-generated or AI-generated feedback? International Journal of Educational Technology in Higher Education, 21(23), 1–15. https://doi.org/10.1186/s41239-024-00455-4
Bauer, E., Greisel, M., Kuznetsov, I., Berndt, M., Kollar, I., Dresel, M., Fischer, M. R. R., y Fischer, F. (2023). Using natural language processing to support peer-feedback in the age of artificial intelligence: A cross-disciplinary framework and a research agenda. British Journal of Educational Technology, 54, (5) 1222–1245 https://doi.org/10.1111/bjet.13336
Bradford, S. C. (1934). Sources of information on specific subjects. Engineering, 137, 85-86.
Chu, H. C., Hwang, G. H., Tu, Y. F., y Yang, K. H. (2022). Roles and research trends of artificial intelligence in higher education: A systematic review of the top 50 most-cited articles. Australasian Journal of Educational Technology, 38(3), 22–42. https://doi.org/10.14742/ajet.7526
Cotton, D. R., Cotton, P. A., y Shipway, J. R. (2023). Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, 61(2), 228–239. https://doi.org/10.1080/14703297.2023.2190148
Crawford, J., Cowling, M., y Allen, K. A. (2023). Leadership is needed for ethical ChatGPT: Character, assessment, and learning using artificial intelligence (AI). Journal of University Teaching & Learning Practice, 20(3), 1–21. https://doi.org/10.53761/1.20.3.02
Fahd, K., Venkatraman, S., Miah, S., y Ahmed, K. (2022). Application of machine learning in higher education to assess student academic performance, at-risk, and attrition: A metaanalysis of literature. Education and Information Technologies, 27(3), 3743–3775. https://doi.org/10.1007/s10639-021-10741-7
Fergus, S., Botha, M., y Ostovar, M. (2023). Evaluating academic answers generated using ChatGPT. Journal of Chemical Education, 100(4), 1672–1675. https://doi.org/10.1021/acs.jchemed.3c00087
Fischer, C., Pardos, Z. A., Baker, R. S., Williams, J. J., Smyth, P., Yu, R., y Warschauer, M. (2020). Mining big data in education: Affordances and challenges. Review of Research in Education, 44(1), 130–160. https://doi.org/10.3102/0091732X20903304
Huallpa, J. J. (2023). Exploring the ethical considerations of using ChatGPT in university education. Periodicals of Engineering and Natural Sciences, 11(4), 105–115. http://dx.doi.org/10.21533/pen.v11.i4.200
Huang, J., Saleh, S., y Liu, Y. (2021). A review on artificial intelligence in education. Academic Journal of Interdisciplinary Studies, 10(3), 206–217. https://doi.org/10.36941/ajis-2021-0077
Jiménez-García, E., Orenes-Martínez, N., y López-Fraile, L. A. (2024). Rueda de la Pedagogía para la Inteligencia Artificial: adaptación de la Rueda de Carrington. RIED-Revista Iberoamericana de Educación a Distancia, 27(1), 87–113. https://doi.org/10.5944/ried.27.1.37622
Lesage, J., Brennan, R., Eaton, S., Moya, B., Mcdermott, B., Wiens, J., y Herrero, K. (2024). Exploring natural language processing in mechanical engineering education: Implications for academic integrity. International Journal of Mechanical Engineering Education, 52(1), 88–105. https://doi.org/10.1177/03064190231166665
Liaw, S. Y., Tan, J. Z., Lim, S., Zhou, W., Yap, J., Ratan, R., Ooi, S. L., Wong, S. J., Seah, B., y Chua, W. L. (2023). Artificial intelligence in virtual reality simulation for interprofessional communication training: Mixed method study. Nurse Education Today, 122, 105718. https://doi.org/10.1016/j.nedt.2023.105718
Liu, Y., Fan, S., Xu, S., Sajjanhar, A., Yeom, S., y Wei, Y. (2023). Predicting Student Performance Using Clickstream Data and Machine Learning. Education Sciences, 13(1), 17. https://doi.org/10.3390/educsci13010017
Luckin, R. (2017). Towards artificial intelligence-based assessment systems. Nature Human Behaviour. 1 (3), 0028. https://doi.org/10.1038/s41562-016-0028
Palomo, J., Figueroa-Domecq, C., y Laguna, P. (2017). Women, peace and security state-of-art: a bibliometric analysis in social sciences based on SCOPUS database. Scientometrics, 113(1), 123–148. https://doi.org/10.1007/s11192-017-2484-x
Rico-Juan, J. R., Gallego, A.-J., y Calvo-Zaragoza, J. (2019). Automatic detection of inconsistencies between numerical scores and textual feedback in peer-assessment processes with machine learning. Computers & Education, 140, 103609, 1–16. https://doi.org/10.1016/j.compedu.2019.103609
Ruiz-Lázaro, J., Jiménez-García, E., y Huetos-Domínguez, M. (2024). Revisión sistemática sobre el uso de la tecnología en educación y el compromiso de los estudiantes en la última década. Campus Virtuales, 14(1), 139–152. https://doi.org/10.54988/cv.2025.1.1318
Ruiz-Lázaro, J. (2024). El aliado invisible: la inteligencia artificial revoluciona la preparación de la evaluación para el acceso a la universidad (EvAU). Padres y Maestros / Journal of Parents and Teachers, (398), 19–26. https://doi.org/10.14422/pym.i398.y2024.003
Sailer, M., Bauer, E., Hofmann, R., Kiesewetter, J., Glas, J., Gurevych, I., y Fischer, F. (2023). Adaptive feedback from artificial neural networks facilitates pre-service teachers’ diagnostic reasoning in simulation-based learning. Learning and Instruction, 83, 101620, 1–10. https://doi.org/10.1016/j.learninstruc.2022.101620
Saleem, N., Mufti, T., Sohail, S., y Madsen, D. (2024). ChatGPT as an innovative heutagogical tool in medical education. Cogent Education, 11(1), 1–9. https://doi.org/10.1080/2331186X.2024.2332850
Sefcik, L. T., Veeran-Colton, T., Baird, M., Price, C., y Steyn, S. (2022). An examination of student user experience (UX) and perceptions of remote invigilation during online assessment. Australasian Journal of Educational Technology, 38(2), 49–69. https://doi.org/10.14742/ajet.6871
Tarisayi, K. (2024). ChatGPT use in universities in South Africa through a socio-technical lens. Cogent Education, 11(1), 1–10. https://doi.org/10.1080/2331186X.2023.2295654
Uman, L. S. (2011). Systematic Reviews and Meta-Analyses. Journal of the Canadian Academy of Child & Adolescent Psychiatry, 20(1), 57–59.
Urrútia, G., y Bonfill, X. (2010). Declaración PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clínica, 135(11), 507-511.
Velt, H., Torkkeli, L., y Laine, I. (2020). Entrepreneurial ecosystem research: Bibliometric mapping of the domain. Journal of Business Ecosystems (JBE), 1(2), 43-83. https://doi.org/10.4018/JBE.20200701-oa1
Williams, R. (2024). The ethical implications of using generative chatbots in higher education. Frontiers in Education, 8, 1–8. https://doi.org/10.3389/feduc.2023.1331607
Zhang, J., Yu, Q., Zheng, F., Long, C., Lu, Z., y Duan, Z. (2016). Comparing keywords plus of WOS and author keywords: A case study of patient adherence research. Journal of the Association for Information Science and Technology, 67(4), 967–972. https://doi.org/10.1002/asi.23437