La inteligencia artificial en los procesos de evaluación en educación superior: un análisis bibliométrico (2014-2024)
Barre latérale de l'article
Contenu principal de l'article
Résumé
INTRODUCTION. L’intelligence artificielle (IA) dans l’enseignement supérieur constitue une innovation majeure qui transforme l’enseignement, l’apprentissage et l’évaluation académique. Cette dernière est essentielle pour fournir un retour d’information aux étudiants, évaluer leur compréhension et favoriser l’amélioration continue de l’apprentissage. L’objectif de cette étude est d’analyser la production scientifique relative à l’IA dans l’évaluation dans l’enseignement supérieur au cours de la dernière décennie. Cette analyse porte sur la productivité chronologique et géographique, ainsi que sur une étude détaillée des sources, des mots-clés et du nombre de citations des articles les plus influents dans ce domaine. MÉTHODE. Une revue bibliométrique et systématique a été réalisée en suivant les directives de la déclaration PRISMA. RÉSULTATS. Au départ, 2 275 études ont été identifiées dans la base de données Web of Science. Après application des critères d’éligibilité, 130 études empiriques ont été retenues pour une analyse approfondie. DISCUSSION. L’analyse conclut que les principales méthodes d’intégration de l’IA dans le processus d’évaluation incluent la rétroaction automatisée, la prédiction de la performance académique par l’analyse de données basée sur l’IA, l’utilisation de modèles linguistiques tels que ChatGPT, ainsi que la prise en compte des questions éthiques associées. Une augmentation significative du volume de publications a été observée sur la période 2023-2024, avec les États-Unis en tête de la production scientifique et les sciences de l’éducation comme principal domaine de diffusion. L’analyse des co-occurrences de mots révèle un manque d’uniformité terminologique, suggérant la nécessité de standardiser le langage afin d’améliorer la clarté dans ce domaine.
Téléchargements
Renseignements sur l'article
Cette œuvre est sous licence Creative Commons Attribution - Pas d'Utilisation Commerciale 4.0 International.
Références
Afzaal, M., Zia, A., Nouri, J., y Fors, U. (2023). Informative Feedback and Explainable AI-Based Recommendations to Support Students’ Self-regulation. Technology, Knowledge and Learning, 29(1), 331–354. https://doi.org/10.1007/s10758-023-09650-0
Ardanuy, J. (2012). Breve introducción a la bibliometría. Universitat de Barcelona. Recuperado de: http://diposit.ub.edu/dspace/bitstream/2445/30962/1/breve%20introduccion%20bibliometria.pdf
Banerjee, P., Srivastava, A., Adjeroh, D., Reddy, Y. R., y Karimian, N. (2023). Understanding Chat-GPT: Impact Analysis and Path Forward for Teaching Computer Science and Engineering. TechRxiv. https://doi.org/10.36227/techrxiv.22639705.v1
Banihashem, S., Kerman, N., Noroozi, O., Moon, J., y Drachsler, H. (2024). Feedback sources in essay writing: Peer-generated or AI-generated feedback? International Journal of Educational Technology in Higher Education, 21(23), 1–15. https://doi.org/10.1186/s41239-024-00455-4
Bauer, E., Greisel, M., Kuznetsov, I., Berndt, M., Kollar, I., Dresel, M., Fischer, M. R. R., y Fischer, F. (2023). Using natural language processing to support peer-feedback in the age of artificial intelligence: A cross-disciplinary framework and a research agenda. British Journal of Educational Technology, 54, (5) 1222–1245 https://doi.org/10.1111/bjet.13336
Bradford, S. C. (1934). Sources of information on specific subjects. Engineering, 137, 85-86.
Chu, H. C., Hwang, G. H., Tu, Y. F., y Yang, K. H. (2022). Roles and research trends of artificial intelligence in higher education: A systematic review of the top 50 most-cited articles. Australasian Journal of Educational Technology, 38(3), 22–42. https://doi.org/10.14742/ajet.7526
Cotton, D. R., Cotton, P. A., y Shipway, J. R. (2023). Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, 61(2), 228–239. https://doi.org/10.1080/14703297.2023.2190148
Crawford, J., Cowling, M., y Allen, K. A. (2023). Leadership is needed for ethical ChatGPT: Character, assessment, and learning using artificial intelligence (AI). Journal of University Teaching & Learning Practice, 20(3), 1–21. https://doi.org/10.53761/1.20.3.02
Fahd, K., Venkatraman, S., Miah, S., y Ahmed, K. (2022). Application of machine learning in higher education to assess student academic performance, at-risk, and attrition: A metaanalysis of literature. Education and Information Technologies, 27(3), 3743–3775. https://doi.org/10.1007/s10639-021-10741-7
Fergus, S., Botha, M., y Ostovar, M. (2023). Evaluating academic answers generated using ChatGPT. Journal of Chemical Education, 100(4), 1672–1675. https://doi.org/10.1021/acs.jchemed.3c00087
Fischer, C., Pardos, Z. A., Baker, R. S., Williams, J. J., Smyth, P., Yu, R., y Warschauer, M. (2020). Mining big data in education: Affordances and challenges. Review of Research in Education, 44(1), 130–160. https://doi.org/10.3102/0091732X20903304
Huallpa, J. J. (2023). Exploring the ethical considerations of using ChatGPT in university education. Periodicals of Engineering and Natural Sciences, 11(4), 105–115. http://dx.doi.org/10.21533/pen.v11.i4.200
Huang, J., Saleh, S., y Liu, Y. (2021). A review on artificial intelligence in education. Academic Journal of Interdisciplinary Studies, 10(3), 206–217. https://doi.org/10.36941/ajis-2021-0077
Jiménez-García, E., Orenes-Martínez, N., y López-Fraile, L. A. (2024). Rueda de la Pedagogía para la Inteligencia Artificial: adaptación de la Rueda de Carrington. RIED-Revista Iberoamericana de Educación a Distancia, 27(1), 87–113. https://doi.org/10.5944/ried.27.1.37622
Lesage, J., Brennan, R., Eaton, S., Moya, B., Mcdermott, B., Wiens, J., y Herrero, K. (2024). Exploring natural language processing in mechanical engineering education: Implications for academic integrity. International Journal of Mechanical Engineering Education, 52(1), 88–105. https://doi.org/10.1177/03064190231166665
Liaw, S. Y., Tan, J. Z., Lim, S., Zhou, W., Yap, J., Ratan, R., Ooi, S. L., Wong, S. J., Seah, B., y Chua, W. L. (2023). Artificial intelligence in virtual reality simulation for interprofessional communication training: Mixed method study. Nurse Education Today, 122, 105718. https://doi.org/10.1016/j.nedt.2023.105718
Liu, Y., Fan, S., Xu, S., Sajjanhar, A., Yeom, S., y Wei, Y. (2023). Predicting Student Performance Using Clickstream Data and Machine Learning. Education Sciences, 13(1), 17. https://doi.org/10.3390/educsci13010017
Luckin, R. (2017). Towards artificial intelligence-based assessment systems. Nature Human Behaviour. 1 (3), 0028. https://doi.org/10.1038/s41562-016-0028
Palomo, J., Figueroa-Domecq, C., y Laguna, P. (2017). Women, peace and security state-of-art: a bibliometric analysis in social sciences based on SCOPUS database. Scientometrics, 113(1), 123–148. https://doi.org/10.1007/s11192-017-2484-x
Rico-Juan, J. R., Gallego, A.-J., y Calvo-Zaragoza, J. (2019). Automatic detection of inconsistencies between numerical scores and textual feedback in peer-assessment processes with machine learning. Computers & Education, 140, 103609, 1–16. https://doi.org/10.1016/j.compedu.2019.103609
Ruiz-Lázaro, J., Jiménez-García, E., y Huetos-Domínguez, M. (2024). Revisión sistemática sobre el uso de la tecnología en educación y el compromiso de los estudiantes en la última década. Campus Virtuales, 14(1), 139–152. https://doi.org/10.54988/cv.2025.1.1318
Ruiz-Lázaro, J. (2024). El aliado invisible: la inteligencia artificial revoluciona la preparación de la evaluación para el acceso a la universidad (EvAU). Padres y Maestros / Journal of Parents and Teachers, (398), 19–26. https://doi.org/10.14422/pym.i398.y2024.003
Sailer, M., Bauer, E., Hofmann, R., Kiesewetter, J., Glas, J., Gurevych, I., y Fischer, F. (2023). Adaptive feedback from artificial neural networks facilitates pre-service teachers’ diagnostic reasoning in simulation-based learning. Learning and Instruction, 83, 101620, 1–10. https://doi.org/10.1016/j.learninstruc.2022.101620
Saleem, N., Mufti, T., Sohail, S., y Madsen, D. (2024). ChatGPT as an innovative heutagogical tool in medical education. Cogent Education, 11(1), 1–9. https://doi.org/10.1080/2331186X.2024.2332850
Sefcik, L. T., Veeran-Colton, T., Baird, M., Price, C., y Steyn, S. (2022). An examination of student user experience (UX) and perceptions of remote invigilation during online assessment. Australasian Journal of Educational Technology, 38(2), 49–69. https://doi.org/10.14742/ajet.6871
Tarisayi, K. (2024). ChatGPT use in universities in South Africa through a socio-technical lens. Cogent Education, 11(1), 1–10. https://doi.org/10.1080/2331186X.2023.2295654
Uman, L. S. (2011). Systematic Reviews and Meta-Analyses. Journal of the Canadian Academy of Child & Adolescent Psychiatry, 20(1), 57–59.
Urrútia, G., y Bonfill, X. (2010). Declaración PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clínica, 135(11), 507-511.
Velt, H., Torkkeli, L., y Laine, I. (2020). Entrepreneurial ecosystem research: Bibliometric mapping of the domain. Journal of Business Ecosystems (JBE), 1(2), 43-83. https://doi.org/10.4018/JBE.20200701-oa1
Williams, R. (2024). The ethical implications of using generative chatbots in higher education. Frontiers in Education, 8, 1–8. https://doi.org/10.3389/feduc.2023.1331607
Zhang, J., Yu, Q., Zheng, F., Long, C., Lu, Z., y Duan, Z. (2016). Comparing keywords plus of WOS and author keywords: A case study of patient adherence research. Journal of the Association for Information Science and Technology, 67(4), 967–972. https://doi.org/10.1002/asi.23437