https://doi.org/10.4438/1988-592X-RE-2025-411-729
Estela Mayor-Alonso
Universidad de León
https://orcid.org/0000-0001-8226-3880
Javier Vidal
Universidad de León
https://orcid.org/0000-0003-1060-6957
Agustín Rodríguez-Esteban
Universidad de León
https://orcid.org/0000-0002-7409-5976
Los recientes avances tecnológicos están creando nuevos desafíos educativos. El auge de la Inteligencia Artificial está posibilitando la implementación de nuevas herramientas útiles para la educación. En el caso de los servicios de orientación universitaria se destacan aplicaciones como Copilot o ChatGPT, basadas en modelos de lenguaje multimodal. El objetivo de este estudio es analizar la calidad y la fiabilidad de las respuestas que proporcionan Copilot y ChatGPT a preguntas planteadas por estudiantado en redes informales. El método se basó en un enfoque cualitativo y de validación analítica que evaluase la precisión de las respuestas. Se aplicó en Copilot y ChatGPT-4 una herramienta de observación conformada por 48 ítems, divididos en cuatro bloques temáticos: acceso, gestión, dificultad de estudios y empleabilidad, para quince universidades públicas. Se determinó un grado de ajuste suficiente del 100% para todos los bloques temáticos, excepto en gestión. En él, se encontraron dos ítems con un grado de ajuste insuficiente. Ambos fueron implementados en el nuevo modelo de lenguaje multimodal ChatGPT-4o y se detectó una mejora en el grado de ajuste. Posteriormente, se describieron las respuestas proporcionadas por ChatGPT-4o y la información encontrada en las páginas web, destacando la confusión respecto a la información del precio del crédito en las páginas web y la dificultad para encontrar el límite máximo de créditos a cursar simultaneando estudios. Se concluye que Copilot y ChatGPT tienen potencial como servicios de orientación universitaria. La eficacia de estos asistentes de IA dependerá de la calidad y accesibilidad de la información en las páginas web universitarias. Es fundamental que las universidades organicen y actualicen la información de sus páginas para mejorar la efectividad de aplicaciones basadas en IA.
inteligencia artificial, orientación, reconocimiento de estudios, tecnología de la educación, universidad
Recent technological advances are creating new educational challenges. The rise of Artificial Intelligence is enabling the implementation of new tools useful for education. In the case of university guidance services, applications such as Copilot or ChatGPT, based on multimodal language models, stand out. The aim of this study is to analyse the quality and reliability of the answers provided by Copilot and ChatGPT to questions posed by students in informal networks. The method was based on a qualitative and analytical validation approach to assess the accuracy of the answers. An observation tool consisting of 48 items, divided into four thematic blocks: access, management, difficulty of studies and employability, was applied in Copilot and ChatGPT-4 for fifteen public universities. A sufficient degree of fit of 100% was determined for all thematic blocks, except for management. Two items were found to have an insufficient degree of fit. Both were implemented in the new multimodal language model ChatGPT-4o and an improvement in the degree of fit was detected. Subsequently, the answers provided by ChatGPT-4o and the information found on the websites were described, highlighting the confusion regarding the credit price information on the websites and the difficulty in finding the maximum limit of credits to be taken while studying at the same time. It is concluded that Copilot and ChatGPT have potential as university guidance services. The effectiveness of these AI assistants will depend on the quality and accessibility of information on university websites. It is essential that universities organise and update the information on their websites to improve the effectiveness of AI-based applications.
Los cambios tecnológicos producidos en los últimos años han generado nuevos retos educativos. La educación universitaria, entorno caracterizado por la Volatilidad, Incertidumbre, Complejidad y Ambigüedad (VUCA), es una de las etapas más influyentes para el desarrollo profesional del estudiantado (Falcón-Linares y Arraiz-Pérez, 2017). Los servicios de apoyo y orientación que estas instituciones ofrecen, entendidos como el conjunto de estrategias de ayuda y apoyo diseñadas para guiar al estudiantado en su proceso de formación y en su desarrollo personal, profesional y académico (Sánchez Cabezas et al., 2018; Vieira et al., 2006), deben adaptarse para poder responder eficazmente a este entorno cambiante.
La orientación, reconocida desde 2010 como un derecho del estudiantado en el ámbito universitario, debe prestar atención de forma individual y grupal (González-Castellano et al., 2023; Real Decreto 1791/2010; Viñuela y Vidal, 2023). Este derecho garantiza que el estudiantado reciba el apoyo necesario para afrontar aquellos desafíos académicos y personales que se presentan durante su formación universitaria. Actualmente, se le sigue otorgando dicha importancia, e incluso se fomenta un entorno más inclusivo (Ley 3/2022 de Convivencia Universitaria) y participativo, donde el estudiantado colabora activamente en las actividades y decisiones que se deban tomar en las instituciones (Ley Orgánica 2/2023 del Sistema Universitario).
Álvarez-Pérez et al. (2020) consideran que el proceso de orientación debe iniciarse en los institutos de educación secundaria y bachillerato, y continuar en las universidades. Esta orientación, durante la transición a la universidad, debe ser colaborativa entre las diversas instituciones. Con el fin de promover una orientación y un asesoramiento en la etapa inicial de los estudios universitarios (Ley Orgánica 2/2023 del Sistema Universitario) es esencial atender a aspectos como la volatilidad y la incertidumbre. Por este motivo, es necesario asegurar que, tanto el estudiantado como las instituciones, estén al tanto de los últimos avances tecnológicos, y se preparen para adaptarse a los rápidos y constantes cambios en el entorno educativo (Chvanova et al., 2016; Cueva Gaibor, 2020).
En los últimos años, las innovaciones tecnológicas han sido uno de los principales motores de cambio en la sociedad, por lo que resultaría interesante integrarlas en los servicios de orientación, tutoría y apoyo (Flores-Vivar y García-Peñalvo, 2023). La digitalización de estos servicios puede mejorar la accesibilidad y personalización del apoyo que el estudiantado recibe, permitiendo una intervención más rápida y eficiente en determinadas situaciones.
En este sentido, la aparición y rápida difusión de la inteligencia artificial ha tenido un impacto significativo en la sociedad; extendiendo su influencia al ámbito de la enseñanza y el aprendizaje (Bearman, 2022). No obstante, pese a la oportunidad que representan dichas innovaciones, debe atenderse a cuestiones éticas, especialmente en la protección de datos. Esto, resalta la necesidad de adoptar estrategias que promuevan un uso responsable de la inteligencia artificial (Flores-Vivar y García-Peñalvo, 2023; UNESCO, 2021). Ante esta situación, será importante atender al desarrollo de nuevas normativas como la Ley de Inteligencia Artificial de la Unión Europea (Reglamento [UE] 2024/1689, 2024).
La inteligencia artificial (IA) es la rama de la informática dedicada
a la creación de sistemas inteligentes, capaces de realizar tareas de
manera automática, simulando el comportamiento humano (García-Peñalvo et
al., 2024). Aprendizaje, razonamiento, resolución de problemas,
comprensión del lenguaje natural o apoyo en la toma de decisiones son
algunas de las tareas que la caracterizan (Herrera-Ortíz et al., 2024).
La IA se divide en varias disciplinas, entre las que destacan el
aprendizaje automático (
En el ámbito educativo, los
A la vista de los avances tecnológicos y la importancia de saber adaptar los servicios de orientación, se plantea la siguiente pregunta de investigación: ¿podrían estos modelos de lenguaje especializarse en la orientación al estudiantado universitario? Para poder responderla, se pretende analizar la calidad y fiabilidad de las respuestas de Copilot y los modelos de ChatGPT-4. En este estudio, como se detallará en el método, ambos conceptos se entienden en función del grado de ajuste de las respuestas ofrecidas por los modelos de IA generativa. En este contexto, los objetivos específicos establecidos son los siguientes: (1) analizar el grado de ajuste de las respuestas generadas por Copilot y ChatGPT a preguntas planteadas por el estudiantado en foros (2) describir el contenido de las respuestas generadas por ChatGPT-4o en relación con la información procedente de las páginas webs de las universidades.
El método de investigación es cualitativo y de validación analítica (McMillan y Schumacher, 2005). Por tanto, se busca conocer qué respuesta proporciona la IA generativa y en qué medida se ajusta a la información real que aparece en las páginas web de las universidades, es decir, no se pretende generalizar resultados ni hacer inferencias estadísticas, sino valorar la precisión del contenido.
Considerando esto, el análisis parte de la adaptación de la herramienta de Mayor-Alonso et al. (2024) y su posterior aplicación en Copilot y ChatGPT-4. En este estudio, se analizó el grado de ajuste de las respuestas que proporciona Copilot y ChatGPT-4 en 2024. En un segundo momento, se seleccionaron aquellos ítems en los que se presentaban respuestas con un grado de ajuste insuficiente y se volvieron a plantear en el reciente modelo de lenguaje multimodal, ChatGPT-4o. Finalmente, se comparó dicha información con la presentada en las páginas web de las universidades públicas de España.
Para el análisis, Mayor-Alonso et al. (2024) seleccionaron 15
universidades públicas que contaban con un servicio de
Para la recogida de la información se adaptó la herramienta creada
por Mayor-Alonso et al. (2024). La herramienta original constaba de 63
ítems divididos en dos tablas: una relacionada con los aspectos
generales de procedimiento de un
En este estudio, únicamente se trabajó con los ítems de la segunda tabla, ya que el análisis se centró exclusivamente en el contenido de las respuestas. Esta información, se puede ver en el Anexo I, Tabla IV, detallando por cada bloque temático la columna izquierda, en la que aparece el ítem, y la columna derecha, en la que aparece el descriptor que debe caracterizar a las respuestas con un grado de ajuste suficiente.
En esta herramienta adaptada se redujo el número de ítems a 48,
descartando 6 ítems debido a que eran preguntas demasiado abiertas y
podían generar múltiples interpretaciones por parte de los modelos de IA
generativa y los investigadores. Esta decisión, refuerza la validez del
instrumento al eliminar ítems que puedan derivar en respuestas
subjetivas, alejadas del carácter informativo y preciso que se pretende
fomentar en los
La herramienta adaptada mantiene la estructura temática del diseño original: acceso, gestión, dificultad de estudios y empleabilidad. La selección y agrupación de los ítems en cuatro bloques temáticos se realizó de forma inductiva. A su vez, esta manera de organizar la herramienta responde a un criterio cronológico, atendiendo a las distintas fases del proceso académico del estudiantado: desde el acceso a la universidad (antes), la gestión, experiencia y dificultad de ciertos estudios (durante), hasta las percepciones acerca de la empleabilidad (después).
Considerando que se plantearon los 48 ítems para cada una de las 15 universidades en dos modelos de IA generativa se obtuvieron un total de 1440 respuestas. Siguiendo el enfoque de Mayor-Alonso et al. (2024), se establecieron, bajo una escala dicotómica, dos niveles de calidad de respuesta que atienden a los descriptores de la herramienta: si el grado de ajuste es suficiente, siendo 1 cuando se responde correctamente a lo que se pregunta, y si el grado de ajuste es insuficiente, siendo 0 cuando la respuesta es incorrecta (por no ajustarse al descriptor o porque en los casos en los que responde con una cifra cuantitativa, esta no es real) o no se responde nada.
Se utilizaron dos modelos de IA generativa: a) Copilot de Microsoft,
que permite mantener una conversación basada en un contexto
predeterminado; y b) ChatGPT de OpenAI, que permite crear GPTs
personalizados, es decir, modelos de IA generativa diseñados para
generar texto mediante
Para implementar la herramienta en Copilot, se inició una conversación por cada universidad con el siguiente mensaje:
Para implementar la herramienta en ChatGPT, se generó una base de
datos con un mínimo de 7 y un máximo de 10 enlaces públicos y accesibles
en las páginas web de cada universidad, con información ajustada a los
ítems, extraídos de los siguientes apartados: futuros estudiantes,
acceso, preinscripción y matrícula, oferta académica, grados, máster,
doctorados, becas y ayudas. Se generaron
“Actúa como un orientador de la Universidad U, dirigido a futuros estudiantes, así como a aquellos que se encuentren realizando estudios de grado, máster y doctorado. Para realizar esta función, utiliza los enlaces web de la universidad y que se encuentran especificados a continuación. Estos están relacionados con los siguientes temas: acceso, preinscripción matrícula, normativas, becas y programas académicos.
Debes responder a todas las preguntas que haga cada estudiante como si fueses un orientador. Todas las respuestas deben estar relacionadas con la Universidad U, asegurando que la información sea relevante y específica a esta institución. En caso de no poder proporcionar una respuesta detallada a alguna consulta, se informará claramente al estudiante, recomendándole buscar información adicional a través de los canales oficiales de la universidad”
Tras obtener las 1440 respuestas, dos investigadores, de manera independiente evaluaron su grado de ajuste, con el fin de asegurar la validez y fiabilidad de los resultados. Para ello, se tuvo en cuenta los descriptores para cada uno de los ítems de la Tabla IV del Anexo I. Se obtuvo una coincidencia del 100% en ChatGPT-4, mientras que en Copilot se obtuvo una discrepancia inicial en 22 respuestas, obteniéndose un coeficiente Kappa de Cohen de 0,842, considerado concordancia casi perfecta (Cohen, 1968). Posteriormente, se revisaron las discrepancias, concluyendo que se derivaban de una forma diferente de interpretar los descriptores. Clarificando este problema, se obtuvo un acuerdo del 100% en Copilot, permitiendo avanzar con el análisis.
Considerando que el grado de ajuste suficiente era del 100% en tres de los cuatro bloques temáticos para los dos modelos de IA generativa, se decidió estudiar las razones por las que no se alcanzaba el mismo porcentaje para el bloque temático de gestión.
Tras observar cada una de las respuestas de este bloque temático, se detectaron dos en los que se responde con un grado de ajuste insuficiente:
Dado que se trata de dos preguntas complejas que requieren de un dato cuantitativo concreto, y ante la presentación, el 13 de mayo de 2024 del nuevo modelo de lenguaje multimodal, ChatGPT-4o, se decidió plantear los dos ítems en ChatGPT-4o.
Para obtener las 30 respuestas y con el fin de agilizar la
investigación, se utilizó un Google Sheet, integrado con ChatGPT, al que
se vinculó el nuevo modelo. Esta herramienta proporcionada por la
empresa especializada en inteligencia artificial,
El prompt utilizado esta vez fue el siguiente:
“Quiero que actúes como un orientador para ayudar a los estudiantes que vayan a acceder a la universidad y que se encuentren realizando estudios de grado, máster y doctorado. Para que puedas realizar esta función busca todos los enlaces y documentos de la U que consideres relevantes para responder a las siguientes preguntas: 1. ¿Cuál es el precio por reconocer los créditos de una carrera a otra? 2. Si estoy haciendo dos carreras a la vez ¿cuántos créditos puedo cursar por año? Quiero una respuesta explícita en la que se indique claramente el precio por reconocer los créditos de una universidad a otra y en la que se indiquen cuántos créditos puedo cursar por año al estar haciendo dos carreras a la vez”
Una vez obtenidas las respuestas, se determinó el grado de ajuste para cada una de ellas, se realizó un análisis estadístico a través de la prueba chi cuadrado con el fin de conocer si las diferencias entre Copilot, ChatGPT-4 y ChatGPT-4o eran significativas, y se verificó si la información proporcionada por ChatGPT-4o es la misma que la indicada en las páginas web de las universidades.
La búsqueda manual para cada una de las páginas web se realizó considerando los siguientes términos clave: “reconocimiento de créditos” y “precios públicos” para el ítem 25 y “simultaneidad de estudios” y “normas de permanencia” para el ítem 26. Cabe destacar que, en casi todas las preguntas el número de pasos necesarios para acceder a la información no supera los cinco, y que dicha información no se encontraba tanto en documentos PDF de precios públicos y normas de permanencia, cómo en las propias páginas web.
Este procedimiento aseguró una evaluación rigurosa y sistemática de las respuestas de la aplicación, proporcionando un análisis exhaustivo de su precisión y fiabilidad en el contexto de las universidades públicas en España.
La presentación de resultados se estructura en tres partes. En primer lugar, se presenta el grado de ajuste de las respuestas proporcionadas por Copilot y ChatGPT-4, destacando aquellos bloques temáticos con un grado de ajuste suficiente. En segundo lugar, se presenta la comparación del grado de ajuste insuficiente entre Copilot, ChatGPT-4 y ChatGPT-4o para los ítems 25 y 26 del bloque temático de gestión. Finalmente, se presenta el análisis de contenido de las respuestas a estos dos ítems, ofrecidas por ChatGPT-4o y la información disponible en las páginas web de las universidades. Esta estructura permite comprender de manera detallada los resultados obtenidos en cada etapa de análisis.
La Tabla I muestra el porcentaje relativo al grado de ajuste en cada uno de los bloques temáticos. En tres de ellos se alcanzó un grado de ajuste suficiente del 100%, lo que indica que Copilot y ChatGPT-4 respondieron correctamente a las preguntas planteadas.
| Bloques temáticos | Grado de ajuste suficiente (%) | |
| Copilot | ChatGPT-4 | |
| Acceso | 100 | 100 |
| Gestión | 95 | 90 |
| Dificultad de estudios | 100 | 100 |
| Empleabilidad | 100 | 100 |
| Total | 98 | 97 |
Fuente: elaboración propia
A modo de representación, se muestran algunos ejemplos de respuesta a preguntas para cada bloque temático, desde el acceso hasta la empleabilidad. Resaltar que las respuestas presentadas de algunos ítems fueron elegidas por su capacidad para mostrar con claridad el tipo de información que proporciona el modelo de IA generativa. Por motivos de espacio se han recortado algunas respuestas indicando puntos suspensivos (…).
En el bloque de Acceso se destaca el ítem 4, donde se solicita información acerca del bachillerato recomendado para estudiar bioquímica o química. Copilot y ChatGPT-4 adquieren una función orientadora, ofreciendo consejos sobre qué tipo de bachillerato sería el mejor. Como se observa en los ejemplos, las respuestas no sólo indican cuál sería el bachillerato más apropiado, sino que además explican para qué serviría cada uno de ellos.
“Para estudiar bioquímica o química en la U1, necesitarías un bachillerato de ciencias. La universidad ofrece dos itinerarios específicos dentro del Bachillerato de Ciencias: El Bachillerato de Ciencias de la Salud va a permitir a los estudiantes que lo cursen adquirir conocimientos y destrezas básicas para cursar estudios superiores centrados en el área de la salud. (…) El Bachillerato Científico y Técnico está más relacionado con la informática, la ingeniería y las nuevas tecnologías” (CopilotU1)
“Para estudiar Bioquímica o Química en la U12 u otra universidad en España, lo más recomendable sería cursar un Bachillerato en la modalidad de Ciencias, específicamente el Bachillerato de Ciencias de la Salud o el Bachillerato Científico-Tecnológico (…)” (ChatGPT-4U12)
En el bloque de Gestión, omitiendo los dos ítems en los que el grado de ajuste es insuficiente, se destaca el ítem 23, donde se pregunta si es necesario tener una nota media alta para poder realizar un traslado de expediente de una universidad a otra. Como se observa en los ejemplos, las respuestas de Copilot y ChatGPT-4, proporcionan orientación sobre la importancia de obtener una buena nota media, aclarando que este no será el único factor determinante que posibilite realizar un traslado de expediente.
“El proceso de traslado de expediente puede variar según la universidad y la titulación. En general, para solicitar el traslado de expediente es necesario haber aprobado un número mínimo de créditos en la universidad de origen y cumplir con los requisitos de acceso de la Universidad de destino. En cuanto a la nota media, algunas universidades tienen en cuenta la nota media del expediente académico para el traslado de expediente. Sin embargo, el peso de la nota media en el proceso de traslado puede variar según la universidad y la titulación” (CopilotU4)
“El requisito de tener una nota media alta para el traslado de expediente de una Universidad a otra varía en función de varios factores incluyendo la política de la Universidad de destino y la demanda del programa de estudios al que deseas trasladarte (…). Algunas pueden requerir una nota media mínima, especialmente para programas con alta demanda o limitaciones de cupo (…)” (ChatGPT-4U2)
En el bloque de Dificultad de estudios se destaca el ítem 33, donde se solicita información acerca de la dificultad de estudiar la carrera de informática. Como se observa en el ejemplo de Copilot, las respuestas parten de la información presentada en encuestas que se encuentran en internet, y al igual que en ChatGPT-4, aportan orientaciones a tener en cuenta:
“La dificultad de hacer la carrera de informática puede variar según la Universidad y el país donde se estudie. Según una encuesta realizada a estudiantes universitarios en España, la carrera de ingeniería informática podría considerarse como una de las carreras más difíciles, si se piensa en que implica adquirir conocimientos matemáticos y de cálculo. Sin embargo, es uno de los grados más prácticos de los que se pueden estudiar hoy en día, facilitando así el aprendizaje. Por otro lado, según otra fuente, una carrera de informática o ingeniería informática no es difícil, simplemente exige trabajo y constancia. Si un alumno asiste a las clases, está atento (…)” (CopilotU5)
“La percepción de la dificultad de estudiar la carrera de informática en la U11 puede variar ampliamente según diferentes factores individuales y académicos. A continuación, te describo algunos aspectos que pueden influir en cómo se percibe la dificultad de esta carrera: 1. Interés y afición por la tecnología y la informática (…) 2. Habilidades en matemáticas y lógica (…) 3. Compromiso y dedicación al estudio (…)” (ChatGPT-4U11)
En el bloque de Empleabilidad se destaca el ítem 45, donde se solicita información acerca de las salidas profesionales de la carrera de educación infantil. Como se observa en los ejemplos de Copilot y ChatGPT-4, las respuestas indican multitud de salidas profesionales.
“Los graduados en educación infantil de la U8 pueden optar por una amplia variedad de salidas profesionales. Algunas de las opciones incluyen trabajar como educador o educadora infantil en primer ciclo de educación infantil, en escuelas infantiles y colegios públicos, en instituciones con menores (0-6 años), en programas específicos con menores, de 0 a 6 años, en situación de riesgo social en proyectos de atención a la infancia, en ludotecas, en proyectos de atención familiar, en educación ambiental en la primera infancia, en actividades extraescolares y de tiempo libre, en apoyo escolar, en bibliotecas infantiles, entre otros” (CopilotU8)
“La carrera de Educación Infantil prepara a los graduados para una variedad de roles centrados en el cuidado y la educación de niños pequeños. Las salidas profesionales típicas incluyen: 1. Docencia en educación infantil (…) 2. Educación especial (…), 3. Coordinación y dirección de centros de educación infantil (…)” (ChatGPT-4U14)
Como se observó en la Tabla I, el único bloque temático que no
obtuvo un grado de ajuste suficiente del 100% fue el de gestión,
señalando que la dificultad de obtener respuestas ajustadas a lo que
se preguntaba se encontraba en el ítem 25 y el ítem 26. Por ello, la
Tabla II muestra el porcentaje relativo al grado de ajuste en los dos
ítems, distinguiendo entre Copilot, ChatGPT-4 y ChatGPT-4o. Aunque las
diferencias no alcanzan el grado de significación estadística
(
TABLA II. Grado de ajuste de las respuestas para Copilot, ChatGPT-4 y ChatGPT-4o
| Grado de ajuste (%) | Copilot | ChatGPT-4 | ChatGPT-4o | |||
|---|---|---|---|---|---|---|
| Ít25 | Ít26 | Ít25 | Ít26 | Ít25 | Ít26 | |
| Insuficiente | 27 | 33 | 93 | 27 | 7 | 0 |
| Suficiente | 73 | 67 | 7 | 73 | 93 | 100 |
Fuente: elaboración propia
Copilot presenta un alto grado de ajuste en los ítems 25 (73%) y 26 (67%). Para este último, ChatGPT-4 también alcanza un 73%. Por el contrario, en el ítem 25, el grado de ajuste suficiente es un 7%, ya que, como se muestra en el ejemplo, ninguna respuesta es correcta, ni menciona explícitamente un precio, ni se ajusta al descriptor.
“El precio por el reconocimiento de créditos de una carrera a otra en las universidades españolas, incluida la U10, puede variar dependiendo de varios factores, como la Comunidad Autónoma y la política específica de la universidad (…)” (ChatGPT-4U10)
En el siguiente modelo al que se aplicaron los dos ítems, ChatGPT-4o, presenta casi un 100% de respuestas con un grado de ajuste suficiente en el ítem 25, y para el ítem 26, un 100% de respuestas con un grado de ajuste suficiente, es decir, todas las respuestas proporcionan datos cuantitativos y detallados sobre lo que se pregunta.
De manera detallada, se presentan los hallazgos obtenidos al comparar la información proporcionada en la aplicación con la disponible en las páginas web.
En el ítem 25, se busca determinar el costo del reconocimiento de créditos al cambiar de una carrera a otra, por lo que la respuesta esperada debe centrarse en proporcionar una estimación de los costos asociados. Al comparar las respuestas de ChatGPT-4o con la información encontrada en las páginas web, se observa que la información se presenta de dos maneras: expresada en euros o en términos porcentuales.
Ninguna de las cinco universidades que responden el precio del crédito expresado en euros ofrece una respuesta correcta (U1, U2, U3, U8, U15). Esto se debe a que el precio que están indicando se refiere al crédito de una asignatura en primera matrícula y no al de reconocimiento. Por ejemplo, en el caso de U2, ChatGPT-4o expone lo siguiente:
“(…) Para el curso académico 2022-2023, el precio por reconocimiento de créditos en estudios de grado es de aproximadamente 12,62 euros por crédito (…)” (U2)
En la página web, en el documento de precios públicos, se especifica que se debe abonar el 30% de lo establecido en el anexo 1 (anexo en el que aparecen los precios por crédito en función del número de matrícula), es decir, el 30% de 12,62€ por cada crédito. Por tanto, si una asignatura tiene 6 créditos y se debe aplicar un 30% a cada uno de estos créditos, el costo por el reconocimiento de la asignatura sería de 22,74€.
Las diez universidades (U4, U5, U7, U9, U10, U12, U13, U14) que responden con el porcentaje que se debe aplicar a cada crédito para reconocerlos, responden que debe ser del 25%.
“- **Grado**: El precio por crédito reconocido es el 25% del precio del crédito en primera matrícula. Por ejemplo, si el precio del crédito en primera matrícula es de 25 euros, el coste por crédito reconocido sería de 6,25 euros.
- **Máster**: El precio por crédito reconocido es el 25% del precio del crédito en primera matrícula. Por ejemplo, si el precio del crédito en primera matrícula es de 45 euros, el coste por crédito reconocido sería de 11,25 euros.” (U10)
De estas, solo dos (U6, U11) no proporcionan información correcta. Según el precio público establecido en el documento, no se debe de aplicar un 25% para esas dos universidades, sino un 30%.
En el ítem 26, se busca determinar cuántos créditos se pueden cursar por año si se están haciendo dos carreras a la vez, por lo que la respuesta esperada debe centrarse en proporcionar cuáles son los límites de créditos permitidos al simultanear estudios. Al comparar las respuestas de ChatGPT-4o con la información encontrada en las páginas web, se observa que el número máximo de créditos establecido para simultanear estudios es de 90 créditos.
En las quince universidades se establece como máximo número de créditos 90. No obstante, en tres de ellas, se dan intervalos. En U1, se da el intervalo 90 a 120 créditos y en U3 y U9 intervalos de 78 a 90 créditos, distinguiendo incluso entre simultaneidad en grado y máster.
“(…) en la mayoría de las universidades españolas, incluyendo la U1, el límite suele estar en torno a los 90-120 créditos por año académico, aunque esto puede depender de la capacidad del estudiante y la aprobación de la universidad” (U1)
“(…) Estudiantes de Grado**: Pueden matricularse en un máximo de 90 créditos por año académico. Estudiantes de Máster**: Pueden matricularse en un máximo de 75 créditos por año académico” (U9)
En tres de las quince universidades (U2, U7, U9) se menciona el límite máximo de 90 créditos, pero no se pudo verificar esta información ya que no se encontró en sus respectivas páginas web.
Esta restricción de créditos, como se menciona en la mayoría de las respuestas y en el ejemplo (U15), tiene como objetivo evitar que el estudiantado se enfrente a una carga académica excesiva.
“(…) Es importante tener en cuenta que esta limitación está diseñada para asegurar que los estudiantes puedan manejar la carga de trabajo y mantener un buen rendimiento académico” (U15)
En este estudio se analizó el grado de ajuste de las respuestas proporcionadas por Copilot y ChatGPT-4, comparando posteriormente las que presentan un grado de ajuste insuficiente con las respuestas del nuevo lenguaje multimodal ChatGPT-4o. El foco de análisis fueron las respuestas a los ítems relativos al precio por reconocimiento de créditos y simultaneidad de estudios, correspondientes al bloque temático de gestión. Se describió si la información proporcionada por ChatGPT-4o coincidía con la indicada en las páginas web de las quince universidades, y se trató de investigar las posibles razones por las que la aplicación no logró encontrar la información en alguna de las universidades.
Respecto al primer objetivo, se analizó el grado de ajuste de las respuestas proporcionadas por Copilot y ChatGPT-4, encontrando un grado de ajuste suficiente del 100% para tres de los cuatro bloques temáticos. Esto permitió identificar que la investigación principal debía centrarse en los ítems con un grado de ajuste insuficiente, es decir, dos en los que se solicitaba información de carácter cuantitativo.
Posteriormente, se evaluó si ChatGPT-4o mejoraba el grado de ajuste de las respuestas, concluyendo un mayor grado de ajuste suficiente en los dos ítems. En contraste, Copilot y ChatGPT-4, presentan mayor grado de ajuste insuficiente tanto para el ítem 25 como para el ítem 26. Inicialmente, esto sugirió que ChatGPT-4o ofrecía respuestas con mayor precisión y adecuación. No obstante, tras aplicar una prueba de chi-cuadrado no se pudo llegar a afirmar que la diferencia de ajuste fuese significativa.
Respecto al segundo objetivo, se describió, a partir de un análisis de contenido, la información proporcionada en las respuestas junto con la de las páginas web de las universidades. Se sugiere contemplar la dificultad que supone tanto para la IA como para el estudiantado localizar dicha información concreta.
En cuanto a esa búsqueda manual, la mayoría de la información se encuentra en documentos PDF de precios públicos y normas de permanencia, o directamente en las páginas web de las universidades, generalmente accediendo a través de menos de cinco pasos. Esto sugiere que la información está relativamente disponible pero que su correcta interpretación y presentación es crucial para la orientación. Sería recomendable organizar esta información en las páginas web, de manera más accesible, e incluso creando un apartado específico referente a los créditos que se pueden cursar, dependiendo de si se cursa un único grado, un doble grado o de si se trata de una simultaneidad de estudios.
Respecto a la pregunta de investigación inicial: ¿podrían estos modelos de lenguaje especializarse en la orientación al estudiantado universitario? ChatGPT-4o demuestra tener un modelo de lenguaje generativo más preciso cuando se trata de obtener información sobre datos cuantitativos concretos en los dos ítems analizados. No obstante, ante la continua evolución de la IA, estos modelos de lenguaje podrían especializarse en la orientación al estudiantado universitario. Su potencial como modelos para el análisis y comprensión de la información abre nuevas posibilidades en educación (González-Mayorga et al., 2024). Será fundamental que se continúe realizando un análisis profundo de la calidad de los chatbots (Chiappe et al., 2025), y verificar continuamente la información que proporcionan con fuentes oficiales, para asegurar su exactitud. Como implicación, para la especialización de estos modelos en la orientación universitaria, sería relevante mantener actualizada y bien estructurada la información en las páginas web universitarias. La orientación universitaria debe adaptarse a un nuevo entorno complejo, aprovechando las innovaciones tecnológicas, como la IA, para mejorar los servicios de apoyo y tutoría (Bearman, 2022), facilitando así, la atención personalizada (Viñuela y Vidal, 2023).
La implementación de los chatbots, puede ser beneficiosa para la orientación educativa y el aprendizaje (Rathore, 2022), siempre y cuando se atienda al cumplimiento ético de lo que supone utilizar la IA (Flores-Vivar & García-Peñalvo, 2023). Es importante ser conscientes de que continúa en desarrollo, y que, como se ha observado en el estudio, aún no se ha alcanzado su máxima precisión. Debe ser entendida como un factor más, que influye en la calidad educativa (López Rodríguez del Rey et al, 2023; Sánchez Cabeza, 2017) y al que toda la comunidad educativa debe adaptarse.
En el curso académico 2019-2020, el 7% del estudiantado que iniciaba sus estudios decidió cambiar de grado (SIIU, 2024), por lo que es esencial optimizar tales servicios para facilitar la realización de trámites administrativos como el reconocimiento de créditos. La información se debe estructurar de manera que la IA pueda acceder fácilmente, lo que también conllevaría satisfacción en el estudiantado a la hora de utilizar estos servicios (Segovia García, 2023). Se trataría de que las instituciones universitarias se comprometiesen a actualizar cada año las páginas web con la información más relevante y las normativas actuales.
De igual forma, en este estudio se confirmó que los chatbots no solo funcionan como servicio de información, sino también de apoyo, orientación y asesoramiento. Esto sucede al plantear preguntas que se relacionan con la experiencia, como ocurre en el bloque temático de Dificultad de estudios.
En síntesis, aunque Copilot y ChatGPT muestren un alto potencial como servicio de orientación universitaria, su efectividad se encuentra condicionada por la calidad de la información disponible en las páginas web. Por lo tanto, es fundamental que las universidades trabajen en mantener actualizadas las páginas web, acorde con los cambios normativos, plazos y trámites administrativos que se van sucediendo, no solo al inicio de un grado universitario sino también durante el proceso. Esto optimizaría el uso de aplicaciones basadas en IA.
Como futuras líneas de investigación sería interesante realizar un seguimiento de las mejoras que se van produciendo en inteligencia artificial y en las propias páginas web. Además, debido a la alta cantidad de información y normativa relacionada con las universidades, sería interesante crear un chatbot exclusivamente relacionado con la gestión de trámites administrativos o incluso implementarlos como servicio piloto de orientación de alguna universidad, con el fin de conocer la satisfacción del estudiantado con tal servicio.
La necesidad de actualizar continuamente la información se presenta también como una limitación, ya que vivimos en una sociedad que continuamente está generando más conocimientos, normativa e información. Otra limitación radica en nuestra percepción de los chatbots, los cuales no deben considerarse como un remplazo del personal de orientación, sino como un complemento. Por último, se debe tener en cuenta la ética de la inteligencia artificial (UNESCO, 2021). Al implementar aplicaciones como Copilot o ChatGPT en las páginas web, se debe asegurar la confidencialidad y privacidad de los datos, así como ser conscientes de que su implementación está aún en desarrollo.
Estas conclusiones y recomendaciones son esenciales para desarrollar y adaptar aplicaciones de IA como ChatGPT en el ámbito de la orientación universitaria, asegurando que sean útiles, precisas y fiables para el estudiantado.
TABLA III. Herramienta adaptada de Mayor-Alonso et al. (2024)
| Acceso | |
|---|---|
| Ít1. ¿Cómo son las pruebas de acceso? | Describe las pruebas de acceso a la universidad, tanto si es la fase general como la voluntaria o detallando el modo de acceso |
| Ít2. ¿Cuánto tiempo de descanso hay entre un examen de EBAU y otro? | Proporciona un tiempo aproximado de descanso |
| Ít3. ¿Cuánto tiempo de validez tiene la nota de la EBAU? | Describe cuál es el tiempo de validez, centrándose en la fase general o la específica o ambas |
| Ít4. Para estudiar bioquímica o química ¿qué necesitaría hacer, un bachillerato de ciencias de la salud o un bachillerato tecnológico? | Describe qué bachiller sería adecuado realizar |
| Ít6. ¿Cómo se calcula la nota de la EBAU? | Explica cómo calcular la nota media y/o proporciona enlaces de simuladores |
| Ít10. ¿Puedo estudiar una carrera de humanidades habiéndome presentado a la fase voluntaria de la EBAU de biología y química? | Explica cómo la elección de asignaturas en la EBAU afecta a las opciones de elección de carrera |
| Ít5. ¿Puedo solicitar plaza en más de una Comunidad Autónoma? | Responde con un sí o explica el funcionamiento de la solicitud en más de una Comunidad Autónoma |
| Ít7. ¿Cómo me preinscribo a un grado? | Describe el proceso que se debe seguir para preinscribirse a un grado |
| Ít8. ¿Cuáles son los plazos para hacer la preinscripción? | Da una estimación de los plazos (meses o días) para realizar la preinscripción |
| Ít9. Si no reservo plaza según haya salido el listado de admitidos del grado, ¿pierdo la plaza? | Responde con un sí o explica las políticas y consecuencias de no reservar plaza |
| Ít11. ¿Cómo me matriculo? | Describe el proceso que se debe seguir para matricularse a un grado |
| Ít14. ¿Cómo me preinscribo a un máster? | Se describe el proceso que se debe seguir para preinscribirse a un máster |
| Gestión | |
| Ít15. ¿Sí yo me matriculo tengo que pagar algo? Vaya, ¿podré renunciar en el caso de que me acepten en el módulo en septiembre? | Explica las tasas de matrícula y las condiciones para renunciar |
| Ít16. Estamos a mitad de curso y quiero dejar la carrera ¿tendría que pagar las tasas de matrícula? | Detalla las obligaciones financieras al abandonar un curso o posibles excepciones |
| Ít17. ¿Qué becas puedo solicitar para los estudios de grado? | Describe las becas disponibles para estudios de grado |
| Ít18. Este año he tenido beca (he aprobado las 10 asignaturas) y me gustaría saber sí en el caso de que cambiase de carrera, ¿podría volver a recibir la beca el año que viene? | Explica si se puede volver a recibir beca y las condiciones de renovación al cambiar de carrera |
| Ít19. ¿Qué beca puedo solicitar para los estudios de máster? | Describe las becas disponibles para estudios de máster |
| Ít20. Tengo una media baja y quería empezar el doctorado, pero sé que no voy a poder optar a la FPU por lo que he pensado en correr yo con los gastos de matrícula y más adelante pedir otra beca ¿qué otras becas hay? | Explica opciones de financiación y becas alternativas para doctorandos |
| Ít22. ¿Cómo hago para trasladar el expediente de una universidad a otra? | Explica el procedimiento para trasladar un expediente académico o se incluye la documentación necesaria para realizar el traslado |
| Ít23. ¿Hace falta tener una nota media alta para que me den el traslado de expediente de una Universidad a otra? | Detalla los requisitos para hacer el traslado de expediente, si los hay, y cómo afecta la nota media al proceso |
| Ít24. Para cambiar de universidad, ¿si entras por nota de Selectividad te reconocen el mismo número de créditos que si lo haces por traslado de expediente? | Clarifica las políticas de reconocimiento de créditos en diferentes escenarios de transferencia entre universidades |
| Ít25. ¿Cuál es el precio por reconocer los créditos de una carrera a otra? | Proporciona una estimación de los costos asociados con el reconocimiento de créditos explica qué este precio puede variar |
| Ít26. Si estoy haciendo dos carreras a la vez ¿cuántos créditos puedo cursar por año? | Expone cuáles son los límites de créditos permitidos al cursar dos carreras a la vez |
| Ít27. Aunque esté en primer año de carrera, ¿podría coger asignaturas de otros años? | Explica la normativa sobre elección de asignaturas de otros años para estudiantes de primero. |
| Dificultad de estudios | |
| Ít29_40. (12 ítems) ¿Es difícil hacer la carrera de [titulación]? | Proporciona una orientación sobre la dificultad o expone estadísticas interesantes con las que se evaluó la dificultad |
| Empleabilidad | |
| Ít43_50. (12 ítems) ¿Qué salidas tiene la carrera de [titulación]? | Expone las salidas profesionales de la carrera |
Fuente: elaboración propia a partir de la herramienta original de Mayor-Alonso et al. (2024)
Álvarez-Pérez, P.R., López-Aguilar, D., & Garcés-Delgado, Y.
(2020). Vocational preferences, the transition and the adaption to
university education: an analysis from the perspective of High
School students.
Artiles-Rodríguez, J., Guerra-Santana, M., Aguiar-Perera, M.V.,
& Rodríguez-Pulido, J. (2021). Agente conversacional virtual: la
inteligencia artificial para el aprendizaje autónomo.
Bearman, M., & Ajjawi, R. (2023). Learning to work with the
black box: Pedagogy for a world with artificial intelligence.
Bearman, M., Ryan, J., & Ajjawi, R. (2022). Discourses of
artificial intelligence in higher education: a critical literature
review.
Chiappe, A., Sanmiguel, C., y Sáez Delgado, F.M. (2025). IA
generativa versus profesores: reflexiones desde una revisión de la
literatura.
Chvanova, M. S., Hramov, A. E., Khramova, M. V., & Pitsik, E.
N. (2016). Is it possible to improve the university education with
social networks: The opinion of students and teachers.
Cueva Gaibor, D. A. (2020). Transformación digital en la
universidad actual.
El uso de la IA en el análisis de redes informales para la orientación en Educación Superior. Ministerio de Ciencia e Innovación. Proyectos de Generación de Conocimiento 2021. Referencia PID2021-125405NB-I00.
Essel, H. B., Vlachopoulos, D., Tachie-Menson, A., Johnson, E.
E., y Baah, P. K. (2022). The impact of a virtual teaching assistant
(chatbot) on students’ learning in Ghanaian highereducation.
International Journal of Educational Technology in Higher Education,
19(1), 1–19.
Falcón-Linares, C., & Arraiz-Pérez, A. (2017). Construcción
eficiente y sostenible de la carrera: El portafolio profesional como
recurso de orientación universitaria.
Flores-Vivar, J.-M., & García-Peñalvo, F.-J. (2023).
Reflections on the ethics, potential, and challenges of artificial
intelligence in the framework of quality education (SDG4).
García-Peñalvo, F. J., Llorens-Largo, F., & Vidal, J. (2024).
The new reality of education in the face of advances in generative
artificial intelligence.
González-Castellano, N., Runte-Geidel, A., Berrios-Aguayo, B.,
& Muńoz-Galiano, I. M. (2023). Buenas prácticas docentes y
tutoriales en el ámbito universitario: la visión del docente Good
teaching practices and tutorials in the university context: the
vision of the good teacher.
González-Mayorga, H., Rodríguez-Esteban, A., y Vidal, J. (2024).
El uso del modelo GPT de OpenAI para el análisis de textos abiertos
en investigación educativa.
Guerrero-Bocanegra, B. (2022). Tópicos frecuentes en los foros de
acogida para el desarrollo de un chatbot de orientación inicial
universitaria.
Herrera-Ortiz, J. J., Peña-Avilés, J. M., Herrera-Valdivieso, M.
V., & Moreno-Morán, D. X. (2024). La inteligencia artificial y
su impacto en la comunicación: recorrido y perspectivas.
Incio Flores, F. A., Capuñay Sanchez, D. L., Estela Urbina, R.
O., Valles Coral, M. Á., Vergara Medrano, E. E., & Elera
Gonzales, D. G. (2021). Inteligencia artificial en educación: una
revisión de la literatura en revistas científicas internacionales.
Ley 3/2022, de 24 de febrero, de convivencia universitaria.
Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario.
Mayor-Alonso, E., Vidal, J., y Rodríguez-Esteban, A. (2024). Los
chatbots como herramienta de apoyo para la orientación
universitaria.
McMillan, J. H., & Schumacher, S. (2005). Investigación educativa. Prentice Hall / Pearson.
Medrano, J.F., Castillo, C.A., Tejerina, M.A. (2018).
Ministerio de Ciencia, Innovación y Universidades (2024).
Ogosi Auqui, J. A. (2021). Chatbot del proceso de aprendizaje
universitario: Una revisión sistemática.
Parlamento Europeo y Consejo de la Unión Europea.
Rathore, B. (2021). Exploring the Potential Impacts of Chatbot
Software/Apps (ChatGPT) on Education: Benefits, Drawbacks, and
Future Prospects.
Real Decreto 1791/2010, de 30 de diciembre, por el que se aprueba
el Estatuto del Estudiante Universitario.
Rodríguez Almazán, Y., Parra-González, E.F., Zurita-Aguilar,
K.A., Mejía Miranda, J. & Bonilla Carranza, D. (2023). ChatGPT:
La inteligencia artificial como herramienta de apoyo al desarrollo
de las competencias STEM en los procesos de aprendizaje de los
estudiantes.
Sánchez Cabezas, P. P., López Rodríguez del Rey, M. M., &
Alfonso Moreira, Y. (2018). La orientación educativa en la actividad
pedagógica profesional del docente universitario.
UNESCO. (2021). Recomendación sobre la ética de la Inteligencia
Artificial. En
Vera-Rubio, P. E., Patricia Bonilla-González, G. P.,
Quishpe-Salcán, A. C., & Campos-Yedra, H. M. (2023). La
inteligencia artificial en la educación superior: un enfoque
transformador Artificial intelligence in higher education: a
transformative approach Inteligência artificial no ensino superior:
uma abordagem transformadora.
Vieira, M. J., & Vidal, J. (2006). Tendencias de la Educación
Superior Europea e implicaciones para la orientación universitaria.
Viñuela, Y., & Vidal, J. (2023). Guidance to students in
Spanish public university degrees.
Wagh, K. S., & Hiremath, G. (2018). Chatbot for Education
System.