FORMACIÓN EN REVISIÓN SISTEMÁTICA COMO MODALIDAD DE TFG: EL TALÓN DE AQUILES DE NUESTROS ESTUDIANTES
Training in systematic review as a modality of the Final Degree Project: The Achilles Heel of our students

PATRICIA SOLÍS GARCÍA⁽¹⁾ , DELIA ARROYO RESINO⁽¹⁾ Y CELIA CAMILLI TRUJILLO^(2)
(1) Universidad Internacional de La Rioja (España)
⁽²⁾ Universidad Complutense de Madrid (España)

DOI: 10.13042/Bordon.2022.95091
Fecha de recepción: 17/06/2022 • Fecha de aceptación: 05/08/2022
Autora de contacto / Corresponding author: Patricia Solís García. E-mail: patricia.solis@unir.net

Cómo citar este artículo: Solís García, P., Arroyo Resino, D. y Camilli Trujillo, C. (2022). Formación en revisión sistemática como modalidad de TFG: el talón de Aquiles de nuestros estudiantes. Bordón, Revista de Pedagogía, 74(3), 103-120. https://doi.org/10.13042/Bordon.2022.95091

INTRODUCCIÓN. Son diversos los cambios originados a partir del Espacio Europeo de Educación Superior y la Declaración de Bolonia de las universidades españolas, entre ellos, destacamos la obligatoriedad de los estudiantes de realizar un Trabajo de Fin de Grado (TFG). Partiendo de la importancia que tiene este trabajo, y centrándonos en la modalidad de revisiones sistemáticas, en esta investigación se analiza el efecto de un programa de formación en dicha modalidad sobre los conocimientos de los estudiantes que van a realizar un proyecto fin de grado utilizando la revisión sistemática. MÉTODO. Se utiliza un diseño mixto concurrente de triangulación: un diseño cuasiexperimental con pretest y postest sin grupo control en un estudio de caso. La muestra para los análisis cuantitativos fue seleccionada por accesibilidad contando con un total de 73 estudiantes, de los mismos 14 participaron de forma aleatoria y voluntaria en la realización de una entrevista. De esta manera, como instrumentos de recogida de información utilizamos un cuestionario formado por 24 ítems en una escala de respuesta Likert de 5 puntos y una entrevista estructurada con la finalidad de completar la información obtenida en los cuestionarios. RESULTADOS. Se encontraron diferencias significativas en todos los ítems entre las puntuaciones del pre y post, siendo superiores estas últimas, con tamaños del efecto muy grandes. Asimismo, el análisis del discurso mostró el paralelismo con los resultados cuantitativos y la satisfacción de los estudiantes tras la formación recibida. DISCUSIÓN. La presente investigación pone de manifiesto el impacto que tiene este tipo de formaciones en los estudiantes, siendo la misma efectiva para que los alumnos adquieran las habilidades básicas que les permita llevar a cabo revisiones sistemáticas en la realización del TFG. Se destaca, por tanto, la necesidad de que las universidades ofrezcan este tipo de formación como parte del proceso de enseñanza-aprendizaje.

Palabras clave: Revisiones de literatura, Trabajo de Fin de Grado, Estudiantes universitarios, Habilidades de investigación, Revisión sistemática, Investigación formativa.

Introducción

Debido a la implementación del Espacio Europeo de Educación Superior (EEES) y a la Declaración de Bolonia (CEMES, 1999CEMES (Conferencia Europea de Ministros de Educación Superior) (1999). Declaración de Bolonia. El Espacio Europeo de Educación Superior (1999). Declaración conjunta de los ministros europeos de Educación, Bolonia, Italia, 19 de junio.), las universidades españolas han desarrollado nuevos planes de estudio y nuevos modos de orientar la docencia (Valderrama et al., 2009Valderrama, E., Rullán, M., Sánchez, F., Pons, J., Cores, M. F. y Bisbal, J. (2009). La evaluación de competencias en los trabajos fin de estudios. Jornadas de Enseñanza Universitaria de la Informática. https://upcommons.upc.edu/bitstream/handle/2099/7892/p128.pdf?sequence=6), con la finalidad de conseguir un sistema armónico en los niveles educativos superiores de todos los países miembros de la Unión Europea (Félix et al., 2016Félix, M., Romero, A. y Guerrero, A. F. (2016). Competencias en trabajos fin de grado: desarrollo y evaluación. Revista Ibero-americana de Educação, 71(1), 29-44. https://doi.org/10.35362/rie71146).

Dentro de estos cambios organizativos y metodológicos introducidos en el marco del EEES encontramos la obligatoriedad de que los estudiantes realicen un Trabajo de Fin de Grado (TFG) al finalizar el título universitario, lo que ha supuesto tanto a docentes como a estudiantes tener que enfrentarse a nuevas tareas y demandas (Rullan et al., 2010Rullán, M., Fernández, M., Estapé, G. y Márquez, M. D. (2010). La evaluación de competencias transversales en la materia Trabajos Fin de Grado. Un estudio preliminar sobre la necesidad y oportunidad de establecer medios e instrumentos por ramas de conocimiento. Revista de Docencia Universitaria, 8(1), 74-100. https://doi.org/10.4995/redu.2010.6218). Estos trabajos permiten evaluar los conocimientos y capacidades adquiridos por el alumnado debido a su carácter multidisciplinar y de prueba global (Fernández-Andújar et al., 2022Fernández-Andújar, M., Oporto, M. y Amado, L. (2022). Revisión sistemática TFG: orientaciones para un TFG de revisión sistemática en el Grado de Psicología. https://repositorioinstitucional.ceu.es/bitstream/10637/13548/1/Revision_Fernandez%20_et_al_2022.pdf), por lo tanto, se trata de una materia singular, con un gran potencial educativo y formativo (Colás y Hernández, 2021Colás, P. y Hernández, M. Á. (2021). Las competencias investigadoras en la formación universitaria. Revista Universidad y Sociedad, 13(1), 17-25. http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2218-36202021000100017) a través del cual se pretende la evaluación de competencias del título (Díaz-Vázquez et al., 2018Díaz-Vázquez, R., García-Díaz, A., Maside-Sanfiz, J. M. y Vázquez-Rozas, E. (2018). El trabajo de fin de grado: fines, modalidades y estilos de tutorización. REDU. Revista de Docencia Universitaria, 16(2), 159-175. https://doi.org/10.4995/redu.2018.10178).

Sin embargo, pese a su importancia se trata de un trabajo muy abierto puesto que la legislación que lo regula (artículo 12.7 del Real Decreto 1393/2007Boletín Oficial del Estado (2007). Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales . Boletín Oficial del Estado, 30, 44037-44048.) solo establece unas directrices básicas como la temporalidad y los créditos de estudio (un mínimo de 6 créditos estableciendo como máximo el 12.5% del total de los créditos de la titulación), por lo que, cada universidad, en la memoria de verificación del título, es quien determina ciertas cuestiones como son las competencias que evaluar, el uso de indicadores, las fases, los responsables, etc. Tampoco hay uniformidad en las modalidades de trabajo (Sierra-Sánchez et al., 2018Sierra, J., Libera, S. y Luceño, B. (2018). Análisis de la materia Trabajos de Fin de Grado (TFG) en los grados de Ciencias de la Comunicación en España. Revista Española de Documentación Científica, 41(4), e220. https://doi.org/10.3989/redc.2018.4.1561). Así, por ejemplo, los dos enfoques más comunes son la investigación, por un lado, y la intervención o innovación docente, por otro lado. Además, también se pueden encontrar otras aproximaciones como revisiones e investigaciones bibliográficas, unidades didácticas, revisiones críticas, ensayos críticos, estudios de caso, estudio teórico-analítico y aprendizaje-servicio, entre otras (Caro et al., 2015Caro, M. T., Valverde, M. T. y González, M. (2015). Guía de trabajos fin de grado en Educación. Pirámide. ; Díaz-Vázquez et al., 2018Díaz-Vázquez, R., García-Díaz, A., Maside-Sanfiz, J. M. y Vázquez-Rozas, E. (2018). El trabajo de fin de grado: fines, modalidades y estilos de tutorización. REDU. Revista de Docencia Universitaria, 16(2), 159-175. https://doi.org/10.4995/redu.2018.10178; Garrote-de Marcos, 2015Garrote-de Marcos, M. (2015). El TFG: sus modalidades, objetivos y competencias a validar. Reflexiones a partir de la experiencia en la Facultad de Derecho de la UCM. Docencia y Derecho, 9. https://www.uco.es/docencia/grupos/reduca/index.php/reduca/article/view/95/117; Parra et al., 2018Parra, M. E. G., Rodríguez, R. S. y Abril, C. A. H. (2018). Los trabajos de fin de grado (TFG) como innovación en el EEES. Una propuesta de tarea colaborativa basada en la tutoría piramidal. Educar, 54(2), 369-389.).

En este trabajo nos centramos en la modalidad de revisiones sistemáticas (RS) por ser el tema de investigación que nos ocupa. Dicha modalidad de TFG se caracteriza por ser un diseño y un método de investigación que busca recopilar toda la evidencia disponible sobre un tema específico, a partir de unos criterios de elegibilidad establecidos previamente con el fin de obtener conclusiones fiables, por lo tanto, su elaboración requiere de una evaluación crítica y sofisticada (Harden y Thomas, 2005Harden, A. y Thomas, J. (2005). Methodological issues in combining diverse study types in systematic reviews. International Journal Social Research Methodology, 8(3), 257-271. https://doi.org/10.1080/13645570500155078; Higgins y Green, 2011Higgins, J. y Green S. (20 March 2011) (eds.). Cochrane handbook for systematic reviews of interventions version 5.1.0. The Cochrane Collaboration. www.cochrane-handbook.org). Los orígenes de las RS los encontramos en el campo de la salud y la medicina, donde predominan redes internacionales de investigación como The Campbell Collaboration y The Cochrane Collaboration (Davies, 2000Davies, P. (2000). The relevance of systematic reviews to educational policy and practice. Oxford Review of Education, 26(3&4), 365-378.), sin embargo, estas revisiones cada vez son más comunes en el ámbito de la psicología y la educación, ya que es fundamental que los estudiantes sean capaces de identificar, integrar, mantener y difundir evidencia relevante y de alta calidad aplicable de manera práctica en sus áreas de conocimiento.

Las RS son un componente esencial de la práctica basada en la evidencia, por ello, deben seguir una serie de protocolos que permitan sintetizar de manera sistemática y transparente un gran número de estudios (publicados y no publicados) de alta calidad (Littell et al., 2010Littell, J., Corcoran, C. y Pillai, V. (2010). Systematic review and meta-analysis. Oxford University Press.).

En este sentido, existen algunos protocolos, como la declaración PRISMA 2020 (Page et al., 2021Page, M. et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372(71), 1-9. http://dx.doi.org/10.1136/bmj.n71), que pueden servir de base para la realización de este tipo de trabajos, ya que proporcionan un listado (checklist) para ayudar a académicos y profesionales a elaborar, comunicar y evaluar de manera transparente el por qué hacer una RS, el procedimiento realizado y los hallazgos encontrados, sin embargo, a pesar de su importancia, la utilización de estos protocolos es escasa en el ámbito universitario.

Tanto es así que Ridley (2012Ridley, D. (2012). The literature review. A step-by-step guide for students. SAGE.) menciona a Hart (1988) como uno de los pocos autores que establece diferencias en las características de una RS según el nivel de estudio: para un TFG se espera una revisión descriptiva, centrada en un tema e indicativa de las principales fuentes actuales sobre la problemática que estudiar; para un Trabajo Fin de Máster (TFM) la revisión es analítica y sumativa, en donde los aspectos metodológicos son claves, al igual que las cuestiones teóricas relevantes para el tema; y para una tesis doctoral, una síntesis analítica que abarca “todo lo conocido sobre el problema” y está acompañada de un alto nivel de pensamiento conceptual teórico, así como de una profunda y amplia discusión sobre las tradiciones filosóficas relevantes y las formas en que estas se relacionan con el problema. Añaden Wellington et al. (2005Wellington, J., Bathmaker, A., Hunt, C., McCulloch, G. y Sikes, P. (2005). Succeeding with your doctorate. SAGE.) que las RS tendrían una orientación más profesional en un TFG o en un TFM en comparación con una tesis doctoral.

Por consiguiente, la falta de orientaciones metodológicas en la formación inicial de los estudiantes sumada a la necesidad de una investigación basada en la evidencia (Pigott et al., 2021Pigott, T., Tocci, C., Ryan, M. M. y Galliher, A. (2021). Quality of research evidence in education: how do we know? Review of Research in Education, 45(1), VII-XII. http://doi.org/10.3102/ 0091732X211001824 ) hace que los estudiantes suelan encontrar grandes dificultades a la hora de realizar este tipo de trabajos, ya que carecen de conocimientos previos y de estrategias metodológicas debido a que son contadas las guías orientativas dirigidas para una adecuada creación y adopción de este tipo de diseños (Arimoto y Barbosa, 2012Arimoto, M. M. y Barbosa, E. F. (2012). A systematic review of methods for developing open educational resources. https://www.academia.edu/3109690/A_Systematic_Review_of_Methods_for_Developing _Open_Educational_Resources), por lo que es indispensable proveer al estudiante de una alta formación especializada, para lo cual es preciso desarrollar nuevas e innovadoras formas de instrucción (Martínez et al., 2018Martínez, I., Goig, R. y Ortega, I. (2018). Estudio de las necesidades formativas, conocimientos y competencias necesarias para diseñar el trabajo de fin de máster. En M. Cipagauta (coord.), Mixtura educativa a la carta: reflexiones en torno a la enseñanza, el aprendizaje y la evaluación (pp. 191-199). https://es.calameo.com/read/005098249ebbc2d6166f5).

Partiendo de estas ideas, el objetivo de este trabajo es analizar el efecto de un programa de formación en RS sobre los conocimientos de los estudiantes que van a realizar un TFG utilizando dicha metodología.

Método

Diseño

Se trabajó con un diseño mixto concurrente de triangulación (Creswell y Plano, 2017Creswell, J. y Plano, V. (2017). Designing and conducting mixed methods research. SAGE.): un diseño cuasiexperimental con pretest y postest sin grupo control (Campbell y Stanley, 2011Campbell, D. y Stanley, J. (2011). Diseños experimentales y cuasiexperimentales en la investigación social (2.^a ed.). Amorrortu Editores. ) y un estudio de caso (Stake, 2005Stake, R. E. (2005). Qualitative case studies. En N. K. Denzin y Y. S. Lincoln (eds.), The Sage handbook of qualitative research (pp. 443–466). SAGE.), caracterizado por la complementariedad de métodos, recogida y análisis de datos cuantitativos y cualitativos. Es un diseño concurrente secuencial CUAN → cual en donde la investigación cuantitativa tiene más peso que la investigación cualitativa.

La figura 1 resume el diseño mixto concurrente de triangulación llevado a cabo, donde se puede observar la integración de técnicas de recogida de información y de análisis cuantitativas y cualitativas.

Figura 1. Diseño mixto concurrente de triangulación [View full size] [Descargar tamaño completo]

Muestra

La muestra para los análisis cuantitativos se seleccionó de manera no probabilística, por accesibilidad. El número total de participantes en la formación de RS fue de 116 estudiantes del Grado de Psicología, pero cumplimentaron el cuestionario previo a la intervención (pretest) 105 sujetos y el postest 73, pudiéndose asociar todas estas respuestas con las obtenidas en el pretest por los mismos sujetos. En la tabla 1 se especifican las características de los 73 sujetos que se pudieron vincular en el pretest-postest.

Para los análisis cualitativos, de la muestra total se seleccionaron mediante un muestreo aleatorio simple un total de 14 estudiantes que participaron en una entrevista estructurada una vez terminada la formación.

Instrumentos y técnicas de recogida de datos

Para medir las variables contextuales, así como el nivel de conocimientos que consideran los estudiantes que tienen respecto a la realización de RS, antes y después de la formación, se construyó un cuestionario de elaboración propia a partir del protocolo PRISMA y otra bibliografía especializada (Moher et al., 2009 Moher, D., Liberati, A., Tetzlaff, J., Altman, D. G. y PRISMA Group* (2009). Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Annals of Internal Medicine , 151 (4), 264-269. https://doi.org/10.7326/0003-4819-151-4-200908180-00135; Rethlefsen et al., 2021Rethlefsen, M. L., Kirtley, S., Waffenschmidt, S., Ayala, A. P., Moher, D., Page, M. J. y Koffel, J. B. (2021). PRISMA-S: an extension to the PRISMA statement for reporting literature searches in systematic reviews. Systematic reviews, 10(1), 1-19. https://doi.org/10.1186/s13643-020-01542-z ). De este modo, el cuestionario estuvo conformado por un total de 24 ítems, organizados en dos dimensiones. La primera dimensión, denominada fase operativa, estaba formada por un total 10 de ítems y hacía referencia a las etapas o pasos relacionados con la planificación de la revisión (definir objetivo de búsqueda, establecer objetivo del estudio, identificar conceptos y términos de búsqueda, entre otros). La segunda dimensión se denominó fase ejecutiva y estaba formada por un total de 14 ítems referidos a la escritura (justificación de la revisión, enunciar objetivos, escribir resultados que den respuesta a los objetivos planteados, etc.).

La validación de contenido del instrumento se realizó mediante un juicio de expertos donde participaron cinco docentes pertenecientes a diferentes universidades, con amplia experiencia en RS y metodología. Dichos expertos evaluaron en una escala de 1 a 3, donde: 1 = innecesario, 2 = útil, 3 = esencial, la claridad, relevancia e idoneidad de cada ítem. Considerando esta última dimensión la más importante tal y como recomiendan Pedrosa et al. (2014Pedrosa, I., Suárez-Álvarez, J. y García-Cueto, E. (2013). Evidencias sobre la validez de contenido: avances teóricos y métodos para su estimación. Acción Psicológica, 10(2), 3-18. http://dx.doi.org/10.5944/ap.10.2.11820), asimismo, y siguiendo a estos mismos autores, se estableció que un ítem era válido cuando al menos el 50% de los jueces le otorgaron al ítem la calificación máxima. Como resultado del análisis del juicio de experto se reformuló la redacción de 5 ítems, se fusionaron 2 ítems y se añadió 1 nuevo. El cuestionario final quedó conformado por 24 ítems cuya validez de contenido fue muy buena, ya que el índice W de Kendall fue significativo y con un valor superior a .81 (Escobar y Cuervo, 2008Escobar-Pérez, J. y Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6(1), 27-36.). Dichos ítems se encontraban en una escala de respuesta Likert de 5 puntos donde, 1 = nunca, 2 = casi nunca, 3 = ocasionalmente, 4 = casi siempre, 5 = siempre, organizados en las siguientes dimensiones: fase operativa (14 ítems, αpre = .890; αpost = .888) y fase ejecutiva (10 ítems, αpre = .847; αpost = .848). La fiabilidad total del instrumento en el pretest fue de .935 y en el postest .910.

Paralelamente, para la recogida de datos cualitativos se construyó una entrevista estructurada con la finalidad de completar la información obtenida en los cuestionarios. Dicha entrevista estuvo formada por seis preguntas divididas en tres bloques: fase operativa, fase ejecutiva y general. Mediante dichas preguntas, se estudiaron las percepciones de los estudiantes acerca de los recursos o estrategias aprendidas para identificar un área y tema de investigación, dificultades encontradas en las RS, satisfacción con el aprendizaje o necesidad de más formación, entre otros. Para valorar la validez de contenido, dos jueces expertos en RS examinaron la pertinencia de las preguntas y su adecuación al tema, otorgando la máxima puntuación, por lo que tras dicha revisión no fue necesario introducir cambios.

Procedimiento y análisis de los datos

La formación en materia de RS se llevó a cabo en seis sesiones de una hora de duración con periodicidad quincenal. Se abordaron los siguientes contenidos divididos en tres bloques: 1) qué es una RS, bases de datos científicas y la elaboración de la pregunta PICO (cuyo nombre viene del inglés: Patient, Intervention, Comparation, Outcome) que guía la revisión; 2) palabras clave y tesauro, operadores booleanos, criterios inclusión/exclusión y cómo guardar la búsqueda de información; 3) formato de revisión, protocolo PRISMA y gestores de referencias. Las sesiones combinaron la exposición de contenidos durante 20 minutos con la práctica sobre los mismos con una duración aproximada de 30 minutos. Los 10 minutos restantes se utilizaron para la puesta en común y resolución de dudas.

En la primera sesión se presentaron los objetivos y la planificación de la formación, así como de la investigación, y se animó a los alumnos a cumplimentar el cuestionario inicial a través de un enlace digital asegurando el anonimato. En la última sesión, se invitó nuevamente a los alumnos a cumplimentar el cuestionario final a través del enlace digital, de modo que pudieran reflexionar sobre su aprendizaje.

Por otro lado, tras la formación se contactó aleatoriamente con 15 alumnos participantes, de los cuales 14 accedieron a realizar la entrevista. En estos casos se acordó hora y lugar para llevar a cabo la entrevista presencialmente, la duración aproximada de cada una de ellas fue de 60 minutos.

Durante todo el proceso de investigación se atendieron cuestiones éticas de investigación como el anonimato y la confidencialidad de los datos obtenidos.

Una vez recogida toda la información y previo a los análisis de corte cuantitativo, siguiendo a Pardo y San Martín (2010Pardo, A. y San-Martín, R. (2010). Análisis de datos en ciencias sociales y de la salud II. Síntesis.), se comprobó el supuesto de normalidad de las variables mediante el estadístico de Kolmogorov-Smirnov y gráficos Q-Q. Los resultados de esta prueba mostraron que se puede mantener el supuesto de normalidad, por ello, con el fin de comparar si existían diferencias en los conocimientos que consideraban tener los estudiantes respecto a la realización de RS antes y después de la formación, se aplicó la prueba t de Student para muestras relacionadas. También se calculó el tamaño del efecto mediante el estadístico d de Cohen, donde un valor entre ± .20 y ± .50 indica un efecto pequeño, valores entre ± .50 y ± .80 un efecto mediano y valores mayores de ± .80 un efecto grande (Cohen, 1992Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. http://doi.org/10.1037/ 0033-2909.112.1.155).

En cuanto al análisis cualitativo que tenía por objetivo la reducción, categorización, síntesis y comparación de la información con la finalidad de lograr una visión global de la realidad estudiada (Guerrero-Bejarano, 2016Guerrero-Bejarano, M. A. (2016). La investigación cualitativa. INNOVA Research Journal, 1(2), 1-9. https://doi.org/10.33890/innova.v1.n2.2016.7), se realizó bajo un criterio deductivo (top-down) e inductivo (bottom-up) (Bingham y Witkowsky, 2022Bingham, A. J. y Witkowsky, P. (2022). Deductive and inductive approaches to qualitative data analysis. En C. Vanover, P. Mihas, y J. Saldaña (eds.), Analyzing and interpreting qualitative data: after the interview (pp. 133-146). SAGE Publications.). Las categorías predeterminadas (top-down) se construyeron con base en la propia estructura de las preguntas de la entrevista, siendo tres en función de los siguientes contenidos:

• Fase operativa: hace referencia a las destrezas y aptitudes necesarias durante la planificación de una RS.
• Fase ejecutiva: se relaciona con las destrezas y aptitudes puestas en marcha durante el proceso de elaboración de una RS.
• General: se refiere a los contenidos generales que se relacionan con el aprendizaje de la RS.

Estas categorías funcionaron como códigos principales, que se completaron con diferentes subcódigos a medida que se realizaba el análisis del texto (criterio bottom-up). Como resultado, el sistema final de códigos y subcódigos está conformado por tres códigos y 10 subcódigos (tabla 2).

Finalmente, en cada segmento de texto se procedió a identificar con un código o subcódigo asignado a cada categoría utilizando el software MAXQDA. Durante la codificación de la información se procedió al análisis buscando conexiones y estableciendo relaciones que permitieran realizar una interpretación y explicación del conocimiento obtenido de los estudiantes sobre las RS.

Resultados

El análisis de los resultados obtenidos es la integración de datos cuantitativos y cualitativos. En primer lugar, se presentan de manera general las puntuaciones obtenidas en el pretest y postest, así como el porcentaje de códigos y subcódigos emergidos durante el análisis cualitativo, y, en un segundo momento, la integración entre el porcentaje de los ítems del cuestionario (postest) y los fragmentos del discurso procedentes de las entrevistas.

Como se puede observar en la tabla 3, se encontraron diferencias significativas en todos los ítems entre las puntuaciones del pre y post y en ambas dimensiones del cuestionario (fase operativa y fase ejecutiva) y tomando ambas en su conjunto. Además, las puntuaciones son superiores tras realizar la formación, siendo los tamaños del efecto muy grandes (Cohen, 1992Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155-159. http://doi.org/10.1037/ 0033-2909.112.1.155).

Respecto al análisis de la frecuencia de los códigos y subcódigos emergidos durante el análisis cualitativo de la entrevista (tabla 4), encontramos que, en el análisis del discurso de los estudiantes, la mayor frecuencia de códigos se recoge en torno a la fase general.

En concreto, el subcódigo proceso de aprendizaje aparece con un porcentaje de 31.7%, lo cual indica que los estudiantes han abordado en sus discursos de manera extensa dicho proceso de aprendizaje. Y en segundo lugar aparece el subcódigo de satisfacción con el aprendizaje (28.9%), por lo que podemos concluir que la mayor parte del discurso de los estudiantes se ha dirigido a valorar el proceso de aprendizaje y a expresar su satisfacción con el mismo.

Respecto a la fase operativa, en esta destaca el porcentaje de fragmentos del discurso que abordan la identificación del área/tema (52.4%). En cuanto a la fase ejecutiva, encontramos que el mayor porcentaje lo representa el subcódigo estrategias aprendidas (63.8%), lo cual demuestra que los estudiantes, en la entrevista, han dedicado gran parte de su tiempo a abordar los aspectos aprendidos para la realización de revisiones sistemáticas.

Ahora bien, tras la intervención formativa (postest), el 61.6% de los estudiantes afirmaron que casi siempre se consideran capaces de formular la pregunta de investigación que se desea responder y el 28.8% siempre, siendo estas las frecuencias mayoritarias.

Sí, creo que después de lo enseñado y aprendido en clase tengo las herramientas suficientes para ser capaz de encontrar un tema de investigación, a partir de él plantearme una pregunta de investigación adecuada (fase operativa/identificación de área/tema/entrevista).

Durante las prácticas hemos visto muchas estrategias para concretar un tema de investigación con base en su complejidad (fase operativa/identificación de área/tema/entrevista).

Asimismo, el 61.6% de los estudiantes se consideran casi siempre capaces de definir el objetivo de la revisión y el 24.7% se consideran capaces de ello siempre. En cuanto a la diferenciación entre una revisión de la literatura y una sistemática, el 45.2% afirma poder realizar dicha diferenciación casi siempre, el 24.7% siempre, el 23.3% ocasionalmente y un 6.8% expresa sus dificultades afirmando que casi nunca puede realizar esa diferenciación.

Las revisiones sistemáticas ya presentan una serie de ventajas propias con base en sus características, ya que permiten reunir todas las publicaciones más importantes que tratan un determinado ámbito de investigación (fase operativa/estrategias aprendidas/entrevista).

Te invitan [las RS] a recopilar información sobre todos estos temas y a sintetizarla y estructurarla de una manera ordenada (fase operativa/estrategias aprendidas/entrevista).

El 61.6% de los estudiantes se considera siempre capaz de establecer los descriptores o palabras clave para la búsqueda y el 30.1% casi siempre. En su discurso se refieren a dichos descriptores definiéndolos y describiendo su función:

He aprendido a emplear adecuadamente los descriptores en la base de datos para identificar aquellas palabras clave que guardan relación con el tema del trabajo, así como a vincular diferentes keywords para no sesgar las búsquedas y que estas fuesen completas y lo más válidas posibles (fase operativa/estrategias aprendidas/entrevista).

En cuanto a las bases de datos científicas en las cuales buscar información, el 64.4% afirma que las conoce y el 31.5% afirma que casi siempre sabe identificarlas. Por ejemplo, en su discurso hacen referencia al manejo de la base PsycInfo:

He aprendido a manejar PsycInfo, una herramienta verdaderamente útil para identificar un área y tema de investigación, la cual cubre un gran espectro de temas (fase operativa/estrategias aprendidas/entrevista).

En lo relativo a cómo hacer la búsqueda de información, el 54.8% se ve capaz de asumir esta tarea siempre y el 39.7% casi siempre. A este respecto afirman en sus discursos que saben cómo seguir el protocolo PRISMA.

Creo que tengo los conocimientos suficientes para poder realizar una buena revisión sistemática, tanto los pasos a seguir (PRISMA) como las bases de datos en las que buscar mi información (fase ejecutiva/estrategias aprendidas/entrevista).

Además, los resultados del postest indican que el 41.1% conoce los principales tesauros para identificar contenidos y palabras clave y el 43.8% afirma que los conoce en la mayoría de las ocasiones.

He aprendido a usar bases de datos y el tesauro (fase ejecutiva/estrategias aprendidas/entrevista).

Respecto al uso de operadores booleanos, el 57.5% se considera capaz de realizar combinaciones (booleanos: y/o/no) y el 35.6% que tiene esta capacidad casi siempre. En su discurso expresan la utilidad de estos operadores.

Debo tener en cuenta los operadores de relación (booleanos), a través de los cuales se pueden conseguir distintos resultados usando los mismos términos (fase ejecutiva/estrategias aprendidas/entrevista).

En referencia a la capacidad para establecer criterios de inclusión de los estudios, el 42.5% se considera capaz siempre y el mismo porcentaje casi siempre. En cuanto a los criterios de exclusión, el 49.3% afirma que es capaz de utilizarlos siempre y el 37% casi siempre. Esta capacidad puede verse reflejada en los fragmentos de texto de las entrevistas.

He superado las dificultades para excluir aquellos trabajos que no eran relevantes o que no cumplían los requisitos planteados en la investigación (fase ejecutiva/estrategias aprendidas/entrevista).

El 49.3% de los estudiantes participantes afirma que siempre tiene capacidad de argumentar la selección de los idiomas, periodos y contextos de los estudios para utilizarlos como criterios de inclusión y el 38.4% afirma que puede hacerlo casi siempre. Del mismo modo, el 34.2% es siempre capaz de buscar la información relevante de cada estudio y el 56.2% considera que lo es casi siempre.

Respecto a la capacidad de evaluar la calidad metodológica de los estudios incluidos en la revisión, el 53.4% considera que es capaz de realizar esta acción casi siempre, el 30.1% ocasionalmente, el 9.6% casi nunca y únicamente el 6.8% siempre.

Concerniente al uso de soportes informáticos para la RS, el 34.2% se considera capaz de utilizarlos siempre, el 41.1% casi siempre y el 17.8% ocasionalmente. La diferenciación entre el marco teórico del estudio y los estudios que forman parte de la RS es una destreza que el 45.2% afirma tener casi siempre, el 34.2% ocasionalmente y el 12.3% siempre. Igualmente, el 49.3% cree que casi siempre es capaz de realizar la evaluación descriptiva de cada estudio, el 31.5% considera que tiene esta capacidad ocasionalmente y el 12.3% siempre. A este respecto, en el discurso señalan como una dificultad tomar decisiones sobre la pertinencia de la información.

Lo que más me ha costado, como ya he mencionado, es decidir qué información es pertinente y cuál no, muchas veces por no conocer el tema tanto como para saber cuáles son las partes fundamentales del mismo (fase ejecutiva/dificultades/entrevista).

Referente a la capacidad de presentar los resultados más relevantes de forma organizada y resumida, el 56.2% de los alumnos afirman que pueden hacerlo casi siempre, el 24.7% siempre y el 16.4% ocasionalmente. En el discurso de los alumnos se puede entrever dicha dificultad.

En algunos momentos se me hizo algo costoso y pesado la clasificación de los artículos en la tabla de autores (fase ejecutiva/dificultades/entrevista).

La redacción de las conclusiones a partir de la interpretación de los resultados obtenidos es otra de las destrezas necesarias para la elaboración de RS, en este sentido, el 60.3% de los estudiantes consideran que pueden poner en práctica esta habilidad casi siempre, el 23.3% siempre y el 15.1% ocasionalmente. Destacan en su discurso que fue una de las mayores dificultades encontradas.

Me resultó bastante complicado tanto saber extraer las conclusiones después de leer todos los artículos como configurar el documento con base en las normas APA porque era la primera vez que hacía un trabajo de este calibre (fase ejecutiva/dificultades/entrevista).

Del mismo modo, la redacción de las limitaciones a partir de la interpretación de los resultados obtenidos es una capacidad que el 19.2% de los estudiantes considera que puede aplicar siempre, el 45.2% casi siempre y el 30.1% ocasionalmente. En cuanto a la utilización de un lenguaje y estilo de redacción académico adecuado, el 27.4% de los estudiantes se ve siempre capaz de hacerlo, el 53.4% casi siempre y el 19.2% ocasionalmente.

Respecto a la capacidad de redactar un resumen de un trabajo académico de manera adecuada, el 28.8% afirma que pone en marcha esa capacidad siempre, el 53.4% casi siempre y el 17.8% ocasionalmente.

He aprendido a organizar la información y a hilarla de tal manera que esta tenga una coherencia y sea comprensible para el lector (fase ejecutiva/estrategias aprendidas/entrevista).

Además, nos hace esforzarnos a la hora de expresarnos, comprender todo e intentar sintetizarlo (fase general/proceso de aprendizaje/entrevista).

Asimismo, en el postest, el 28.8% de los estudiantes considera que siempre es capaz de redactar un abstract (en inglés) de un trabajo académico de manera adecuada, el 43,8% cree que puede hacerlo casi siempre y el 19.2% ocasionalmente.

En lo que concierne a la normativa de referenciación APA, el 41.1% opina que casi siempre tiene un adecuado dominio de esta normativa en el uso de citas y referencias bibliográficas y el 26% considera que siempre hace uso de la normativa.

Considero que me ha sido de gran ayuda para aprender a manejar bases de datos y familiarizarme con las normas APA (fase general/satisfacción aprendizaje/entrevista).

La mayor dificultad la he encontrado, precisamente, en el correcto uso de las normas APA, porque hay un gran número de ellas (y muchas las desconocía hasta que empecé a hacer el trabajo) (fase ejecutiva/dificultades/entrevista).

Sí, creo que después de lo enseñado y aprendido en clase tengo las herramientas suficientes para ser capaz de encontrar un tema de investigación, a partir de él plantearme una pregunta de investigación adecuada y comenzar a recopilar y estructurar la información de acuerdo con las reglas APA requeridas, cosa que no era capaz de hacer antes de cursar la asignatura (fase general/satisfacción aprendizaje/entrevista).

Finalmente, en cuanto al uso de la normativa APA para tablas y figuras, el 8.2% afirma que siempre hace un uso correcto, el 35.6% casi siempre y el 38.4% ocasionalmente, siendo esta una de las preocupaciones que más ha resaltado en el discurso de los estudiantes.

Discusión y conclusión

A la vista de los resultados cuantitativos se concluye que la formación ha funcionado, ya que se encontraron diferencias significativas entre el pretest y el postest, a favor de este último, en todos los ítems del cuestionario, así como en las dimensiones generales, con tamaños del efecto grandes.

La realización del TFG ha supuesto un cambio significativo en los métodos de aprendizaje, pero también en la labor del docente y en el rol del estudiante (Del Canto, 2018Del Canto, F. (2018). University as a global actor in the international system of the 21^st century. Tuning Journal for Higher Education, 6(1), 169-198. https://doi.org/10.18543/tjhe-6(1)-2018pp169-198). El TFG permite evaluar los resultados de aprendizaje de manera global en términos competenciales (Vilardell, 2010Vilardell, I. (2010). Experiencia sobre el trabajo de fin de grado en Administración y Dirección de Empresas. Revista de Educación en Contabilidad, Finanzas y Administración de Empresas, 1(1), 101-122.). En este sentido, autores como Bonilla y Martín (2012Bonilla, I. y Martín, C. (2012). Evaluación de competencias en el trabajo fin de grado en Administración y Dirección de Empresas: una propuesta de la Facultad de Ciencias Sociales de Talavera de la Reina. Revista de Formación e Innovación Educativa Universitaria, 5(4), 241-253.) destacan que es importante que los estudiantes realicen TFG a través de los cuales muestren su capacitación y el dominio de las diferentes competencias adquiridas durante la titulación.

Tal y como se ha comentado, son diversas las modalidades de TFG existentes: revisiones e investigaciones bibliográficas, unidades didácticas, revisiones críticas, ensayos críticos, estudios de caso, estudio teórico-analítico y aprendizaje-servicio, entre otras (Caro et al., 2015Caro, M. T., Valverde, M. T. y González, M. (2015). Guía de trabajos fin de grado en Educación. Pirámide. ; Díaz-Vázquez et al., 2018Díaz-Vázquez, R., García-Díaz, A., Maside-Sanfiz, J. M. y Vázquez-Rozas, E. (2018). El trabajo de fin de grado: fines, modalidades y estilos de tutorización. REDU. Revista de Docencia Universitaria, 16(2), 159-175. https://doi.org/10.4995/redu.2018.10178; Garrote-de Marcos, 2015Garrote-de Marcos, M. (2015). El TFG: sus modalidades, objetivos y competencias a validar. Reflexiones a partir de la experiencia en la Facultad de Derecho de la UCM. Docencia y Derecho, 9. https://www.uco.es/docencia/grupos/reduca/index.php/reduca/article/view/95/117; Parra et al., 2018Parra, M. E. G., Rodríguez, R. S. y Abril, C. A. H. (2018). Los trabajos de fin de grado (TFG) como innovación en el EEES. Una propuesta de tarea colaborativa basada en la tutoría piramidal. Educar, 54(2), 369-389.). En lo que se refiere a la RS, cada vez más, estas suelen formar parte de un gran número de títulos universitarios que tienen como finalidad formar en metodología de investigación, debido a que juegan un papel fundamental ya que muchas de las prácticas realizadas en el ámbito de la salud, la educación y la psicología se basan en sus hallazgos (Booth et al., 2016Booth, A., Sutton, A. y Papaioannoou, D. (2016). Systematic approaches to a successful literature review. SAGE.).

Los resultados de la presente investigación, al igual que otros estudios como el de Li et al. (2014Li, T., Saldanha, I. J., Vedula, S. S., Yu, T., Rosman, L., Twose, C. N., Goodman, S. y Dickersin, K. (2014). Learning by doing-teaching systematic review methods in 8 weeks. Res Synth Methods, 5(3), 254-63. https://doi.org/10.1002/jrsm.1111 ), revelan que, tras la formación recibida, los estudiantes emplean adecuadamente los descriptores en las bases de datos para identificar aquellas palabras clave que guardan relación con el tema del trabajo. Asimismo, son capaces de vincular diferentes keywords para una búsqueda de información lo más completa y válida posible, a la vez que lo menos sesgada. De igual modo, un gran porcentaje de los mismos se ven capaces de establecer criterios de inclusión de forma correcta, por lo que consideran que la formación les ha ayudado a superar las dificultades que tenían para excluir aquellos trabajos que no eran relevantes o que no cumplían los requisitos planteados en la investigación. También afirman haber aprendido a buscar en bases de datos mediante operadores booleanos y a valorar su utilidad.

Es indispensable que las universidades ofrezcan este tipo de formación porque ayuda a los estudiantes a superar importantes limitaciones que suelen presentar como, por ejemplo, identificar la información relevante de cada estudio o saber extraer las conclusiones, entre otras. En este sentido, Vicario et al. (2020Vicario, I., Martín, E., Gómez, A. y González, L. M. (2020). Nuevos desafíos en la educación superior: análisis de resultados obtenidos y dificultades experimentadas en la realización del trabajo fin de grado de estudiantes de los Grados de Maestro de la Universidad de Salamanca. Revista Complutense de Educación, 31(2), 185-194. https://dx.doi.org/10.5209/rced.62003) indican que una de las principales dificultades que presentan los estudiantes a la hora de la realización del TFG se refiere al uso de las normas de referenciación APA y al manejo de gestores bibliográficos, obstáculo este último que también han observado Pérez-Martín y Martínez-Luna (2017Pérez-Martín, J. M. y Martínez-Luna, S. (2017). Ideas alternativas sobre el trabajo fin de grado en estudiantes de Magisterio. ReiDoCrea, 6, 246-259. https://10.30827/Digibug.48548). Como indican García-Jiménez y Guzmán-Simón (2016García-Jiménez, E. y Guzmán-Simón, F. (2016). La acreditación de títulos universitarios oficiales en el ámbito de ciencias de la educación: una cuestión de alfabetización académica. Educación XX1, 19(2), 19-43. https://doi.org/10.5944/educXX1.16451), es necesario que, desde el primer año de carrera, se forme a los estudiantes en este proceso de alfabetización transversal y cuenten con apoyos profesionales, como son los bibliotecarios, ya que las bibliotecas universitarias son entendidas como centros integrales de servicios y recursos para la docencia y la investigación (González et al., 2016González, N., Barrera, J. A., Saen-de Casas, E. y Moya, V. M. (2016). Bibliotecarios e innovación docente: la oportunidad de los planes tutoriales y los trabajos de fin de grado. Textos Universitaris de Biblioteconomia i Documentació, 36. https://doi.org/10.1344/BiD2016.36.14).

A la vista de todo lo expuesto, es imprescindible proveer al estudiante de una alta formación especializada, para lo cual es preciso desarrollar nuevas e innovadoras formas de instrucción (Martínez et al., 2018Martínez, I., Goig, R. y Ortega, I. (2018). Estudio de las necesidades formativas, conocimientos y competencias necesarias para diseñar el trabajo de fin de máster. En M. Cipagauta (coord.), Mixtura educativa a la carta: reflexiones en torno a la enseñanza, el aprendizaje y la evaluación (pp. 191-199). https://es.calameo.com/read/005098249ebbc2d6166f5). Formar en RS en los estudios de primer ciclo universitario fomenta la importancia de la rigurosidad y sistematicidad en la búsqueda y análisis de la información para una práctica profesional futura basada en la evidencia.

El presente estudio pretende ser una aportación para que tutores de TFG orienten metodológicamente a sus estudiantes en el aprendizaje de las RS, identificando así fortalezas y debilidades propias del diseño y procedimiento de esta metodología de investigación. Aunque los hallazgos encontrados provienen de un cuestionario con las limitaciones que este tipo de instrumento comporta, se espera continuar trabajando en la construcción y validación de autoinformes que ayuden a los estudiantes a autoevaluarse con la finalidad de mejorar la calidad de los TFG.

Referencias bibliográficas

Abstract

Training in systematic review as a modality of the Final Degree Project: The Achilles Heel of our students

INTRODUCTION. Various changes are being originated from the European Higher Education Area and the Bologna Declaration of Spanish universities, among them, we highlight the obligation for students to carry out a Final Degree Project (FDP). Starting from the importance of this work and focusing on the modality of systematic reviews, this research analyzes the effect of a training program in that modality on the knowledge of the students, who are going to carry out a final project, using the systematic review. METHOD. A mixed concurrent triangulation design is used: a quasi-experimental design with pre-test and post-test without a control group in a case study. The sample for the quantitative analysis was selected by accessibility, with a total of 73 students, of which 14 participated randomly and voluntarily in conducting an interview. In this way, as instruments for collecting information, we use a questionnaire, made up of 24 items on a 5-point Likert scale response, and a structured interview to complete the information obtained in the questionnaires. RESULTS. Significant differences were found in all the items between the pre and post scores, the latter being higher, with very large effect sizes. Likewise, the discourse analysis showed the parallelism with the quantitative results and the satisfaction of the students after the training received. DISCUSSION. This research highlights the impact that this type of training has on our students, being the same effective for students to acquire the basic skills that allow them to carry out systematic reviews in the completion of the FDP. Therefore, the need for universities to offer this type of training as part of the teaching-learning process is highlighted.

Keywords: Literature reviews, Final Degree Project, Undergraduate students, Research skills, Systematic review, Formative research.

Résumé

La formation à la révision systématique comme modalité de réalisation du projet de fin d’études : le talon d’Achille de nos étudiants

INTRODUCTION. Il existe divers changements provenant de l’Espace Européen de l’Enseignement Supérieur et de la Déclaration de Bologne des universités espagnoles, parmi lesquels nous soulignons l’obligation pour les étudiants de réaliser un Project de Fin d’Études (TFG). Partant de l’importance de ce travail et se concentrant sur la modalité des revues systématiques, cette recherche analyse l’effet d’un programme de formation dans ladite modalité sur les connaissances des étudiants qui vont réaliser un projet de fin d’études à l’aide de la revue systématique. MÉTHODE. Un design de triangulation mixte simultanée a été utilisé : un design quasi expérimental avec prétest et post-test sans groupe témoin dans une étude de cas. L’échantillon pour les analyses quantitatives a été sélectionné par des critères d’accessibilité ; avec un total de 73 étudiants, dont 14 ont participé au hasard et volontairement dans l’entretien. Ainsi, comme instruments de collecte d’informations, il se trouve un questionnaire, composé de 24 items sur une échelle de réponse Likert à 5 points, et un entretien structuré dans le but de compléter les informations obtenues dans les questionnaires. RÉSULTATS. Des différences significatives ont été trouvées dans tous les items entre les scores pré et post, ce dernier étant plus élevé, avec des tailles d’effets très importantes. De même, l’analyse du discours a montré un parallélisme avec les résultats quantitatifs obtenus et la satisfaction des étudiants après la formation reçue. DISCUSSION. Cette recherche met en évidence l’impact que ce type de formation a sur nos étudiants, étant également efficace pour eux d’acquérir les compétences de base qui leur permettront d’effectuer des révisions systématiques dans l’achèvement de leur projet de fin d’études. Par conséquent, la nécessité pour les universités d’offrir ce type de formation dans le cadre du processus d’enseignement-apprentissage est soulignée.

Mots-clés : Revues de littérature, Project de Fin d’Études, Etudiants universitaires, Compétences en recherche, Revue systématique, Recherche formative.

Perfil profesional de las autoras

Patricia Solís García (autora de contacto)

Contratada doctor en el área de Psicología de la Educación y Psicobiología en la Universidad Internacional de La Rioja, coordinadora académica del Máster de Educación Especial. Sus principales líneas de investigación abordan aspectos relacionados con la educación inclusiva, las actitudes hacia la inclusión y la discapacidad.

Código ORCID: https://orcid.org/0000-0002-2962-5819

Correo electrónico de contacto: patricia.solis@unir.net

Dirección para la correspondencia: Universidad Internacional de La Rioja. Av. de la Paz, 137, 26006 Logroño, La Rioja.

Delia Arroyo Resino

Contratada doctor en el área de Métodos de Investigación y Diagnóstico en Educación en la Universidad Internacional de La Rioja, realizó el doctorado internacional en Educación. Miembro del equipo del proyecto de Innova-docencia n.º 280 (2020-2021), n.º 286 (2021-2022) y n.º 381 (2022-2023) vinculado a revisiones sistemáticas. Sus principales líneas de investigación versan sobre metodología y análisis de datos en educación.

Código ORCID: https://orcid.org/0000-0002-3784-7745

Correo electrónico de contacto: delia.arroyo@unir.net

Celia Camilli Trujillo

Doctora en Educación. Profesora en asignaturas vinculadas a métodos de investigación en el Departamento de Investigación y Psicología en Educación. Responsable del proyecto de Innova-docencia n.º 280 (2020-2021), n.º 286 (2021-2022) y n.º 381 (2022-2023) vinculado a revisiones sistemáticas. Las líneas de investigación se centran en investigación cualitativa, revisiones sistemáticas y métodos mixtos de investigación.

Código ORCID: https://orcid.org/0000-0001-7181-0068

Correo electrónico de contacto: ccamilli@ucm.es