Figura 1. Diagrama de flujo
SILVIA SÁNCHEZ-SERRANO(1) , INMACULADA PEDRAZA-NAVARRO(2) Y MACARENA DONOSO-GONZÁLEZ(3)
(1) Universidad Complutense de Madrid (España)
(2) Universidad Antonio de Nebrija (España)
(3) Universidad Nacional de Educación a Distancia (España)
DOI: 10.13042/Bordon.2022.95090
Fecha de recepción: 18/06/2022 • Fecha de aceptación: 29/08/2022
Autora de contacto / Corresponding author: Silvia Sánchez-Serrano. E-mail: silsan01@ucm.es
Cómo citar este artículo: Sánchez-Serrano, S., Pedraza-Navarro, I. y Donoso-González, M. (2022). ¿Cómo hacer una revisión sistemática siguiendo el protocolo PRISMA? Usos y estrategias fundamentales para su aplicación en el ámbito educativo a través de un caso práctico. Bordón, Revista de Pedagogía, 74(3), 51-66. https://doi.org/10.13042/Bordon.2022.95090
INTRODUCCIÓN. Partiendo de un caso práctico, se muestra el contenido de la declaración PRISMA 2020 y su protocolo, el cual se configura actualmente como uno de los más utilizados para la realización de revisiones sistemáticas en el ámbito educativo. En cada uno de los apartados que componen el presente artículo, y usando como documento de referencia el trabajo “¿De qué hablo cuando hablo de innovación educativa? Una revisión sistemática”, se irá dando respuesta a los requerimientos de PRISMA 2020. El objetivo es, por tanto, que el lector adquiera los conocimientos teórico-prácticos necesarios para la adecuada aplicación del protocolo que establece PRISMA. MÉTODO. A través de una revisión en profundidad de la literatura existente, se muestra de manera clara y sintética el procedimiento para realizar una revisión sistemática siguiendo la declaración PRISMA 2020. RESULTADOS. Se presenta, en formato de pregunta-respuesta, la solución a todos los temas (27) que incluye la lista de verificación para investigaciones que se realizan bajo PRISMA 2020. En este caso, aplicado al término “innovación educativa”, pues es el tema de investigación planteado en el caso práctico que se pretende resolver en este artículo. DISCUSIÓN. Tal y como muestra la literatura existente, la correcta aplicación del protocolo PRISMA 2020 para revisiones sistemáticas en el ámbito educativo permite dar respuesta de manera objetiva y fiable a las diversas preguntas de investigación que pueda plantear la realidad educativa. Del mismo modo, una aplicación incorrecta de este protocolo puede provocar el sesgo en la investigación, lo que conllevaría, con muy alta probabilidad, el rechazo de la investigación por parte de los editores y/o revisores de revistas especializadas.
Palabras clave: Revisiones bibliográficas, Innovación educativa, Investigación educativa, Educación, Métodos de investigación, Bases de datos bibliográficas.
Llega el final de curso y con él la evaluación. El equipo directivo del centro donde trabajas convoca un claustro para abordar cuestiones relativas al próximo curso. Uno de los puntos del orden del día hace referencia a la recogida de propuestas para llevar a cabo un plan de innovación en el centro. Enseguida te asaltan multitud de ideas basadas en algunas actividades que has realizado durante el curso y otras totalmente novedosas. Te ilusiona el pensar que vas a poder poner en práctica aquello que hasta ahora no había salido de tus fantasías docentes. Por fin tu centro apuesta por la innovación educativa.
Llegas a casa y con esa misma ilusión te pones a trabajar, no tienes duda de que las actividades que has desarrollado durante el curso han sido exitosas, al alumnado le han resultado atractivas, ha participado en ellas y los resultados de aprendizaje han cumplido tus expectativas, pero inmediatamente te asaltan algunas preguntas que paralizan tu propuesta para el claustro. ¿Las actividades que he venido haciendo con mi grupo se consideran innovación educativa? ¿Qué es exactamente la innovación educativa? ¿Existe una definición precisa? ¿Dispone la comunidad educativa de trabajos, estudios o investigaciones que aborden esta temática? Este tipo de preguntas pueden responderse de manera fiable y rigurosa realizando una revisión sistemática.
¿Qué es una revisión sistemática?
Una revisión sistemática (en adelante, RS) es un tipo de investigación científica en la que la unidad de análisis son los estudios originales primarios sobre una misma temática, es por esto por lo que, al investigar sobre lo ya investigado, se considera investigación secundaria (Ferreira-González et al., 2011Ferreira-González, I., Urrútia, G. y Alonso-Coello, O. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688-696.https://doi.org/10.1016/j.recesp.2011.03.029). El objetivo de la RS es el de dar respuesta a una pregunta de investigación formulada de manera clara y concreta (Andreo-Martínez et al., 2022Andreo-Martínez, P., Ortíz-Martínez, V. M., Salar-García, M. J., Veiga-del Baño, J. M., Chica, A. y Quesada-Medina, J. (2022). Waste animal fats as feedstock for biodiesel production using non-catalytic supercritical alcohol transesterification: a perspective by the PRISMA methodology. Energy for Sustainable Development , 69, 150-163. https://doi.org/10.1016/j.esd.2022.06.004 ; Sánchez-Meca y Botella, 2010Sánchez-Meca, J. y Botella, J. (2010). Revisiones sistemáticas y meta-análisis: herramientas para la práctica profesional. Papeles del Psicólogo, 31(1), 7-17. ; Wischlitzki et al., 2020Wischlitzki, E., Amler, N., Hiller, J. y Drexler, H. (2020). Psychosocial risk management in the teaching profession: a systematic review. Safety and Health at Work, 11(4), 385-396. https://doi.org/10.1016/j.shaw.2020.09.007 ). A través de este tipo de investigación se puede ofrecer una perspectiva global y fiable del tema objeto de estudio, a fin de evitar posibles sesgos durante la investigación.
La RS consiste en identificar, seleccionar, evaluar y sintetizar evidencias en investigaciones de alto impacto de un modo transparente y accesible. Para ello se elaborará un resumen estructurado y objetivo de los resultados obtenidos en diferentes estudios acerca de un tema específico (Chan-Arceo y Canto-Herrera, 2022Chan-Arceo, C. y Canto-Herrera, P. (2022). Concepto y términos relacionados con el desarrollo profesional docente: una revisión sistemática. Revista de Educación, 0(25.1), 231-250. http://fh.mdp.edu.ar/revistas/index.php/r_educ/article/view/5843/6022 ; Manterola et al., 2013Manterola, C., Astudillo, P., Arias, E. y Claros, N. (2013). Revisiones sistemáticas de la literatura. Qué se debe saber acerca de ellas. Revista Cirugía Española, 91(3), 149-155. https://doi.org/10.1016/j.ciresp.2011.07.009). Este resumen será el resultado de un proceso sistemático y explícito de revisión y análisis documental. A diferencia de la revisión narrativa que, a causa de no responder a este proceso sistemático y presentar los resultados de forma descriptiva, es considerada por muchos investigadores como literatura científica en lugar de como investigación.
Como señalamos en líneas anteriores, uno de los elementos que evitar en la RS es el sesgo por el que podrá verse afectada la calidad de la respuesta a nuestra pregunta de investigación. Uno de los sesgos más frecuentes en RS se da en la selección de referencias bibliográficas que respondan a la pregunta de investigación, ya que, al partir de decisiones y estrategias propias tanto en la búsqueda como en la selección y la recopilación de información, en numerosas ocasiones, los estudios realizados bajo este tipo de investigación son susceptibles de contener errores. Por ejemplo, al aplicar una búsqueda con filtros relativos al tipo de publicación, al año, al idioma o ubicación geográfica del estudio que incluyamos en una determinada base de datos como ERIC, esta arrojará solo una parte de las investigaciones relevantes y no el total de los estudios que se desean localizar con esas características. Bok y Queluz (2004Bok, H. y Queluz, T. (2004). Locating and selecting appraisal studies for reviews. Chest Journal, 125(2), 798. https://doi.org/10.1378/chest.125.2.798 ) proponen utilizar múltiples bases de datos para identificar estudios y luego emplear un enfoque sistemático para seleccionar los que se incluirán finalmente.
Otra limitación frecuente en las RS es el sesgo de publicación, refiriéndose a que aquellos estudios que no han obtenido unos resultados óptimos o significativos no llegan a publicarse, quedando así invisibles dentro de las búsquedas en las bases de datos (Rosenthal, 1979Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638-641. https://doi.org/10.1037/0033-2909.86.3.638). Por tanto, las investigaciones disponibles en revistas de impacto estarían sesgadas hacia aquellas que han obtenido resultados positivos, por lo que no son una representación minuciosa de la investigación existente.
Por último, cabe mencionar el sesgo del investigador, aunque se alude a él con menor frecuencia dado que en las RS se requiere referenciar los artículos y autores estudiados. Existe la posibilidad de que algunas investigaciones relacionadas con el objeto de estudio no sean mencionadas porque las preferencias del autor sean otras (Manterola et al., 2013Manterola, C., Astudillo, P., Arias, E. y Claros, N. (2013). Revisiones sistemáticas de la literatura. Qué se debe saber acerca de ellas. Revista Cirugía Española, 91(3), 149-155. https://doi.org/10.1016/j.ciresp.2011.07.009; Zajac et al., 2022Zajac, J. F., Storman, D., Swierz, M. J., Koperny, M., Weglarz, P., Staskiewicz, W. et al. (2022). Are systematic reviews addressing nutrition for cancer prevention trustworthy? A systematic survey of quality and risk of bias. Nutrition Reviews, 80(6), 1558-1567. https://doi.org/10.1093/nutrit/nuab093 ).
Con todo, para limitar el sesgo y el error aleatorio, se enuncian en la tabla 1 una serie de estrategias.
A partir de estas estrategias y de las condiciones requeridas para la correcta realización de una RS, subrayamos que los estudios realizados siguiendo este tipo de investigación requieren de objetividad y rigurosidad tanto a nivel cualitativo como cuantitativo, haciéndose preciso para ello las herramientas metodológicas disponibles para la combinación de datos, manteniendo, a su vez, el peso de cada estudio en función de su calidad.
La aparente sencillez en la realización de una RS, su uso frecuente por investigadores noveles y su efecto generador de citas (Sánchez-Prieto, 2020Sánchez-Prieto, J. C. (2020). La revisión sistemática de la literatura en investigación educativa: posibilidades, riesgos y sostenibilidad. Aula Magna 2.0. https://cuedespyd.hypotheses.org/8753 ) son algunas de las razones que han provocado el aumento de las RS, aunque no siempre con la calidad necesaria. Dado que la RS requiere de un riguroso protocolo y no existe un consenso claro para su correcta aplicación (Tricco et al., 2018)Tricco, A. C., Lillie, E., Zarin, W., O’Brien, K. K., Colquhoun, H., Levac, D. et al. (2018). PRISMA extension for scoping reviews (PRISMA-ScR): checklist and explanation. Annals of Internal Medicine, 169(7), 467-473. https://doi.org/10.7326/M18-0850 , los trabajos realizados, en ocasiones, carecen de la fiabilidad necesaria, precisamente por no ceñirse al procedimiento, lo que provoca que se acerquen más a revisiones narrativas. Resulta, por tanto, objeto de este trabajo el hacer pedagogía, desde la investigación científica, de uno de los tipos de investigación que cada vez posee un mayor protagonismo en el ámbito educativo (Ruiz-Corbella y López-Gómez, 2017Ruiz-Corbella, M. y López-Gómez, E. (2017). El meta-análisis como metodología de investigación en educación. Aula Magna 2.0. https://cuedespyd.hypotheses.org/3064).
Guías y protocolos para realizar una RS
Para el correcto desarrollo de la RS se cuenta con diversas guías y protocolos; entre las primeras, y para considerar la validez y magnitud de los resultados, en el ámbito educativo conviene destacar el programa CASPe sobre lectura crítica (CASPe, 2022CASPe (2022). Programa de Habilidades en Lectura Crítica Español. https://redcaspe.org/ ), RedLEI para el diseño y la realización de RS para investigadores de lectura inicial (RedLEI, 2021RedLEI (2021). Diseño y realización de revisiones sistemáticas: una guía de formación para investigadores de LEI. https://red-lei.org/wp-content/uploads/2021/03/Directrices-de-Revisiones-Sistematicas.pdf ) o la guía práctica sobre evaluación de IVÀLUA para RS sobre políticas públicas (Sanz, 2020Sanz, J. (2020). Guía práctica 16. Las aportaciones de las revisiones sistemáticas de la literatura al diseño de las políticas públicas. IVÀLUA. https://ivalua.cat/sites/default/files/202005/Gu%C3%ADa%20Pr%C3%A1ctica16_Cast_0.pdf ).
En cuanto a los protocolos y declaraciones existentes, cabe mencionar la declaración QUORUM (Quality Of Reporting of Meta-analysis), que surge en 1999 con el objetivo de suplir las carencias detectadas en diversas revisiones, a través de estudios realizados a mitad de los años ochenta (Mulrow, 1987Mulrow, C. D. (1987). The medical review article: state of the science. Annals of Internal Medicine, 106(3), 485-488. https://doi.org/10.7326/0003-4819-106-3-485 ; Sacks et al., 1987Sacks, H. S., Berrier, J., Reitman, D., Ancona-Berk, V. A. y Chalmers, T. C. (1987). Meta-analyses of randomized controlled trials. The New England Journal of Medicine, 316(8), 450-455. https://doi.org/10.1056/NEJM198702193160806 ) y a fin de crear un sistema estandarizado que enriqueciera las RS. En concreto, QUORUM ofrece orientaciones de cara a mejorar las RS bajo metaanálisis. Para ello, incluye listas de comprobación para autores, revisores y editores, así como un diagrama de flujo que describe el proceso completo de revisión (Goldberg et al., 2022Goldberg, J., Boyce, L. M., Soudant, C. y Godwin, K. (2022). Assessing journal author guidelines for systematic reviews and meta-analyses: findings from an institutional sample. Journal of the Medical Library Association, 110(1), 63-71. https://doi.org/10.5195/jmla.2022.1273 ; Moher et al., 1999Moher, D., Cook, D. J., Eastwood, S., Olkin, I., Rennie, D. y Stroup, D. F. (1999). Improving the quality of reports of randomised controlled trials: the QUOROM statement. Quality of Reporting of Meta-Analyses. Lancet, 354(9193), 1896-1900. https://doi.org/10.1016/s0140-6736(99)04149-5 ).
Una década más tarde, QUORUM es actualizada y ampliada para recoger los avances conceptuales y prácticos en la ciencia de las RS; es entonces cuando se publica el que actualmente se considera uno de los protocolos más consolidados tras su reciente revisión en 2020, la declaración PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) (Page et al., 2021aPage, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021a). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372(71), 1-9. https://doi.org/10.1136/bmj.n71).
La declaración PRISMA
Si bien es cierto que PRISMA tiene su origen en el ámbito de las ciencias de la salud y se utiliza habitualmente para la actualización profesional, el desarrollo de guías o la justificación de la necesidad de mayor investigación en un área determinada (Swingler et al., 2003Swingler, G. H., Volmink, J. y Ioannidis, J. P. (2003). Number of published systematic reviews and global burden of disease: database analysis. BMJ, 327(7423), 1083-1084. https://doi.org/10.1136/bmj.327.7423.1083 ), cada vez son más frecuentes las RS que se basan en esta declaración en las ciencias sociales y, en concreto, en el ámbito educativo. Las realizadas por Redondo-Corcobado y Fuentes (2020Redondo-Corcobado, P. y Fuentes, J. L. (2020). La investigación sobre el aprendizaje-servicio en la producción científica española: una revisión sistemática. Revista Complutense de Educación, 31(1), 69-83. https://doi.org/10.5209/rced.61836 ), Sánchez-Serrano et al. (2022Sánchez-Serrano, S., Pedraza-Navarro, I. y Beltrán, A. I. (2022). ¿De qué hablo cuando hablo de innovación educativa? Una revisión sistemática. En S. Carrascal y N. Camuñas (coords.), Docencia y aprendizaje. Competencias, identidad y formación del profesorado (pp. 587-606). Tirant Humanidades. ) y Sibgatullin et al. (2022Sibgatullin, I. R., Korzhuev, A. V., Khairullina, E. R., Sadykova, A. R., Baturina, R. V. y Chauzova, V. (2022). A systematic review on algebraic thinking in education. Eurasia Journal of Mathematics, Science and Technology Education, 18(1), em2065. https://doi.org/10.29333/ejmste/11486 ) son solo un ejemplo de ello. Además, PRISMA no se limita únicamente al metaanálisis como sí hace QUORUM, sino que es aplicable a cualquier RS (Pérez-Rodríguez, 2012Pérez-Rodríguez, C. (2012). Las revisiones sistemáticas: declaración PRISMA. Revista Española de Nutrición Comunitaria, 18(1), 57-58.). Así, esta declaración se configura como una de las herramientas más adecuadas para la mejora de la calidad de las publicaciones de RS, motivo que, consideramos, hace pertinente este artículo.
PRISMA 2020 se compone de tres documentos , 1) el documento de declaración, que incluye una lista de verificación con 27 temas distribuidos en 7 secciones, que sirven para documentar el proceso de manera simultánea a la validación del desarrollo de la investigación. Dicha lista de verificación puede consultarse en Page et al. (2021aPage, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021a). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372(71), 1-9. https://doi.org/10.1136/bmj.n71).
Además, dicho documento presenta una lista de verificación para resúmenes estructurados de RS que se presenten en revistas y congresos (Beller et al., 2013Beller, E. M., Glasziou, P. P., Altman, D. G., Hopewell, S., Bastian, H. et al. y PRISMA for Abstracts Group (2013). PRISMA for Abstracts: reporting systematic reviews in journal and conference abstracts. PLoS Medicine, 10(4), e1001419. https://doi.org/10.1371/journal.pmed.1001419 ), así como una plantilla para la elaboración del diagrama de flujo que permite la representación gráfica de los criterios utilizados para cada caso, indicando documentos recuperados, seleccionados y descartados.
Otro de los documentos que conforman PRISMA 2020 es 2) el documento de desarrollo, donde se describen y justifican las fases que se han seguido para la actualización de la versión de PRISMA 2009 (Page et al., 2021bPage, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021b). Updating guidance for reporting systematic reviews: development of the PRISMA 2020 statement. Journal of Clinical Epidemiology, 134, 103-112. https://doi.org/10.1016/j.jclinepi.2021.02.003). Y, por último, 3) el documento de explicación y elaboración actualizado, que está destinado a facilitar la implementación de la guía, por lo que se recomienda especialmente a personas poco familiarizadas con PRISMA, ya que explica el porqué de informar de cada elemento. En dicho documento se especifican diversas recomendaciones por cada uno de los temas que configuran el documento de declaración (Page et al., 2021cPage, M. J., Moher, D., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021c). PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews. BMJ, 372(160), 1-36. https://doi.org/10.1136/bmj.n160 ). La consulta de la documentación mencionada y el seguimiento de la misma, antes de comenzar con la fase de redacción, garantizará que todos los elementos sean abordados (Page et al., 2021aPage, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021a). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372(71), 1-9. https://doi.org/10.1136/bmj.n71).
Conviene señalar que la website de PRISMA (http://www.prisma-statement.org/) proporciona plantillas exportables en formato Word y PDF de las listas de los 27 temas de verificación y ofrece la posibilidad de diseñar el diagrama de flujo. También existe una aplicación (PRISMA 2020 Cheklist) que permite completar la lista de temas de manera sencilla. Una vez completada, el sistema ofrece la posibilidad de descargar el informe automáticamente. Este informe nos servirá, a su vez, para validar el seguimiento del protocolo y podremos incluirlo como anexo a nuestro artículo o, en caso de limitaciones de extensión por parte de la revista, podremos depositarlo en repositorios generalistas o institucionales de acceso público y permanente (como Open Science Framework, Dryad, Figshare), incluyendo un enlace o referencia al informe principal. En este sentido, debemos tener en cuenta que repositorios generalistas como Zenodo (https://zenodo.org/) nos van a permitir asignarle un DOI a nuestro protocolo, para que pueda ser identificado y referenciado como datos abiertos asociados a nuestra investigación (Sánchez-García, 2022Sánchez-García, S. (2022). El uso y abuso de la revisión sistemática como metodología de investigación en educación. Aula Magna 2.0. https://cuedespyd.hypotheses.org/10246 ; Page et al., 2021aPage, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021a). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372(71), 1-9. https://doi.org/10.1136/bmj.n71).
El presente artículo se presenta a modo de guía para llevar a cabo una RS en el ámbito educativo bajo la declaración PRISMA, siendo sus principales destinatarios los profesionales e investigadores en este ámbito, así como los revisores y editores de revistas científicas. El objetivo fundamental consiste en facilitar la comprensión del protocolo para su aplicación de la manera adecuada, dejando espacio al lector para consideraciones y especificaciones propias. La intención, por tanto, no es otra que mejorar la aplicación y uso de PRISMA y extraer de su protocolo todas las posibilidades que este ofrece, así como tratar de evitar posibles errores que conlleven el rechazo de trabajos en revistas científicas por un uso incorrecto (Parums, 2021Parums D. V. (2021). Editorial: review articles, systematic reviews, meta-analysis, and the updated preferred reporting items for Systematic Reviews and Meta-Analyses (PRISMA) 2020 Guidelines. Medical Science Monitor: International Medical Journal of Experimental and Clinical Research, 27, e934475. https://doi.org/10.12659/MSM.934475 ).
El método llevado a cabo para la elaboración de este artículo ha consistido en una revisión en profundidad de la literatura existente acerca de la realización de revisiones sistemáticas bajo la declaración PRISMA para, posteriormente, mostrar de manera sintética y didáctica tal procedimiento a los miembros de la comunidad científica interesados en llevar a cabo dicho protocolo en sus investigaciones.
A continuación abordaremos los 27 temas que se encuentran distribuidos en las 7 secciones que componen la lista de verificación PRISMA 2020 (título [1 tema], resumen [1 tema], introducción [2 temas], métodos [11 temas], resultados [7 temas], discusión [1 tema], otra información [4 temas]). Para una mejor comprensión, se utilizará como guía un trabajo ya publicado sobre innovación educativa realizado bajo el protocolo PRISMA. Dicho trabajo lleva por título “¿De qué hablo cuando hablo de innovación educativa? Una revisión sistemática” (Sánchez-Serrano et al., 2022Sánchez-Serrano, S., Pedraza-Navarro, I. y Beltrán, A. I. (2022). ¿De qué hablo cuando hablo de innovación educativa? Una revisión sistemática. En S. Carrascal y N. Camuñas (coords.), Docencia y aprendizaje. Competencias, identidad y formación del profesorado (pp. 587-606). Tirant Humanidades. ) y forma parte del libro Docencia y aprendizaje. Competencias, identidad y formación del profesorado (Carrascal y Camuñas, 2022Carrascal, S. y Camuñas, N. (coords.) (2022). Docencia y aprendizaje. Competencias, identidad y formación del profesorado. Tirant Humanidades. ). La coincidencia con nuestro problema de investigación (innovación educativa) y el diseño seguido para su desarrollo (PRISMA, 2020) han hecho considerarlo uno de los más apropiados para ilustrar este apartado.
En apartados anteriores hemos descrito, desde una perspectiva teórica, los fundamentos y elementos básicos del protocolo PRISMA, pero ¿cómo se realiza procedimentalmente una RS bajo este protocolo? ¿Cuáles son las fases que seguir y tareas que realizar? Antes de comenzar, volvamos a la situación inicial de este artículo.
A partir de una reunión convocada por el equipo directivo del centro en el que trabajamos, nos han surgido algunas dudas sobre un término en constante evolución: innovación educativa. ¿Qué se considera en la actualidad innovación educativa? ¿Son las actividades que realizo realmente innovadoras? ¿Cuántas publicaciones existen sobre este tema? Para resolver estas y otras cuestiones resultaría adecuado realizar una RS siguiendo el protocolo PRISMA.
Para una mejor comprensión del procedimiento, se recomienda el seguimiento del trabajo “¿De qué hablo cuando hablo de innovación educativa? Una revisión sistemática” (https://acortar.link/Mzn40Z) de manera simultánea a la de los puntos que abordaremos a continuación, ya que se hará alusión al número de página al que nos referimos en cada caso. En cuanto a las frases escritas en cursiva, estas hacen referencia a cada uno de los 27 temas que incluye la lista de verificación PRISMA 2020.
Sección 1. Título
La primera sección abordará un único tema referido al título del trabajo.
Sección 2. Resumen
Al igual que en la sección 1, la sección 2 se compone de un único tema, en este caso, referido al resumen del trabajo.
Sección 3. Introducción
A continuación, nos centraremos en los temas 3 y 4 del protocolo PRISMA. Ambos están relacionados con la introducción que debe contener una RS.
Sección 4. Método
En este punto, abordaremos desde el tema 5 hasta el 15 del protocolo PRISMA, los cuales se refieren a la metodología empleada para realizar adecuadamente una RS.
|
Figura 1. Diagrama de flujo |
Para extraer la información determinante de la muestra seleccionada (n = 15), es preciso realizar un análisis de contenido que nos permita obtener la lista de datos resultante que nos ayudará a encuadrar cada artículo de acuerdo con elementos definitorios y determinantes de cada uno de ellos (tema 10). Para esta tarea se recomienda el uso del software Microsoft Excel.
En esta tarea es preciso que contribuyan todos los autores introduciendo información de manera independiente para que, con posterioridad, entre todos puedan verificar y contrastar la misma y cerciorarse de que no hay sesgo en la información recogida. De esta forma se estaría dando cumplimiento a la evaluación del riesgo de sesgo de los estudios individuales (tema 11). Así, con la intervención de todos los autores en el proceso de extracción y verificación de información de las mismas fuentes estaríamos tomando medidas del efecto que nos permitirán garantizar la ausencia de errores en nuestro proceder investigador (tema 12).
| Tabla 2. Tabla de Excel proporcionada por Sánchez-Serrano et al. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Sección 5. Resultados
A continuación, desarrollaremos los temas que hacen alusión a los resultados de nuestra investigación y que en la lista de verificación se corresponden con los temas del 16 al 22.
Sección 6. Discusión
Al igual que las dos primeras secciones, la sección 6 se compone de un único tema. En este caso, referido a la discusión de los resultados obtenidos en una RS.
Sección 7. Otra información
Para finalizar, abordamos la sección 7 referida a otra información que pudiera ser relevante de cara a realizar una RS. Esta sección está conformada por los temas del 24 al 27.
A continuación, y una vez finalizado el proceso de respuesta a los 27 temas que incluye la lista de verificación del documento de declaración PRISMA 2020, expondremos las conclusiones del presente estudio.
A través de una RS siguiendo el protocolo PRISMA, podremos encontrar respuestas a diversas preguntas de investigación que surjan de nuestro desempeño profesional en el ámbito educativo. En este trabajo hemos podido demostrar cómo, realizando una RS sobre innovación educativa, es posible descifrar lo que se enmarca dentro de este amplio concepto.
El seguimiento del protocolo PRISMA se configura en la actualidad como una de las formas más habituales para la realización de RS en el ámbito educativo. Consecuencia de ello es el aumento de las publicaciones científicas realizadas siguiendo este protocolo, hecho que ha provocado un interés cada vez mayor por parte de la comunidad investigadora en adquirir o mejorar sus conocimientos acerca de la declaración publicada en 2020.
El uso y seguimiento correcto del protocolo PRISMA para la realización de RS en el ámbito educativo garantizará la calidad en cuanto a precisión y fiabilidad de un trabajo de investigación de esta tipología, por el contrario, un uso inadecuado o poco preciso del protocolo PRISMA traerá consigo un sesgo en la investigación y un elevado riesgo de rechazo por parte de los revisores y/o editores de revistas de calidad. Por ello, se recomienda el estudio en profundidad del protocolo PRISMA, previamente a la realización de una RS, así como la lectura de artículos como el presente, que faciliten la comprensión y aplicación de esta declaración.
| ○ | Andreo-Martínez, P., Ortíz-Martínez, V. M., Salar-García, M. J., Veiga-del Baño, J. M., Chica, A. y Quesada-Medina, J. (2022). Waste animal fats as feedstock for biodiesel production using non-catalytic supercritical alcohol transesterification: a perspective by the PRISMA methodology. Energy for Sustainable Development , 69, 150-163. https://doi.org/10.1016/j.esd.2022.06.004 |
| ○ | Beller, E. M., Glasziou, P. P., Altman, D. G., Hopewell, S., Bastian, H. et al. y PRISMA for Abstracts Group (2013). PRISMA for Abstracts: reporting systematic reviews in journal and conference abstracts. PLoS Medicine, 10(4), e1001419. https://doi.org/10.1371/journal.pmed.1001419 |
| ○ | Bettany-Saltikov, J. (2012). How you do a systematic literature review in nursing. A step-by-step guide. McGraw Hill. |
| ○ | Bok, H. y Queluz, T. (2004). Locating and selecting appraisal studies for reviews. Chest Journal, 125(2), 798. https://doi.org/10.1378/chest.125.2.798 |
| ○ | Carrascal, S. y Camuñas, N. (coords.) (2022). Docencia y aprendizaje. Competencias, identidad y formación del profesorado. Tirant Humanidades. |
| ○ | CASPe (2022). Programa de Habilidades en Lectura Crítica Español. https://redcaspe.org/ |
| ○ | Chan-Arceo, C. y Canto-Herrera, P. (2022). Concepto y términos relacionados con el desarrollo profesional docente: una revisión sistemática. Revista de Educación, 0(25.1), 231-250. http://fh.mdp.edu.ar/revistas/index.php/r_educ/article/view/5843/6022 |
| ○ | Cook, D. J., Sackett, D. L. y Spitzer, W. O. (1995). Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam Consultation on Meta-Analysis. Journal of Clinical Epidemiology, 48(1), 167-171. https://doi.org/10.1016/0895-4356(94)00172-M |
| ○ | Ferreira-González, I., Urrútia, G. y Alonso-Coello, O. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688-696. |
| ○ | Goldberg, J., Boyce, L. M., Soudant, C. y Godwin, K. (2022). Assessing journal author guidelines for systematic reviews and meta-analyses: findings from an institutional sample. Journal of the Medical Library Association, 110(1), 63-71. https://doi.org/10.5195/jmla.2022.1273 |
| ○ | Manterola, C., Astudillo, P., Arias, E. y Claros, N. (2013). Revisiones sistemáticas de la literatura. Qué se debe saber acerca de ellas. Revista Cirugía Española, 91(3), 149-155. https://doi.org/10.1016/j.ciresp.2011.07.009 |
| ○ | Moher, D., Cook, D. J., Eastwood, S., Olkin, I., Rennie, D. y Stroup, D. F. (1999). Improving the quality of reports of randomised controlled trials: the QUOROM statement. Quality of Reporting of Meta-Analyses. Lancet, 354(9193), 1896-1900. https://doi.org/10.1016/s0140-6736(99)04149-5 |
| ○ | Mulrow, C. D. (1987). The medical review article: state of the science. Annals of Internal Medicine, 106(3), 485-488. https://doi.org/10.7326/0003-4819-106-3-485 |
| ○ | Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021a). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372(71), 1-9. https://doi.org/10.1136/bmj.n71 |
| ○ | Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021b). Updating guidance for reporting systematic reviews: development of the PRISMA 2020 statement. Journal of Clinical Epidemiology, 134, 103-112. https://doi.org/10.1016/j.jclinepi.2021.02.003 |
| ○ | Page, M. J., Moher, D., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021c). PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews. BMJ, 372(160), 1-36. https://doi.org/10.1136/bmj.n160 |
| ○ | Parums D. V. (2021). Editorial: review articles, systematic reviews, meta-analysis, and the updated preferred reporting items for Systematic Reviews and Meta-Analyses (PRISMA) 2020 Guidelines. Medical Science Monitor: International Medical Journal of Experimental and Clinical Research, 27, e934475. https://doi.org/10.12659/MSM.934475 |
| ○ | Pérez-Rodríguez, C. (2012). Las revisiones sistemáticas: declaración PRISMA. Revista Española de Nutrición Comunitaria, 18(1), 57-58. |
| ○ | RedLEI (2021). Diseño y realización de revisiones sistemáticas: una guía de formación para investigadores de LEI. https://red-lei.org/wp-content/uploads/2021/03/Directrices-de-Revisiones-Sistematicas.pdf |
| ○ | Redondo-Corcobado, P. y Fuentes, J. L. (2020). La investigación sobre el aprendizaje-servicio en la producción científica española: una revisión sistemática. Revista Complutense de Educación, 31(1), 69-83. https://doi.org/10.5209/rced.61836 |
| ○ | Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638-641. https://doi.org/10.1037/0033-2909.86.3.638 |
| ○ | Ruiz-Corbella, M. y López-Gómez, E. (2017). El meta-análisis como metodología de investigación en educación. Aula Magna 2.0. https://cuedespyd.hypotheses.org/3064 |
| ○ | Sacks, H. S., Berrier, J., Reitman, D., Ancona-Berk, V. A. y Chalmers, T. C. (1987). Meta-analyses of randomized controlled trials. The New England Journal of Medicine, 316(8), 450-455. https://doi.org/10.1056/NEJM198702193160806 |
| ○ | Sánchez-García, S. (2022). El uso y abuso de la revisión sistemática como metodología de investigación en educación. Aula Magna 2.0. https://cuedespyd.hypotheses.org/10246 |
| ○ | Sánchez-Meca, J. (2003). La revisión del estado de la cuestión: el meta-análisis. En C. Camisón, M. J. Olta y M. L. Flor (eds.), Enfoques, problemas y métodos de investigación en Economía y Dirección de Empresas. Tomo I (pp. 101-110). Universitat Jaume I. |
| ○ | Sánchez-Meca, J. y Botella, J. (2010). Revisiones sistemáticas y meta-análisis: herramientas para la práctica profesional. Papeles del Psicólogo, 31(1), 7-17. |
| ○ | Sánchez-Prieto, J. C. (2020). La revisión sistemática de la literatura en investigación educativa: posibilidades, riesgos y sostenibilidad. Aula Magna 2.0. https://cuedespyd.hypotheses.org/8753 |
| ○ | Sánchez-Serrano, S., Pedraza-Navarro, I. y Beltrán, A. I. (2022). ¿De qué hablo cuando hablo de innovación educativa? Una revisión sistemática. En S. Carrascal y N. Camuñas (coords.), Docencia y aprendizaje. Competencias, identidad y formación del profesorado (pp. 587-606). Tirant Humanidades. |
| ○ | Sanz, J. (2020). Guía práctica 16. Las aportaciones de las revisiones sistemáticas de la literatura al diseño de las políticas públicas. IVÀLUA. https://ivalua.cat/sites/default/files/202005/Gu%C3%ADa%20Pr%C3%A1ctica16_Cast_0.pdf |
| ○ | Sibgatullin, I. R., Korzhuev, A. V., Khairullina, E. R., Sadykova, A. R., Baturina, R. V. y Chauzova, V. (2022). A systematic review on algebraic thinking in education. Eurasia Journal of Mathematics, Science and Technology Education, 18(1), em2065. https://doi.org/10.29333/ejmste/11486 |
| ○ | Swingler, G. H., Volmink, J. y Ioannidis, J. P. (2003). Number of published systematic reviews and global burden of disease: database analysis. BMJ, 327(7423), 1083-1084. https://doi.org/10.1136/bmj.327.7423.1083 |
| ○ | Tricco, A. C., Lillie, E., Zarin, W., O’Brien, K. K., Colquhoun, H., Levac, D. et al. (2018). PRISMA extension for scoping reviews (PRISMA-ScR): checklist and explanation. Annals of Internal Medicine, 169(7), 467-473. https://doi.org/10.7326/M18-0850 |
| ○ | Wischlitzki, E., Amler, N., Hiller, J. y Drexler, H. (2020). Psychosocial risk management in the teaching profession: a systematic review. Safety and Health at Work, 11(4), 385-396. https://doi.org/10.1016/j.shaw.2020.09.007 |
| ○ | Zajac, J. F., Storman, D., Swierz, M. J., Koperny, M., Weglarz, P., Staskiewicz, W. et al. (2022). Are systematic reviews addressing nutrition for cancer prevention trustworthy? A systematic survey of quality and risk of bias. Nutrition Reviews, 80(6), 1558-1567. https://doi.org/10.1093/nutrit/nuab093 |
How to conduct a systematic review under PRISMA protocol? Uses and fundamental strategies for its application in the educational field through a practical case study
INTRODUCTION. Based on a practical case, the aim of this research is to show the content of PRISMA 2020 declaration, as well as its correct application to carry out systematic reviews in the field of education. In each of the sections that form this paper, and using the recently published work by Sánchez-Serrano et al. (2022Sánchez-Serrano, S., Pedraza-Navarro, I. y Beltrán, A. I. (2022). ¿De qué hablo cuando hablo de innovación educativa? Una revisión sistemática. En S. Carrascal y N. Camuñas (coords.), Docencia y aprendizaje. Competencias, identidad y formación del profesorado (pp. 587-606). Tirant Humanidades. ) as a point of reference, we will respond to the requirements of PRISMA 2020. The aim is, therefore, for the reader to acquire the theoretical and practical knowledge necessary for the appropriate use of the PRISMA protocol. METHOD. Through an in-depth review of the existing literature, the procedure to carry out a systematic review following PRISMA 2020 statement is shown in a clear and synthetic manner. RESULTS. The solution to all the topics (27) included in the checklist for research carried out under PRISMA 2020 is presented in a question-answer format. In this case, applied to the term “educational innovation”, as this is the research topic raised in the case study under consideration in this paper. DISCUSSION. As the existing literature reveals, the correct application of PRISMA 2020 protocol for systematic reviews in the field of education provides an objective and reliable response to the various research questions that may arise in the reality of education. Likewise, an incorrect application of this protocol can lead to bias in the research, which would result, with a very high probability, in the rejection of the research by the editors and/or reviewers of specialised journals.
Keywords: Literature reviews, Educational innovation, Educational research, Education, Research methods, Bibliographic databases.
Comment réaliser une revue systématique en suivant les recommandations PRISMA? Principes d’utilisation et stratégies pour leur application éducative à travers une étude de cas
INTRODUCTION. Sur la base d’un cas pratique, l’objectif est de montrer le contenu des recommandations PRISMA 2020, ainsi que son application correcte pour la réalisation de revues systématiques dans le domaine de l’éducation. Dans chacune des sections composant cet article, à partir du travail récemment publié par Sánchez-Serrano et al. (2022Sánchez-Serrano, S., Pedraza-Navarro, I. y Beltrán, A. I. (2022). ¿De qué hablo cuando hablo de innovación educativa? Una revisión sistemática. En S. Carrascal y N. Camuñas (coords.), Docencia y aprendizaje. Competencias, identidad y formación del profesorado (pp. 587-606). Tirant Humanidades. ), nous répondrons aux exigences de PRISMA 2020. Étant l’objectif d’offrir au lecteur les connaissances théoriques et pratiques nécessaires pour la bonne application du protocole établi par les recommandations PRISMA. MÉTHODE. Grâce à une revue approfondie de la littérature existante, la procédure pour la réalisation d’une revue systématique suivant les recommandations PRISMA 2020 est présentée de manière claire et synthétique. RÉSULTATS. La solution à tous les sujets (27) figurants dans la liste de contrôle pour les recherches menées dans le cadre des recommandations PRISMA 2020 est présentée sous forme de questions-réponses. Dans ce cas, appliqué au terme “innovation éducative”, car il s’agit du sujet de recherche soulevé dans l’étude de cas présenté dans cet article. DISCUSSION. Comme le montre la littérature existante, l’application correcte des recommandations PRISMA 2020 pour les examens systématiques dans le domaine de l’éducation permet de répondre de manière objective et fiable aux différentes questions de recherche qui peuvent se poser dans la réalité éducative. De même, une application incorrecte de ces recommandations peut entraîner un biais dans la recherche, ce qui conduirait, avec une très forte probabilité, au rejet du travail de recherche par les éditeurs et/ou les réviseurs des revues spécialisées.
Mots-clés: Bases de données bibliographiques, Innovation éducative, Recherche en éducation, Éducation, Méthodes de recherche, Revues bibliographiques.
Silvia Sánchez-Serrano (autora de contacto)
Doctora en Educación con Mención Internacional y Premio Extraordinario por la UCM. Ha sido investigadora predoctoral en el Departamento de Estudios Educativos de la Facultad de Educación CFP de la UCM, donde actualmente es profesora. Miembro del Grupo de Investigación “Cultura Cívica y Políticas Educativas”. Sus líneas de investigación se centran en la educación cívica, el tiempo educativo y las pedagogías alternativas.
Código ORCID: https://orcid.org/0000000154069132
Correo electrónico de contacto: silsan01@ucm.es
Dirección para la correspondencia: Dpto. de Estudios Educativos. Facultad de Educación. Universidad Complutense de Madrid. C/ Rector Royo Villanova, 1, 28040 Madrid.
Inmaculada Pedraza-Navarro
Doctora en Educación por la Universidad de Sevilla. PDI en la Universidad Antonio de Nebrija, coordinando el área de calidad en la Facultad de Lenguas y Educación, y dirigiendo el MU en Procesos Educativos de Enseñanza y Aprendizaje. A su vez, forma parte de los grupos de investigación GIETE y CEDI. Sus principales líneas de investigación giran en torno a la intervención y evaluación educativa. Ha colaborado en diversos proyectos académicos europeos como STAY-IN (Ref: 526600-LLP-1-2012-IT-Erasmus-Esin) o DEPIT (Project code: 2017-1-IT02-KA201-036605); ha generado material docente para la formación investigadora (3.er plan de docencia-US-Ref. 1.2.3B); ha participado en diversos congresos nacionales e internacionales; y ha publicado artículos científicos sobre intervención y evaluación educativa.
Código ORCID: https://orcid.org/0000000265132368
Correo electrónico de contacto: ipedraza@nebrija.es
Macarena Donoso-González
Doctora en Educación y Premio Extraordinario por la Universidad de Sevilla. Ha sido investigadora FPU del Ministerio de Educación, Cultura y Deporte en el Departamento de Teoría e Historia de la Educación y Pedagogía Social de la Universidad de Sevilla e investigadora visitante en universidades de Europa y Latinoamérica. Actualmente ejerce como profesora en el Departamento de Teoría de la Educación y Pedagogía Social de la Universidad Nacional de Educación a Distancia (UNED). Es miembro del Grupo de Investigación consolidado UCM “Cultura Cívica y Políticas Educativas”. Sus publicaciones más recientes se centran en la antropología y filosofía de la educación, así como en el engagement y estrés docente.
Código ORCID: https://orcid.org/0000000306622508
Correo electrónico de contacto: mdonoso@edu.uned.es