Métricas alternativas
Palabras clave
competencias del docente
formación docente
métodos de evaluación
rúbricas digitales Oral expression
teacher competence
teacher training
evaluation methods
digital rubric
Cómo citar
Resumen
Las instituciones del Espacio Iberoamericano del Conocimiento (EIC) colaboran en proyectos educativos. Siendo la competencia comunicativa imprescindible para el desarrollo profesional y la colaboración del propio EIC. Este trabajo analiza los resultados de un proyecto educativo de colaboración entre ocho universidades y cinco países Iberoamericanos sobre la construcción de una rúbrica común validada con Delphi para evaluar las competencias orales en la exposición de proyectos por los estudiantes. La rúbrica se aplicó en tres grupos de estudiantes de tres instituciones y países distintos (Cuba, Ecuador y España), con modalidades de evaluación formativa (docente, autoevaluación y pares), analizando 788 evaluaciones totales (90 docentes, 61 autoevaluaciones y 637 pares). Los resultados confirman un “alfa de Cronbach” (.934) para las 22 variables analizadas. Con la prueba de Post-Hoc de Tukey en todos los ítems las evaluaciones de pares obtienen peores resultados que evaluación docente, mientras que las autoevaluaciones son mejores. La opinión de los estudiantes con un instrumento validado de satisfacción obteniendo una propuesta significativa de reedición de la rúbrica. El artículo ofrece como producto una rúbrica base validada y experimentada exitosamente en contextos geográficamente diferenciados del EIC.
Citas
Arráez-Aybar, L. A., Millán Núñez-Cortéz, J., Carabantes-Alarcón, D., Lozano-Fernández, R., Iglesias-Peinado, I., Palacios-Alaiz, E., del Castillo-García, B. & Nogales-Espert, A. (2008). Adquisición de competencias transversales en alumnos de pregrado de Ciencias de la Salud en la Universidad Complutense: una experiencia positiva. Educación Médica, 11(3), 169-177. Recuperado de: https://bit.ly/2PveDx5
Blanco-López, Á., España-Ramos, E., González-García, F. J. & Franco-Mariscal, A. J. (2015). Key aspects of scientific competence for citizenship: A Delphi study of the expert community in Spain. Journal of Research in Science Teaching, 52(2), 164–198. https:// doi.org/10.1002/tea.21188
Bindayel, N. A. (2017). Reliability of rubrics in the assessment of orthodontic oral presentation. The Saudi Dental Journal, 29(4), 135–139. https://doi.org/10.1016/j.sdentj.2017.07.001
Cabero Almenara, J., Barroso, J., Romero, R., Román, P., Ballestero, C., del Carmen Llorente, M. & Morales, J. A. (2009). La aplicación de la técnica Delphi, para la construcción de un instrumento de análisis categorial de investigaciones e-learning. EDUTEC. Revista Electrónica de Tecnología Educativa, 28, a111. https://doi.org/10.21556/edutec.2009.28.459
Cabero Almenara, J. (2014). Formación del profesorado universitario en TIC. Aplicación del método Delphi para la selección de los contenidos formativos. Educación XX1, 17(1), 109-132. https://doi:10.5944/educxx1.17.1.10707
Cebrián-Robles, D. (2017). Proyecto internacional para la evaluación de las presentaciones orales de los trabajos de estudiantes con Corubric. En D. Cebrián-Robles (Coord.), Tecnologías para la evaluación de los aprendizajes (pp. 8-9). Málaga: GTEA y ENCIC. Recuperado de: https://goo.gl/5XDPZ9
Cizek, G. J. (2010). An introduction to formative assessment. History, Characteristics, and Challenges. En H. Andrade & G. J. Cizek (Eds.), Handbook of Formative Assessment (pp. 3-18). New York: Taylor & Francis.
Dawson, P. (2017). Assessment rubrics: towards clearer and more replicable design, research and practice. Assessment & Evaluation in Higher Education, 42(3), 347–360. https://doi.org/10.1080/02602938.2015.1111294
De Grez, L., Valcke, M. & Roozen, I. (2012). How effective are self- and peer assessment of oral presentation skills compared with teachers’ assessments? Active Learning in Higher Education, 13(2), 129–142. https://doi.org/10.1177/1469787412441284
DigComp. Marco Europeo de Competencias Digitales para los Ciudadanos. Recuperado de: https://bit.ly/3cAk9YB
Fernández-Alonso, R, Woitschach, P. & Muñiz, J. (2019). Las Rúbricas No neutralizan el Efecto de los correctores: Una estimación con el modelo de facetas múltiples de Rasch. Revista Educación, 386, 89–112. https://doi.org/10.4438/1988-592X-RE-2019-386-428
Fernández García, C. M., Torío López, S., Viñuela Hernández, M. P., Molina Martín, S. & Bermúdez Rey, T. (2008). La comunicación oral como competencia transversal de los estudiantes de pedagogía y magisterio: presentación del diseño metodológico de una innovación para su trabajo en el aula. Revista de Enseñanza Universitaria, 31, 26-38. Recuperado de: https://bit.ly/34J2eLM
Fernández López, S. (2007). Cómo gestionar la comunicación en organizaciones públicas y no lucrativas. Madrid: Narcea.
Gallego-Arrufat, M. J. & Raposo-Rivas, M. (2014). Compromiso del estudiante y percepción del proceso evaluador basado en rúbricas. REDU. Revista de docencia Universitaria, 12(1), 197-215. https://doi.org/10.4995/redu.2014.6423
Galván-Sánchez, I., Verano-Tacoronte, D., González-Betancor, S. M., Fernández-Monroy, M. & Bolivar-Cruz, A. (2017). Assessing oral presentation skills in Electrical Engineering: Developing a valid and reliable rubric. International Journal of Electrical Engineering Education, 54(1), 17-34. https://doi.org/10.1177/0020720916659501
García Martínez, V., Aquino Zúñiga, S. P., Guzmán Sala, A. & Medina Meléndez, A. (2012). El uso del método Delphi como estrategia para la valoración de indicadores de calidad en programas educativos a distancia. Revista Electrónica Calidad En La Educación Superior, 3(1), 200-222. https://doi.org/10.22458/caes.v3i1.439
García-Ros, R. (2011). Análisis y validación de una rúbrica para evaluar habilidades de presentación oral en contextos universitarios. Electronic Journal of Research in Educational Psychology, 9(25), 1043-1062. Recuperado de: https://bit.ly/3kFPjjL
Greenberg, K. P. (2015). Rubric Use in Formative Assessment: A Detailed Behavioral Rubric Helps Students Improve Their Scientific Writing Skills. Teaching of Psychology, 42(3), 211–217. https://doi.org/10.1177/0098628315587618
Hafner, J. & Hafner, P. (2003). Quantitative analysis of the rubric as an assessment tool: an empirical study of student peer‐group rating. International Journal of Science Education, 25(12), 1509–1528. https://doi.org/10.1080/0950069022000038268
Hima, A. N. & Saputro, T. H. (2017). Developing scoring rubric: Do the studens need it? ELT-Echo. The Journal of English Language Teaching in Foreign Language Context, 2(2), 101-113. https://doi.org/10.24235/eltecho.v2i2.2170
INTEF (2017). La competencia digital docente. Recuperado de: https://bit.ly/2FXOpjI
Jonsson, A. & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130–144. https://doi.org/10.1016/j.edurev.2007.05.002
Martínez-Figueira, M. E. & Rapaso-Rivas, M. (2011). La evaluación del estudiante a través de la rúbrica. En Xornada de Innovación Educativa 2011 (pp. 153-159). Vigo: Área de Formación e Innovación Educativa, Vicerreitoría de Alumnado, Docencia e Calidade. Recuperado de: https://bit.ly/2SFrMU9
Martínez-Figueira, M. E., Tellado-Gónzalez, F. & Rapaso-Rivas, M. (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto. REDU. Revista de Docencia Universitaria, 11(2), 373-390. https://doi.org/10.4995/redu.2013.5581
Merma Molina, G., Peña Alfaro, H. & Peña Alfaro, S. (2017). Design and Validation of a Rubric to Assess the Use of American Psychological Association Style in scientific articles. Journal of New Approaches in Educational Research, 6(1), 78–86. https://doi.org/10.7821/naer.2017.1.220
Meseguer-Dueñas, J. M., Vidaurre, A., Molina-Mateo, J., Riera, J. & Sala, R. M. (2018). Validation of Student Peer Assessment of Effective Oral Communication in Engineering Degrees. IEEE Revista Iberoamericana de Tecnologias del Aprendizaje, 13(1), 11–16. https://doi.org/10.1109/RITA.2018.2801897
Morales Vallejo, P. (2009). La evaluación formativa. En P. Morales Vallejo (Ed.), Ser profesor: una mirada al alumno (pp. 41-98). Guatemala: Universidad Rafael Landívar. Recuperado de: https://bit.ly/2wrOp58
Murillo-Zamorano, L. R. & Montanero, M. (2017). Oral presentations in higher education: a comparison of the impact of peer and teacher feedback. Assessment & Evaluation in Higher Education, 43(1), 138-150. https://doi.org/10.1080/02602938.2017.1303032
Huh, J., Delorme, D. E. & Reid, L. N. (2006). Perceived Third-Person Effects and Consumer Attitudes on Prevetting and Banning DTC Advertising. Journal of Consumer Affairs, 40(1), 90–116. Recuperado de: https://bit.ly/3hZtoCq
Rakedzon, T. & Baram-Tsabari, A. (2017). To make a long story short: A rubric for assessing graduate students’ academic and popular science writing skills. Assessing Writing, 32, 28–42. https://doi.org/10.1016/j.asw.2016.12.004
Roldán, E. (2001). Sobre la ortología. Documentos Lingüísticos y Literarios, 24-25, 59–61. Recuperado de: https://bit.ly/2RTF6Ei
Rosales, G. (1997). Validez de constructo en educación. Alcances y límites. Ciencia ERGO SUM, 2(4), 166-172. Recuperado de: https://bit.ly/2RVc9re
Tejada-Fernández, J., Serrano-Angulo, J., Ruiz-Bueno, C. & Cebrián-Robles, D. (2015). El proceso de construcción y validación de los instrumentos de recogida de información sobre el prácticum y su evaluación a través de herramientas tecnológicas. En M. Raposo-Rivas, P. C. Muñoz Carril, M. Zabalza-Cerdeiriña, M. E. Martínez-Figueira & A. Pérez-Abellás (Coords.), Documentar y Evaluar la experiencia de los estudiantes en las prácticas (pp. 261-271). Santiago de Compostela: Andavira. Recuperado de: https://bit.ly/3cmAWOD
Serrano-Angulo, J. & Cebrián-Robles, D. (2014). Usabilidad y Satisfacción de la e-Rúbrica. REDU. Revista de Docencia Universitaria, 12(1), 177-195. https://doi.org/10.4995/redu.2014.6426
Tobón, S., Pimienta-Prieto, J. H., Herrera-Meza, S. R., Juárez Hernández, L. G. & Hernández-Mosqueda, J. S. (2018). Validez y confiabilidad de una rúbrica para evaluar las prácticas pedagógicas en docentes de Educación Media (SOCME-10). Revista Espacios, 39(53), 30. Recuperado de: https://bit.ly/32SNiL4
Valverde Berrocoso, J. & Ciudad Gómez, A. (2014). El uso de e-rúbricas para la evaluación de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. REDU. Revista de Docencia Universitaria, 12(1), 49-79. https://doi.org/10.4995/redu.2014.6415
Van Ginkel, S., Gulikers, J., Biemans, H. & Mulder, M. (2017). The impact of the feedback source on developing oral presentation competence. Studies in Higher Education, 42(9), 1671–1685. https://doi.org/10.1080/03075079.2015.1117064
Van Ginkel, S., Gulikers, J., Biemans, H. & Mulder, M. (2015). Towards a set of design principles for developing oral presentation competence: A synthesis of research in higher education. Educational Research Review, 14, 62-80. https://doi.org/10.1016/j.edurev.2015.02.002
Verano-Tacoronte, D., González-Betancor, S. M., Bolívar-Cruz, A., Fernández-Monroy, M. & Galván-Sánchez, I. (2016). Valoración de la competencia de comunicación oral de estudiantes universitarios a través de una rúbrica fiable y válida. Revista Brasileira de Educação, 21, 39-60. https://doi.org/10.1590/S1413-24782016216403
Villalustre Martínez, L. & del Moral Pérez, M. E. (2010). E-portafolios y rúbricas de evaluación en Ruralnet. Pixel-Bit. Revista de Medios de Educación, 37, 93-105. Recuperado de: https://bit.ly/3hXyOxK
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Derechos de autor 2020 Píxel-Bit. Revista de Medios y Educación