Diseño y validación de la escala Evaluación de los Aprendizajes (EEA)
Palabras clave:
escala, evaluación, Universidad, evaluación orientada al aprendizaje, retroalimentación, validaciónResumen
Resumen:
El objetivo de esta investigación ha sido diseñar y validar un instrumento para evaluar la práctica evaluadora en la enseñanza universitaria desde un enfoque de Evaluación Orientada al Aprendizaje, caracterizado por incorporar las actividades de evaluación como actividades de aprendizaje, implicar a los estudiantes en el proceso y ofrecer retroalimentación con información precisa para orientar cambios hacia la mejora del aprendizaje. Para ello se elaboró la Escala sobre la Evaluación de los Aprendizajes (EEA) y se aplicó a una muestra de 1205 estudiantes de una Universidad Chilena. A partir de los datos recogidos se evaluaron las propiedades psicométricas de la escala propuesta así como su capacidad para reflejar los conceptos teóricos y constructos utilizados. Para el análisis estadístico se empleó el método de mínimos cuadrados parciales (PLS, partial least squares) en un modelo de ecuaciones estructurales (SEM, structural equation modeling). Los resultados indican que la escala es válida y fiable para medir el proceso de evaluación de los aprendizajes. Se han corroborado la fiabilidad de los ítems y de las dimensiones, y su validez discriminante y convergente. En consecuencia, los resultados de la investigación permiten confirmar el modelo teórico de nueve dimensiones de la Evaluación Orientada al Aprendizaje: coherencia entre objetivos de aprendizaje y evaluación, cobertura, utilización de los resultados, planificación, contenidos, sistematización, agentes, retroalimentación y momentos.
Abstract:
The goal of this research has been to design and validate an instrument to evaluate the assessment process in higher education from the perspective of a learning-oriented assessment, characterized by incorporating evaluation activities as learning activities, involve students in the process and provide accurate feedback to guide changes towards improving learning. For this, a scale on the Assessment of Learning (EEA, Escala de Evaluación de los Aprendizajes) was developed and applied to a sample of 1205 students of a Chilean university. The psychometric properties of the proposed scale were evaluated as well as its capability to reflect the theoretical concepts and constructs used. For statistical analysis, the method of partial least squares (PLS) was used in a structural equation modeling (SEM). The results show that the scale is valid and reliable to measure the process of learning assessment. Moreover, they have confirmed the reliability of the items, dimensions and discriminant and convergent validity. Consequently, the results of the research can confirm the theoretical model of nine dimensions of learning-oriented assessment: coherence between learning objectives and evaluation, hedging, use of results obtained, planning, contents, systemizing, agents, feedback and moments.
Citas
Álvarez Valdivia, I. (2008). Evaluación del aprendizaje en la universidad: Una mirada retrospectiva y prospectiva desde la divulgación científica. Electronic Journal of Research in Educational Psychology, 6(14), 235-271.
Ballantyne, R., Hughes, K., y Mylonas, A. (2002). Developing procedures for implementing peer assessment in large classes using an action research process. Assessment & Evaluation in Higher Education, 27(5), 427-441.
Barclay, D., Higgins, C., y Thompson, R. (1995). The partial least squares (PLS) approach to causal modeling: Personal computer adoption and use as an illustration. Technology Studies, 2(2), 285-309.
Berliner, D.C. (1987). But do they understand? In V. Richardson-Koehler (Ed.), Educator´s Handbook: A Research Perspective (pp. 259-293). New York: Longman.
Biggs, J. (2007). Teaching for Quality Learning at University. 2ª ed. New York: Open University Press.
Bordas, M. I., y Cabrera, F. (2001). Estrategias de evaluación de los aprendizajes centrados en el proceso. Revista Española de Pedagogía, 218, 25-48.
Boud, D., y Falchikov, N. (2006). Aligning assessment with long‐term learning. Assessment & Evaluation in Higher Education, 31(4), 399-413.
Broabfoot, P., y Black, P. (2004). Redefining assessment? the first ten years of Assessment in Education. Assessment in Education, 11(1), 1-27.
Carless, D. R., Joughin, G. R., y Mok, M. M. C. (2006). Learning-oriented assessment: Principles and practice. Assessment & Evaluation in Higher Education, 31(4), 395-398.
Carless, D. (2007). Learning-oriented assessment: Conceptual bases and practical implications. Innovations in Education and Teaching International, 44(1), 57-66.
Castro, M. C. B., Carrión, G. A. C., y Roldán, J. L. (2007). Investigar en economía de la empresa: ¿Partial least squares o modelos basados en la covarianza?. In Proceedings El comportamiento de la empresa ante entornos dinámicos: XIX Congreso Anual y XV Congreso Hispano Francés de AEDEM (p. 63). Asociación Española de Dirección y Economía de la Empresa (AEDEM).
Contreras, G. (2010). Diagnóstico de dificultades de la evaluación del aprendizaje en la universidad: Un caso particular en chile. Educación y Educadores, 13(2), 219-238.
Chin, W. W. (2010). How to Write Up and Report PLS Analyses. In V. E. Vinzi, W. W. Chin, J. Henseler, & H. Wang (Eds.), Handbook of Partial Least Squares (pp. 655–690). Springer Berlin Heidelberg. Recuperado de http://link.springer.com/chapter/10.1007/978-3-540-32827-8_29
Churchill Jr., G. A. (1979). A paradigm for developing better measures of marketing constructs. Journal of Marketing Research (JMR), 16(1), 64–73.
Crisp, G. T. (2012). Integrative assessment: Reframing assessment practice for current and future learning. Assessment & Evaluation in Higher Education, 37(1), 33-43. doi: 10.1080/02602938.2010.494234.
Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334. doi: 10.1007/bf02310555.
DeVellis, R.F. (2003). Scale development: theory and applications (2nd Ed.). Thousand Oaks: Sage Publications.
Fernández, A. (2010). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. REDU. Revista de Docencia Universitaria, 8(1), 11.
Fornell, C., y Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1), 39-50. doi: 10.2307/3151312
Gefen, D., Straub, D. W., y Boudreau, M.-C. (2000). Structural equation modeling and regression: Guidelines for research practice. Communications of the Association for Information System, 4, 1-79.
Gibbs, G., y Simpson, C. (2004). Conditions under which assessment supports students’ learning. Learning and Teaching in Higher Education, 1(1), 3-31.
Gibbs, G., y Simpson, C. (2003). Measuring the response of students to assessment: The Assessment Experience Questionnaire. Paper presented at the proceedings of the 11th International Improving Student Learning Symposium, Hinckley, UK.
Gil-Flores, J. (2012). La evaluación del aprendizaje en la universidad según la experiencia de los estudiantes. Estudios sobre educación, 22, 133-153.
Hair, J. F. (1999). Análisis multivariante. Madrid, Spain: Prentice Hall.
Hattie, J., y Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.
Hernandez, R. (2012). Does continuous assessment in higher education support student learning? Higher Education: The International Journal of Higher Education and Educational Planning, 64(4), 489-502.
Howat, G., y Assaker, G. (2013). The hierarchical effects of perceived quality on perceived value, satisfaction, and loyalty: Empirical results from public, outdoor aquatic centres in Australia. Sport Management Review, 16(3), 268-284. doi: 10.1016/j.smr.2012.10.001
Ibarra, Mª S. y Rodríguez, G. (2010). Aproximación al discurso dominante sobre la evaluación del aprendizaje en la universidad. Revista de Educación, 351, 385-407.
Keppell, M., Au, E., Ma, A., y Chan, C. (2006). Peer learning and learning‐oriented assessment in technology‐enhanced environments. Assessment & Evaluation in Higher Education, 31(4), 453-464.
Knight, P. (2006). The local practices of assessment. Assessment & Evaluation in Higher Education, 31(4), 435-452.
Levy, J. P. L., Mallou, J. V., y González, J. A. (2003). lisis Multivariable para las Ciencias Sociales. Madrid: Pearson Educación.
Linn, R. L., Baker, E. L., y Dunbar, S. B. (1991). Complex, performance-based assessment: Expectations and validation criteria. Educational Researcher, 20(8), 15-21.
Little, R.J.A. y Rubin, D.B. (1987). Statistical Analysis with Missing Data. New York: John Wiley & Sons, Inc.
Malhotra, N. K., Martínez, J. F. J. D., y Rosales, M. E. T. (2004). Investigación de mercados: un enfoque práctico. México: Pearson Educación.
Manrique Villavicencio, I. (2009). La evaluación procesal y su rol en el cambio en la educación superior. Educación 18(34), 19-38.
MacKenzie, S.B., Podsakoff, P.M., y Podsakoff, N.P. (2011). Construct measurement and validation procedures in MIS and behavior research: Integrating new and existing techniques. MIS Quarterly, 35, 293-334.
Murphy, R. (2006). Evaluating new priorities for assessment in higher education. Innovative Assessment in Higher Education, 37-47.
Navarro Soria, I. J., y González Gómez, C. (2010). La autoevaluación y la evaluación entre iguales como estrategia para el desarrollo de competencias profesionales. Una experiencia docente en el grado de maestro. REDU. Revista de Docencia Universitaria, 8(1), 187.
Nunnally, J. (1978). Psychometric theory (2nd ed.). New York, USA: McGraw-Hill.
Núñez, J. L., y Reyes, C. I. (2015). La evaluación del aprendizaje de estudiantes: Validación española del assessment experience questionnaire (AEQ). Estudios Sobre Educación, 26, 63-77.
Padilla Carmona, M. Teresa, y Gil Flores, Javier. (2008). La evaluación orientada al aprendizaje en la educación superior: Condiciones y estrategias para su aplicación en la docencia universitaria. Revista Española de Pedagogía, 241, 467-485.
Pat-El, R. J., Tillema, H., Segers, M., y Vedder, P. (2013). Validation of assessment for learning questionnaires for teachers and students. British Journal of Educational Psychology, 83(1), 98-113.
Peterson, R. A. (1994). A meta-analysis of Cronbach’s coefficient alpha. Journal of Consumer Research, 21(2), 381.
Petter, S., Straub, D., & Rai, A. (2007). Specifying formative constructs in information systems research. MIS Quarterly, 31(4), 623–656.
Popham, J. (2008). Transformative assessment. Alexandria, VA: Association for Supervision and Curriculum Development.
Rodríguez-Gómez, G., Ibarra-Sáiz, M. S., Gallego-Noche, B., Gómez-Ruiz, M., y Quesada-Serra, V. (2012). La voz del estudiante en la evaluación del aprendizaje: Un camino por recorrer en la universidad. Relieve, 18(2), 133-153.
Ricoy, M. C. y Fernández-Rodríguez, J. (2013). La percepción que tienen los estudiantes universitarios sobre la evaluación: Un estudio de caso. Educación XX1, 16(2), 321-342. doi:10.5944/educxx1.16.2.2645.
Sadler, D. R. (2010). Beyond feedback, developing student capability in complex appraisal. Assessment & Evaluation in Higher Education, 35, 535–550.
Santos Guerra, M.A. (1993). La evaluación: un proceso de diálogo, comprensión y mejora. Granada: Aljibe.
Segura, M. (2007). La perspectiva ética de la evaluación de los aprendizajes desde un enfoque constructivista. Actualidades Investigativas en Educación, 7(1), 1-22.
Sheikh, M. (2013). A comparative study of the assessment practices and proposed currículum objectives in revised teacher education programs. Bulletin of Education and Research, 35(2), 75-89.
Shepard, L. A. (2000). The Role of Assessment in a Learning Culture. Teaching and Learning, Educational Research, 29(7), 229-253.
Tillema, H., Leenknecht, M., y Segers, M. (2011). Assessing assessment quality: Criteria for quality assurance in design of (peer) assessment for learning–a review of research studies. Studies in Educational Evaluation, 37(1), 25-34.
Van Gennip, N. A. E., Segers, M. S. R., y Tillema, H. H. (2009). Peer assessment for learning from a social perspective: The influence of interpersonal variables and structural features. Educational Research Review, 4(1), 41–54.
Villardón Gallego, M. L. (2006). Evaluación del aprendizaje para promover el desarrollo de competencias. Educatio Siglo XXI, 24, 57-76.
Wiliam, D. (2011). What is assessment for learning? Studies in Educational Evaluation 37, 3–14.
Wilson, M., y Scalise, K. (2006). Assessment to improve learning in higher education: The BEAR assessment system. Higher Education, 52(4), 635-663.
Descargas
Publicado
Número
Sección
Licencia
En el momento en que una obra es aceptada para su publicación, se entiende que el autor cede a la Revista PROFESORADO (en adelante RECP) en exclusiva los derechos de reproducción, distribución y venta de su manuscrito para su explotación en todos los países del mundo en formato de revista de papel, así como en cualquier otro soporte magnético, óptico y digital.Los autores cederán también a RECP los derechos de comunicación pública para su difusión y explotación a través de Intranets, Internet y cualesquiera portales y dispositivos inalámbricos que decida el editor, mediante la puesta a disposición de los usuarios para consulta online de su contenido y su extracto, para su impresión en papel y/o para su descarga y archivo, todo ello en los términos y condiciones que consten en la web donde se halle alojada la obra. A su vez, la RECP autoriza a los autores de los trabajos publicados en la revista a que ofrezcan en sus webs personales o en cualquier repositorio de acceso abierto una copia de esos trabajos una vez publicados. Junto con esa copia ha de incluirse una mención específica de la RECP, citando el año y el número de la revista en que fue publicado el artículo o nota de investigación y añadiendo, además, el enlace a la web de la RECP.
La RECP también recomienda y permite a sus autores que licencien su obra bajo la licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 España (CC BY-NC-ND 3.0 ES), que implica que el artículo y la nota de investigación pueda copiarse, distribuirse y comunicarse públicamente bajo la condición de que en los créditos se reconozca explícitamente al autor y la obra bajo la forma establecida por éste, sin derecho a su explotación comercial y la elaboración de obras derivadas.
