La evaluación en AICLE: ¿la asignatura pendiente en la educación bilingüe? Un estudio de caso

Assessment in CLIL: the pending subject in bilingual education? A case study

https://doi.org/10.4438/1988-592X-RE-2024-403-605

Elena del Pozo Manzano

https://orcid.org/0000-0003-1645-5491

Universidad Autónoma de Madrid

Resumen

AICLE (Aprendizaje Integrado de Contenido y Lengua Extranjera) o CLIL ha sido el enfoque metodológico más común en la enseñanza bilingüe en Europa occidental desde los años 90 del siglo XX (Cenoz, Genesee y Gorter, 2014). Se creó como una fórmula para configurar la enseñanza y el aprendizaje de contenidos de una materia (no lingüística) a través de una lengua extranjera. Este estudio propone evaluar ambas competencias (lingüística y la propia de la materia no lingüística) en el contexto de un aprendizaje integrado de contenidos de Historia en inglés. Partiendo de la evaluación formativa, se presenta aquí un estudio experimental longitudinal exploratorio que examina un problema de investigación que ha sido poco estudiado desde el punto de vista del profesorado de contenidos no especialista en lingüística. La muestra para el análisis es la producción escrita de 45 alumnos de tres centros públicos bilingües en tres localidades diferentes pertenecientes a grupos bilingües en inglés en 1º y posteriormente en 3º de ESO en la asignatura de Ciencias Sociales, Geografía e Historia. Se trata de parte de una investigación mayor acerca de la adquisición de conocimientos de Historia en lengua extranjera por alumnos de secundaria. Se presenta el modelo H-CLIL de evaluación, consistente en rúbricas diseñadas ad hoc para el análisis de textos escritos, teniendo en cuenta las Funciones Cognitivas del Discurso (CDF) de Dalton-Puffer (2013), que relacionan los objetivos de aprendizaje de la asignatura, la interacción en el aula y la producción del discurso en lengua extranjera. El objetivo del estudio es analizar la evolución en la adquisición de conocimientos de historia por alumnos de secundaria bilingüe y su capacidad para expresar esos conocimientos en un texto escrito. A pesar de las limitaciones del estudio, se puede inferir que los alumnos mantienen un ritmo de aprendizaje de contenidos de historia acorde a los requeridos en el currículo para ambos niveles académicos y una mejor expresión escrita en 3ºESO. Con todo ello se concluye que no hay pérdida de conocimientos de la asignatura por cursarla en lengua extranjera, si bien es necesaria más investigación sobre este tema.

Palabras clave: AICLE, evaluación formativa, Historia, investigación, discurso, enseñanza, aprendizaje integrado, modelo H-CLIL.

Abstract

CLIL has been the most common methodological approach in bilingual teaching in Western Europe since the 1990s. It was created as a formula to define the teaching and learning of subject-matter content (non-linguistic) through a foreign language. The present study proposes to evaluate both competences: linguistic and subject specific, in the context of integrated learning of history in English. Starting from a formative assessment, an exploratory longitudinal experimental study is conducted. It examines a research problem that has hardly been studied from the perspective of a content teacher who is not a specialist in linguistics. The sample for the analysis is the written essays of 45 students from three public bilingual schools in three different towns, belonging to bilingual English groups in Y1 and Y3 ESO in the school subject of Social Sciences: Geography and History. This study is part of a larger research about the acquisition of History through English in secondary schools. The H-CLIL assessment model, consisting of rubrics designed ad hoc for the analysis of written texts is presented. It considers Dalton-Puffer’s (2013) Cognitive Discourse Functions (CDF), which relate the learning objectives of the subject, interaction in the classroom, and production of discourse in a foreign language. The study aims to analyze the evolution in the acquisition of history knowledge by secondary school students in bilingual schools, and their ability to express that knowledge in an essay. Despite the limitations of the study, it can be inferred that students maintain a similar rate of learning history content, aligned with the curriculum requirements, in the two academic years and an even better written expression in Y3 ESO. It can be concluded that there is no loss of knowledge of the subject by studying it in a foreign language although more research is needed on this matter.

Keywords: CLIL, formative assessment, History, research, discourse, teaching, integrated learning, H-CLIL model.

Evaluación para el aprendizaje en historia bilingüe: de la evaluación sumativa a la evaluación formativa

La evaluación es una herramienta pedagógica sumamente eficaz cuando se conoce bien lo que se va a evaluar y se configura el proceso de enseñanza dirigido a alcanzar los objetivos de aprendizaje. Ya en 2014, el director de Educación en la OCDE Andreas Schleicher apuntó que no se debe sacrificar la calidad en perjuicio de la equidad; cuanta más equidad en los recursos educativos, mejores resultados. En su análisis de la evaluación en España, Schleicher señaló que la equidad es uno de sus puntos fuertes, con la educación obligatoria gratuita para todos y el fomento de la resiliencia. Sin embargo, añadió que la forma de evaluar y la repetición de curso tienen efectos negativos sobre la equidad y encarecen la educación (Schleicher, 2014). De todo ello se infiere que la actuación debe centrarse en la evaluación del proceso de enseñanza y aprendizaje desde su inicio. Esta idea está también presente en la evaluación en enseñanza bilingüe: “la evaluación es tan fundamental para el éxito de AICLE que debe ser considerada y cuidadosamente planeada antes de llevar a cabo la enseñanza propiamente dicha (…); la evaluación no es algo que ocurra después de la enseñanza sino como parte indispensable de ella” (Llinares, Morton and Whittaker, 2012: 280). La normativa española en materia de evaluación en enseñanza secundaria no diferencia entre educación bilingüe y no bilingüe, pero sí hace referencia a su carácter objetivo, continuo, formativo e integrador (LOMLOE, 2020). Es decir, se aboga por la evaluación formativa, del proceso de aprendizaje, frente a la evaluación sumativa, del resultado del aprendizaje.

La evaluación sumativa tiene entre sus ventajas el ser un elemento preciso de diagnóstico que presenta el conocimiento del alumnado en un momento determinado y sirve al profesorado para detectar problemas puntuales de aprendizaje (McLoughling, 2021). Sin embargo, no involucra al alumno como agente en su propio proceso de evaluación, como hace la evaluación formativa. La implementación de una forma de evaluación formativa en AICLE está tardando en producirse porque implica un cambio metodológico sustancial (Otto y Estrada, 2019): ha de incardinarse en el proceso de enseñanza y aprendizaje y no al margen de éste, por lo que se prolonga a lo largo del curso, no ocurre en un momento concreto.

La evaluación formativa se presenta como la mejor opción para la enseñanza significativa y el portfolio en Historia puede contribuir recogiendo el aprendizaje progresivo del alumnado en la asignatura. El portfolio incluye sus redacciones -como las utilizadas para el estudio que se presenta en este artículo-, presentaciones orales, proyectos, actividades cortas, tests, autoevaluaciones y coevaluaciones. Puede ser utilizado por el docente como un instrumento más de evaluación de la asignatura. Mediante la creación del portfolio en Historia, el alumnado llega a interesarse en mayor medida por el hecho histórico ya que aprende cómo puede contribuir a él (Del Pozo, 2009). Es, además, una herramienta esencial en la evaluación H-CLIL porque permite valorar el uso del lenguaje en el contexto de una materia no lingüística, no el lenguaje en sí mismo de forma aislada. El proceso de enseñanza y aprendizaje queda estructurado en contenido conceptual (ej. la conquista de Granada), destrezas procedimentales (diferenciación y descripción de las campañas de asalto) y habilidades lingüísticas utilizadas para ello (conectores, adjetivos y comparativos en la descripción) (Ball, Clegg y Kelly, 2015) en la enseñanza bilingüe de la Historia. Para añadir el elemento de evaluación formativa a la ecuación, Mahoney incorpora otros que contribuyen a evaluar lo que los alumnos son capaces de hacer cuando aprenden contenidos en lengua extranjera: propósito, uso, método e instrumento (2017). Los aspectos que configuran la evaluación para el aprendizaje integrado de la Historia en la lengua extranjera en el contexto de la evaluación formativa, determinan las decisiones que el profesorado toma acerca de qué (contenido, propósito), cómo (procedimiento, instrumento), por qué (uso) y cuándo evaluar (método, secuenciación). En función de estos aspectos, el profesorado adopta una determinada pedagogía, diseña sus unidades didácticas para alcanzar los logros planteados en la evaluación, y adapta su práctica docente para conseguirlo (Consejo de Europa, 2020). En las siguientes secciones de este artículo se mostrará un estudio de caso que ilustra la aplicación del modelo H-CLIL para la evaluación integrada de Historia y lengua, como parte de una práctica de evaluación formativa.

Método de investigación y fases en el estudio

Tradicionalmente, en la evaluación de los conocimientos históricos, parte del profesorado se centraba en que el alumno memorizase una cantidad ingente de datos, lo que Counsell denomina fingertip (punta del dedo), es decir sólo se evaluaba lo superficial, sin tener en cuenta que lo que realmente tiene valor es que el alumno conozca los procesos de cambio que se producen en la historia, el residue (lo que queda cuando se olvida lo anecdótico) (Counsell, 2000). Cercadillo aporta la dimensión internacional a la adquisición del conocimiento histórico al señalar que: “Se deben explorar enfoques alternativos en la evaluación, y la evaluación internacional de la comprensión histórica puede representar una opción potencialmente útil que no se vea afectada por sesgos nacionales” (Cercadillo, 2006: 94).

En cualquier caso, para que la evaluación sea formativa, es decir, que incida sobre el proceso de enseñanza y aprendizaje, ha de estar centrada en criterios de éxito, dirigidos a garantizar el éxito del alumnado (Pascual y Basse, 2017), que realmente valore el residue. Estos criterios deben trabajar los objetivos de aprendizaje de cada materia, que incardinan los currículos (Anderson y Krathwohl, 2021). Los objetivos de enseñanza colocan el foco en el contenido conceptual de la materia, pero la responsabilidad sobre los resultados de la evaluación del aprendizaje está directamente ligada a la validez de los instrumentos utilizados para evaluar (Mahoney, 2017). Por otra parte, los contenidos curriculares sustancian los objetivos de aprendizaje, pero se separan de ellos para determinar lo que se quiere evaluar en cada área y nivel. Para el correcto desarrollo del proceso se utilizan mediadores, es decir, todo aquello que facilita que se pueden alcanzar los criterios de éxito con garantías suficientes de que todo el alumnado, sin exclusión, es capaz de trabajarlos y alcanzarlos a su propio ritmo (González et al., 2015). El último elemento, y del que va a tratar este estudio en mayor medida, es la rúbrica como el instrumento que articula los componentes del aprendizaje a evaluar y las expectativas de la enseñanza de un área o materia en su nivel (López Pastor y Pérez Pueyo, 2017).

Para esta investigación, se pidió a los alumnos que escribiesen sobre hechos históricos en una redacción que formaría parte de su portfolio. Esta tarea puede ser más efectiva para que los alumnos muestren sus conocimientos de historia que una prueba de verdadero y falso (Ravid, 2005), por fácil que ésta pudiese parecer, y más sencilla de tratar desde un punto de vista estadístico. No obstante, al redactar, los alumnos están trabajando la competencia lingüística en la expresión de contenidos curriculares no estrictamente lingüísticos (Del Pozo y Llinares, 2021). En consecuencia, los temas propuestos -en lengua inglesa- para las redacciones elaboradas por los participantes en este estudio, en ambos casos respondían a contenidos del currículo de Historia en ESO (LOMLOE, 2020):

• 1ºESO: Explica, aportando el mayor número de detalles posible, cómo se produjo el descubrimiento de América. Utiliza el vocabulario: Colón, Asia, Tierra, carabelas, agosto, octubre y San Salvador (en torno a 150 palabras)¹.
• 3ºESO: Imagina que eres uno de los oficiales del ejército cristiano en la conquista de Granada. Escribe el diario de campaña incluyendo todos los detalles que se te ocurran (en torno a 150 palabras)².

La puntuación de las redacciones se hizo de 0 a 3 puntos. Este estudio es experimental longitudinal exploratorio puesto que se recopilan datos de los mismos grupos de alumnos en dos momentos académicos distintos (Cubo, Martín y García, 2011) con dos años de diferencia entre ellos: 1º y 3ºESO. La investigadora consideró que un período de un año entre la recopilación de datos podría haber sido suficiente para observar cambios en la adquisición del conocimiento histórico y su expresión escrita. Sin embargo, se decidió que un intervalo de dos años de diferencia entre los datos arrojaría resultados estadísticos más significativos. El enfoque exploratorio del estudio se enmarca en el hecho de que analiza un problema que no ha sido muy estudiado desde el punto de vista de un historiador. Por definición, el enfoque exploratorio identifica tendencias, contextos y potenciales relaciones entre las variables, pero requiere una más amplia investigación (Hernández Sampieri et al, 2010; Cubo et al, 2011), como es el caso de este estudio. El primer objetivo eras estudiar la evolución en el aprendizaje de la Historia por parte del alumnado y comprobar si había seguido una trayectoria regular sin que la lengua vehicular hubiese supuesto una rémora para el aprendiz. El segundo objetivo era analizar la forma de expresar de forma escrita los conocimientos de Historia en lengua extranjera. Se partió de una hipótesis nula: los alumnos que estudian historia en secundaria pierden contenidos y ven reducida su expresión escrita por haberlos aprendido en lengua extranjera. Las preguntas de investigación fueron:

• RQ1: ¿Qué nivel de contenidos de Historia adquieren los estudiantes de secundaria medido a través de una redacción escrita? (Variable independiente)
• RQ2: ¿Hay diferencias cuando los alumnos adquieren los conocimientos en 1º y en 3ºESO? (Variable dependiente)

Las fases en el estudio fueron:

• Formulación de las preguntas de investigación (1)
• Diseño de los instrumentos de recogida de datos y análisis: pruebas y H-CLIL rúbricas (2)
• Trabajo de campo: recogida de datos (pruebas escritas realizadas por 45 alumnos de 1ºESO y dos años más tarde en 3ºESO en tres centros públicos diferentes de distintas localidades) (3)
• Análisis de los datos (4)
• Conclusiones (5)

Las pruebas escritas recogidas por la investigadora fueron encriptadas para proteger la información de los centros participantes y el alumnado, corregidas aplicando las rúbricas del modelo H-CLIL y los datos se trataron con el software SPSS (Statistical Package for the Social Sciences) (IBM, 2020). Se estimaron la media, la mediana, la moda, desviación típica y varianza del total de los datos obtenidos de las pruebas. Finalmente, se elaboraron gráficas en una hoja de cálculo que ilustrasen mejor los resultados obtenidos para ser presentados.

Participantes en el estudio

Los participantes en el estudio fueron 45 estudiantes de tres centros públicos de secundaria con enseñanzas bilingües en inglés (Las Encinas, Los Pinos y Los Álamos: nombres supuestos) de distintas localidades. Los alumnos pertenecían a los niveles de 1ºESO en la primera recogida de datos y 3ºESO dos años más tarde, en la segunda recogida de datos. Se escogieron centros en entornos socioeconómicos similares, de forma que las muestras fuesen, de partida, lo más homogéneas posible. En torno al 80% de los alumnos participantes eran españoles con el castellano como lengua materna, 20% eran de familias inmigrantes: el 5% de Europa del Este (con lengua materna ajena al castellano y al inglés), 12% latinoamericanos (con el español como lengua materna), 2% chinos (con el mandarín como lengua materna) y 1% de Marruecos (con el árabe como lengua materna). Para todos ellos el inglés era su primera o segunda lengua extranjera, y todos habían cursado estudios de Primaria en colegios públicos con enseñanzas bilingües en inglés. Los tres centros estaban localizados en barrios con un perfil de familias de clase trabajadora. Los primeros centros en implantar un programa bilingüe fueron Los Álamos y Las Encinas, siete años más tarde lo hizo Los Pinos.

Los profesores de historia en los grupos de alumnos participantes estaban habilitados para impartir docencia en el programa bilingüe de los centros y colaboraron únicamente en la recogida de las pruebas, sin tomar parte en ellas. Los alumnos participantes eran más numerosos en inicio, pero se descartó a aquellos que abandonaron el centro antes de que terminase el estudio, repitieron curso, declinaron colaborar o no cumplían con los requisitos necesarios para que la investigación fuese lo más consistente posible. Se acordó con el profesorado que los alumnos con necesidades educativas especiales y alumnos con altas capacidades no participarían ya que no eran objeto del estudio, y las pruebas no estaban adaptadas.

La relación de los datos recogidos de los participantes con las variables en la investigación fue:

• Variable independiente: nivel de contenidos de Historia que los alumnos eran capaces de mostrar en una redacción escrita.
• Variable dependiente: diferencia que los alumnos presentaban en relación con sus conocimientos de Historia y su expresión escrita cuando cursaban 1ºESO y cuando cursaban 3ºESO.

Instrumentos: H-CLIL (Evaluación integrada de Historia como contenido en AICLE)

La recogida de las pruebas se realizó en el primer trimestre de 1ºESO pero se aplicaron las rúbricas para la corrección sólo después de la segunda recogida en 3ºESO, cuando ya se habían depurado y testado su eficacia. Se diseñaron rúbricas expresamente para la corrección de las pruebas realizadas por el alumnado, teniendo en cuenta tanto el contenido histórico como la lengua vehicular: rúbricas H-CLIL.

La rúbrica como instrumento de evaluación toma cada objetivo educativo y desarrolla indicadores (o descriptores) sobre lo que el alumnado sabe y es capaz de hacer. Se utiliza para evaluar el rendimiento de los alumnos (Barbero, 2012) y se presenta en forma de matriz. Como señalan Newell et al. acerca de la creación de rúbricas (2002), los niveles de logro más elevados muestran la metacognición en el conocimiento de los alumnos sobre el tema sobre el que están escribiendo, los niveles más bajos lo que aún necesitan aprender y mejorar, y en un término medio se encuentran los niveles de logro intermedios. Para este estudio no se utilizaron rúbricas holísticas o comprensivas (con puntuaciones del tipo excelente, bueno, satisfactorio…) sino que para el modelo H-CLIL se diseñaron rúbricas analíticas (índice numérico de logro de los alumnos participantes) que proporcionan datos cuantitativos, más adecuados para la investigación (Hernández Sampieri, Fernández-Collado y Baptista, 2010). Se siguieron criterios de éxito en el diseño de la rúbrica de forma que se tuviese en cuenta hasta la más mínima información histórica aportada por los participantes. El objetivo fue dar un valor sólido a lo que los alumnos sabían y eran capaces de expresar. Se diseñó una rúbrica para cada nivel de aprendizaje (1ºESO y 3ºESO) que analizaba los mismos parámetros de contenido y lengua para cada nivel, de forma que se pudiese estudiar la asimilación de los conocimientos de historia de forma progresiva (De Oliveira, 2011; Del Pozo, 2019).

El grado de exigencia de conocimientos de Historia y lenguaje de expresión en cada uno de los dos niveles académicos seleccionados es diferente. Al margen de la lengua vehicular que se utilice, el profesorado de Historia espera que se produzca una evolución tanto en los contenidos estudiados en la asignatura como en la forma de redactarlos. Obviamente esto no se aprecia en los resultados de todas las pruebas analizadas en este estudio, ya que hay que considerar que el desarrollo cognitivo del alumnado en secundaria no es uniforme (Wineburg, 2000). Esta es la razón por la que cada rúbrica se articuló en torno al modelo de las Funciones Cognitivas del Discurso (en adelante en sus siglas en inglés CDF) de Dalton-Puffer (2013). Mientras Krathwohl (2002) revisó la taxonomía de Bloom (1956) aportando la dimensión del conocimiento, Dalton-Puffer sintetiza ambos modelos e indica hasta qué punto se vinculan los objetivos de aprendizaje cognitivo específicos de una asignatura -en este caso Historia- con la producción escrita de los alumnos en las pruebas (Dalton-Puffer, 2013). Además, el modelo CDF ayuda al profesorado a percibir cómo el contenido y la lengua necesaria para el aprendizaje se integran en el aula. Ha demostrado ser “una herramienta relevante para explorar el lenguaje académico en relación con las distintas materias” (Lorenzo, 2017: 40), como la Historia. Al incluir el componente de análisis del metalenguaje utilizado para enseñar y aprender, facilita el proceso de enseñanza y aprendizaje en contextos AICLE (Gerns, 2023). Las CDF se articulan en torno a la siguiente clasificación (Tabla I):

La CDF Clasificar fue recientemente revisada y renombrada como Categorizar (Evnitskaya & Dalton-Puffer, 2023). Las CDF específicas que se trabajaron en las pruebas fueron Describir, Relatar, Explicar y Explorar. Todas ellas están presentes en el currículo de Historia en secundaria, lo que refuerza la idea de que las CDF son parte del proceso de enseñanza (BOE, 2022). Las rúbricas del modelo H-CLIL para 1ºESO (Anexo I) y 3ºESO (Anexo II) se diseñaron teniendo en cuenta el enunciado del ensayo con los siguientes criterios:

• Características formales: formato de redacción, vocabulario propio de la asignatura, estilo, fluidez, uso de mayúsculas, signos de puntuación, coherencia y cohesión. En el caso de la prueba de 1ºESO también se tuvo en cuenta la utilización adecuada del vocabulario sugerido (1)
• Quién participó, qué ocurrió (2)
• Dónde ocurrió (3)
• Cuándo ocurrió (las fechas exactas no son tan prioritarias en el aprendizaje de la Historia como los protagonistas, las causas y consecuencias de los acontecimientos; la referencia temporal se considera acertada cuando respeta estos parámetros). En el test de 1ºESO, se facilitó el nombre de los meses entre el inicio del primer viaje de Colón y la llegada a las nuevas tierras con el fin de ayudar a los alumnos y comprobar si eran capaces de localizar ambos eventos correctamente (4)
• Cómo ocurrió (5)
• Por qué ocurrió (6)

Procedimiento de investigación y resultados

Las pruebas que se administraron se valoraban sobre 3 puntos. A continuación, se van a presentar en primer lugar los datos cuantitativos de las pruebas y posteriormente los aspectos lingüísticos más reseñables en las redacciones. Tras la recogida de las pruebas, se trataron los datos con el software SPSS (V. 27.0, IBM, 2020) y se obtuvieron las mediciones de tendencia general para cada grupo de datos de cada uno de los centros: media, mediana, desviación típica y varianza (Tabla II).

La media aporta información sobre el centro de la distribución de datos, y se esperaba que se mantuviese en un rango cercano. Fue así en los centros Las Encinas y Los Álamos, donde se mantuvo la media entre la prueba de 1º y 3ºESO con una variación mínima de 0,11. En cambio, en Los Pinos hubo una diferencia de 0,33 puntos entre una y otra prueba. Esto puede ser debido a que el año que los alumnos participantes realizaron la primera prueba, el programa bilingüe acababa de ser implantado en el instituto y ni el proyecto educativo del centro ni el profesorado del programa tenían gran experiencia en bilingüismo. Sin embargo, en 3ºESO se produjo un aumento citado de 0,33 puntos en los resultados, cuando ya el centro comenzaba a involucrarse en proyectos de innovación bilingüe y a disponer de un profesorado habilitado estable, lo que apoya este incremento.

La desviación típica muestra la dispersión de los datos en torno a la media, y en este caso se observa que hay una ligera diferencia entre 1º y 3ºESO en la puntuación en Las Encinas y Los Pinos (0,09 y 0,06 respectivamente) mientras que en Los Álamos la diferencia es mayor (casi 0,17 puntos). La moda muestra una puntuación más alta en Las Encinas (2,8) y Los Álamos (2,2) mientras en Los Pinos hay una diferencia clara en el grupo cuando cursa 1ºESO (moda 1,3) y 3ºESO (2,3) que respalda lo señalado respecto a la media.

Atendiendo a los resultados de forma individual, en Las Encinas la mayor parte de los alumnos aumentan su puntuación en la prueba, con la excepción de cuatro alumnos (LE2, LE4, LE13 Y LE14), si bien el descenso es mínimo (0,2 puntos de media); incluso el alumno que obtuvo una puntuación más baja en 1ºESO (LE8 0,9 puntos) obtuvo 0,5 puntos más en 3ºESO (Gráfico I).

En Los Álamos se observa una tendencia similar de aumento o mantenimiento de los resultados de 1º a 3ºESO, si bien hay dos alumnos cuyos resultados descienden: LA6 y LE13 0,4 puntos de diferencia entre uno y otro curso. Sin embargo, cabe destacar que ese descenso no es significativo ya que la nota de partida de ambos ya era alta: 2,9 sobre 3 en el test inicial de 1ºESO (Gráfico II).

Es en Los Pinos donde encontramos la mayor diferencia en los resultados entre 1º y 3ºESO. Las puntuaciones mejoran una media de 0,33 puntos entre la primera recogida de datos y la segunda, siendo la más significativa la del alumno LP10 con 1,1 puntos más en 3ºESO que en 1ºESO. Sólo tres alumnos tienen peores resultados (LP4, LP5 y LP8), siendo su descenso poco significativo: entre 0,1 y 0,2 puntos partiendo de una media de 1,8 en 1ºESO, por lo que se calificaría este descenso de poco relevante (Gráfico III).

La comparativa de los datos de los tres centros contribuye a explicar otros aspectos de la investigación (Ravid, 2005), como es la observación de disparidades en los centros en la región, ya que se trata de tres centros de localidades distintas. Los Gráficos IV y V muestran las tendencias señaladas anteriormente. Se partía de una situación inicial (1ºESO), en la que sólo siete de los 45 alumnos presentaban resultados por debajo de la media (1,5 puntos), en tanto que los resultados globales de dos de los centros ya sobrepasaban la media de la puntuación: Las Encinas con 2,43 puntos y Los Álamos 2,37 puntos (Gráfico IV).

En 3ºESO el alumnado lleva dos cursos aprendiendo nuevos contenidos de historia y realizando redacciones dos cursos de forma sistemática en todo el programa bilingüe, tanto en la asignatura de lengua inglesa como en asignaturas no lingüísticas de alto contenido teórico (Ciencias Sociales y Ciencias Naturales, por ejemplo). La Gráfica V recoge esta tendencia a la mejora de resultados, siendo sólo dos alumnos (LP5 y LE8) de los 45 quienes obtienen una puntuación por debajo de lo que equivaldría al aprobado (1,5 puntos), dado que la puntuación máxima es 3.

En cuanto a los aspectos lingüísticos que se recogen en las redacciones, hay que señalar una mayor utilización de frases subordinadas en 3ºESO frente a las más comunes coordinadas en 1ºESO. Unido a este rasgo, la importancia de la utilización de conectores en la escritura del texto histórico (Achugar y Schleppegrell, 2005), que se recogen ampliamente en las rúbricas H-CLIL en relación con la forma de redacción al referirse a dónde, cuándo, cómo y por qué ocurrieron los hechos históricos que se narran. El uso de conectores es mayor en 3ºESO que en 1ºESO. Asimismo, el uso arbitrario entre los tiempos presente (en el caso del diario de campaña en el texto de 3ºESO), pasado y presente histórico -que siempre es un reto para los alumnos de Historia-, está más presente en los textos escritos de los alumnos de 1º que en los de 3ºESO. A continuación, extractos de las redacciones de tres alumnos (de cada uno de los centros participantes) en 1º y 3ºESO:

LE11 – 1ºESO: “Christopher Columbus discovered America, but how? He was looking for another way to go to India. He thought the world was spherical. It was in August”.
LE11 – 3ºESO: “We are in Granada, the people runs in panic, some escape and the others stay without knowing what to do, we have entered the fortress and it’s done. The reconquest of centuries finish and we won”.
LP3 – 1ºESO: “Christopher Columbus goes to see if he could reach Asia from the other way. There it found America. San Salvador was the island he gets. He went in August and reach it in October”.
LP3 – 3ºESO: “I have arrived to the campaign where we are gonna stay tonight so we could attack the day after tomorrow. Today we are only preparing the weapons, so they are prepared for war and others are looking for a good place to attack (…) Even if it seems simple, it isn’t (…) What they [the governors responsible for the war] don’t know is that with all these fights, somehow, trade routes are closing”.
LA8 – 1ºESO: “Columbus crossed the Atlantic Ocean and he see a little bit of land. He and the navegants were so happy. First, they see San Salvador. They went on Spain back and they told all the people that they saw other land out of Spain.
LA8 – 3ºESO: “Day 1. We reached Granada and start setting up the camps. Day 2. We are preparing the catapults and the assault towers. We also have shovels and pick axes to dig under the castle and make it collapse. Day 3. We started the siege, we have surrounded the castle”.

Los errores ortográficos no se tuvieron en cuenta como penalización ni en los criterios de evaluación sustanciados en la rúbrica ni en la puntuación final porque se priorizan las estrategias en la redacción en historia en lengua extranjera: la autenticidad de los datos aportados, la transmisión del conocimiento, la correcta secuenciación de los hechos, y la claridad y coherencia del discurso (Ministerio de Educación-British Council, 2010). Incluso los SAT (Standard Attainment Tests) que se aplican en Gran Bretaña a alumnos entre 7 y 14 años, priorizan el desarrollo del discurso frente a la ortografía (Gov.UK, 2014).

Conclusiones y discusión

A tenor de los resultados obtenidos, queda refutada la hipótesis nula de entrada ya que el estudio muestra que los alumnos mantienen una evolución de aprendizaje de contenidos de Historia acorde a los requeridos en el currículo para ambos niveles académicos y una mejor expresión escrita en 3ºESO que en 1ºESO. A pesar de las limitaciones del estudio, se puede inferir que el alumnado aprende los contenidos curriculares de Historia aunque la cursen en lengua extranjera. Sin embargo, es necesario tomar estos resultados con prudencia ya que sería aconsejable ampliar la muestra, repetir las pruebas, incidir en su investigación y hacer la comparativa con pruebas al alumnado de los mismos niveles en centros no bilingües, donde estudian la asignatura en su lengua materna.

Parece evidente afirmar que la situación de evaluación más auténtica es en la que el profesorado selecciona el método de evaluación más parecido a las tareas que se realizan en el aula. Una forma de evaluar justa es importante, tanto en lenguas como en asignaturas. Una mala forma de evaluar puede llevar al fracaso al alumnado y, por ende, a las escuelas. Modelos de evaluación formativa que tengan en cuenta el proceso que lleva al aprendizaje, que tenga en consideración todos los elementos que lo configuran -como la lengua de instrucción-, ayudarán a los docentes en la adopción de las metodologías más adecuadas a su práctica en el aula.

Cómo son utilizados los resultados de una evaluación en enseñanza bilingüe es una pregunta clave en tanto en cuanto respalda o afecta a los programas: ¿en qué se necesita mejorar y qué sería necesario para hacerlo? ¿cómo se pueden incentivar estos programas? o ¿cómo se puede favorecer la práctica docente? El estudio aquí presentado pretende mostrar cómo una forma de evaluar teniendo en cuenta no sólo los conocimientos en Historia, sino además la lengua, puede contribuir a que el docente de materias no lingüísticas se plantee cómo la evaluación influye en cómo enseña, cómo aprende su alumnado y la importancia de tener en cuenta la forma en la que los alumnos expresan lo aprendido. Animar al alumnado a redactar lo que aprende, especialmente en la actualidad, con sugerencias lo más abiertas posible, va más allá de los exámenes como forma única de evaluación estándar. Es importante analizar de manera significativa los procesos de enseñanza y aprendizaje, y evaluar formativamente al alumnado involucrándole en ello, ya que los resultados que se obtienen influyen en la adopción de decisiones educativas de alcance (Mahoney, 2017).

Hay que cuestionarse el propósito que guía la evaluación en AICLE. Parece lógico pensar en medir el aprendizaje del contenido integrado en la lengua vehicular, como se haría en el caso de la L1. Un interesante debate es qué porcentaje habría que aplicar a cada ítem en los criterios de evaluación. Este estudio propone métodos de medición apropiados a la evaluación en enseñanza bilingüe. Asimismo, se sugiere abrir paso a posibles líneas de investigación en las que la recogida de datos se amplíe a otras materias no lingüísticas. El estudio de las posibles implicaciones que el perfil socioeconómico pudiera tener en los resultados de las pruebas de los alumnos participantes sería un aspecto extremadamente interesante. Otra dirección de investigación prometedora y aún poco estudiada relaciona el aprendizaje de la Historia con el uso de la lengua materna y la lengua extranjera: el translingüismo, es decir, la alternancia en la utilización de la L1 y la L2 por los alumnos cuando quieren comunicar (Celic & Seltzer, 2013; Lasagabaster, 2013). Lejos de ser una rémora en la comunicación, el uso de recursos lingüísticos en dos lenguas por el alumnado al expresar su conocimiento de las asignaturas estudiadas bajo el enfoque AICLE es un valor añadido para la educación bilingüe. Mahoney hace una propuesta controvertida: “Si el objetivo es medir el conocimiento en Historia, entonces la evaluación podría realizarse en inglés, español o una combinación de ambas lenguas, significativas para el alumnado y que pueden mostrar mejor lo que el alumno sabe (…) No evaluar [al alumno] también en su lengua materna puede suponer ignorar información relevante sobre el proceso de enseñanza y aprendizaje” (Mahoney, 2017: 11-12). Durante la investigación, se encontraron varios ejemplos de translingüismo, como la metalengua que un alumno utilizó en su redacción para explicar a su lector que estaba cambiando de lengua:

LE10 – 1ºESO: “Then they put the objects in the carabela (this word is in Spanish) and they took gold and new products to Spain”.

Evaluar en la enseñanza bilingüe supone poner en valor los recursos, el trabajo y el tiempo que profesorado, alumnado, familias y administraciones públicas le llevan dedicando desde hace más de 25 años. Se trata, en definitiva, de mejorar la educación, especialmente ahora que los aprendizajes se producen en gran medida en entornos digitales y en línea.

Referencias bibliográficas

Achugar, M. and Schleppegrell, M. J. (2005). Beyond connectors: The construction of cause in history textbooks. Linguistics and Education, 16(3), 298–318. https://doi.org/10.1016/j.linged.2006.02.003

Anderson, L.W., & Krathwohl, D.R.(2021). A taxonomy for learning, teaching, and assessing: A revision of Bloom's taxonomy of educational objectives. Longman.

Ball, P., Kelly, K., & Clegg, J. (2015). Putting CLIL into Practice. Oxford Handbooks

Barbero, T. (2012). Assessment tools and practices in CLIL. In Quartavalle Franca (ed.) Assessment and Evaluation in CLIL. AECLIL-EACEA. Pavia: Ibis Edition. Recuperado de http://riviste.unimi.it/index.php/promoitals/article/viewFile/2827/3030.

Bloom, B.S. (ed.), Engelhart, M.D., Furst, E.J., Hill, W.H., y Krathwohl, D.R. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook 1: Cognitive domain. New York: David McKay.

BOE (2022). Real Decreto 217/2022, de 29 de marzo, por el que se establece la ordenación y las enseñanzas mínimas de la Educación Secundaria Obligatoria. https://www.boe.es/eli/es/rd/2022/03/29/217/con

Celic, C. M.,& Seltzer, K. (2013). Translanguaging [: A CUNY-NYSIEB Guide for Educators. New York: Cuny-Nysieb.

Cenoz, J., Genesee, F., & Gorter D. (2014). Critical Analysis of CLIL: Taking Stock and Looking Forward, Applied Linguistics 35 (3): 243-262. Recuperado de http://tacticasc.blogspot.com.es/2016/03/una-polemica-sin-resolver-el-futuro-de.html

Cercadillo, L. (2006). ‘Maybe they haven’t decided yet what is right’: English and Spanish perspectives on teaching historical significance. Teaching History, 125, p.6-9. London: The Historical Association.

Consejo de Europa. (2020). Common European framework of reference for languages: Learning, teaching, assessment – Companion volume. Council of Europe Publishing. Recuperado de www.coe.int/lang-cefr

Counsell, C. (2000). Historical knowledge and historical skills: a distracting dichotomy, in Arthur, J. & Phillips, R. Issues in history teaching, Routledge.

Cubo Delgado, S., Martín Marín, B., & García Ramos, J.L. (coord.) (2011). Métodos de investigación y análisis de datos en ciencias sociales y de la salud. Madrid: Pirámide Grupo Anaya.

Dalton-Puffer, Ch. (2013). A construct of cognitive discourse functions for conceptualizing content-language integration in CLIL and multilingual education. EuJAL 1(2), 216–253. https://doi.org/10.1515/eujal-2013-0011

De Oliveira, L.C. (2011). Knowing and Writing School History. The Language of Students’ Expository Writing and Teachers’ Expectations. Charlotte, NC: Information Age Publishing.

Del Pozo, E. (2009). Portfolio: un paso más allá en CLIL. Prácticas en Educación Bilingüe y Plurilingüe, 1. Equipo Prácticas en Educación. Centro de Estudios Hispánicos de Castilla y León. Recuperado de http://practicaseneducacion.org/index.php?option=com_content&view=article&id=43&Itemid=69

Del Pozo, E. (2019). CLIL in the Secondary Classrooms: History Contents on the Move, en Tsuchiya, K., & Pérez-Murillo, M.D. (coord.) Content and Language Integrated Learning in Spanish and Japanese Contexts: Policy, Practice and Pedagogy. Palgrave MacMillan.

Del Pozo, E., & Llinares, A. (2021). Assessing students’ learning of history content in Spanish CLIL programmes: a content and language integrated perspective, en C. Hemmi, D. L. Banegas (eds.), International Perspectives on CLIL. International Perspectives on English Language Teaching. Switzerland: Palgrave MacMillan. Recuperado de https://doi.org/10.1007/978-3-030-70095-9_3

Evnitskaya, N., & Dalton-Puffer, C. (2023) Cognitive discourse functions in CLIL classrooms: eliciting and analysing students’ oral categorizations in science and history. International Journal of Bilingual Education and Bilingualism, 26(3). 311-330. https://doi.org/10.1080/13670050.2020.1804824

Gerns, P. (2023). Qualitative insights and a first evaluation tool for teaching with cognitive discourse function: "comparing" in the CLIL science classroom. Porta Linguarum, 40 (161-179). https://doi.org/10.30827/portalin.vi40.26619

González, O. L. P., Mora, A. M., Hernández, B. M. T., & Leal, E. J. G. (2015). Reflexiones conceptuales sobre la evaluación del aprendizaje. Didasc@lia: Didáctica y Educación, 6(4), 161-168.

Gov.UK (2014). The National Curriculum. Recuperado de https://www.gov.uk/national-curriculum

Hernández Sampieri, R., Fernández-Collado, C., y Baptista Lucio, P. (2010). Fundamentos de metodología de la investigación. McGraw Hill.

IBM Corp. (2020). IBM SPSS Statistics for Windows (Version 27.0) [Computer software]. IBM Corp.

Krathwohl, D.R. (2002). A Revision of Bloom's Taxonomy: An Overview, Theory Into Practice. Volume 41, Number 4, 212-218. College of Education, The Ohio State University.

Lasagabaster, D. (2013). The use of the L1 in CLIL classes: the teachers’ perspective. Latin American Journal of Content and Language Integrated Learning 6/2: 1-21. Recuperado de http://laclil.unisabana.edu.co/index.php/LACLIL/article/view/3148/pdf_1.

Llinares, A., Morton, T., & Whittaker, R. (2012). The roles of language in CLIL. Cambridge: Cambridge University Press.

LOMLOE, Ley Orgánica 3/2020, de 29 de diciembre, por la que se modifica la Ley Orgánica de Educación 2/2006 de 3 de mayo.

López Pastor, V. M., & Pérez Pueyo, Á. (2017). Evaluación formativa y compartida en educación: experiencias de éxito en todas las etapas educativas. León: Grupo IFAHE.

Lorenzo, F. (2017). Historical literacy in bilingual settings: Cognitive academic language in CLIL history narratives. Linguistics and Education 37 (32-41). https://doi.org/10.1016/j.linged.2016.11.002

Mahoney, K. (2017). The Assessment of Emergent Bilinguals: Supporting English Language Learners. Bristol: Multilingual Matters.

McLougling, A. (2021). How to write CLIL materials. Training course for ELT writers, 25. US: Amazon Digital Services.

Ministerio de Educación-British Council (2010). Programa de Educación Bilingüe en España. Presentación de los resultados de la evaluación independiente. Madrid: MEC-BC

Newell, J., Dahm, K, & Newell, H. (2002). Rubric Development and Inter Rater Reliability Issues in Assessing Learning Outcomes. Proceedings of the 2002 American Society for Engineering Education Annual Conference & Exposition. American Society for Engineering Education.

Otto, A. and Estrada-Chichón, J.L. (2019). Towards an Understanding of CLIL in a European Context: Main Assessment Tools and the Role of Language in Content Subjects. CLIL Journal of Innovation and Research in Plurilingual and Pluricultural Education, 2(1), 31-42. https://doi.org/10.5565/rev/clil.11

Pascual, I. and Basse, R. (2017). Assessment for Learning in CLIL classroom discourse, en Llinares, A., & Morton, T.(eds) Applied Linguistics Perspectives on CLIL. Language Learning & Language Teaching, 47. John Benjamins Publishing Co.

Ravid, R. (2005). Practical Statistics for Educators. Maryland: University Press of America

Schleicher, A. (2014). Equity, excellence and inclusiveness in education. International Summit on the Teaching Profession. March, 28.

Wineburg, S. (2000). Making historical sense, in Stearns, P. Seixas, P., & Wineburg, S. (eds). Knowing, Teaching & Learning History. National and International Perspectives. Nueva York University Press.

Información de contacto: Elena del Pozo Manzano. Universidad Autónoma de Madrid, Facultad de Filosofía y Letras, Departamento de Filología Inglesa. Calle Silvano, 154 – 28043 (Madrid, España). E-mail: elena.delpozo@madrid.org

ANEXO I: rúbrica H-CLIL para 1ºESO

(adaptado a partir de Del Pozo y Llinares, 2021)

ANEXO II: rúbrica H-CLIL para 3ºESO

_______________________________

¹ En inglés en el original: Explain, providing as many details as possible, how the discovery of America took place. Use the words: Columbus, Asia, Earth, caravels, August, October and San Salvador (about 150 words)

² En inglés en el original: Imagine that you are one of the officers of the Christian army in the conquest of Granada. Write the campaign journal including all the details you can think of (about 150 words)