MEDIDA DE LA COMPETENCIA PARA PROGRAMAR AICLE Y DIAGNÓSTICO DE LAS NECESIDADES DE FORMACIÓN DOCENTE
Measuring teachers’ competence to plan CLIL; a diagnosis of teachers’ training needs

MAGDALENA CUSTODIO ESPINAR⁽¹⁾ Y JOSÉ MANUEL GARCÍA RAMOS^(2)
(1) Universidad Pontificia Comillas (España)
⁽²⁾ Universidad Complutense de Madrid (España)

DOI: 10.13042/Bordon.2019.72250
Fecha de recepción: 24/04/2019 • Fecha de aceptación: 29/10/2019
Autora de contacto / Corresponding author: Magdalena Custodio Espinar. E-mail: mcustodio@comillas.edu
Fecha de publicación online: 20/12/2019

INTRODUCCIÓN. En un contexto de marcada heterogeneidad en la formación recibida para impartir AICLE, este artículo presenta el proceso de diseño y validación de un instrumento de medida del nivel de integración de los principios metodológicos AICLE en los estilos de programación de docentes habilitados/acreditados de centros bilingües. MÉTODO. El objetivo es validar una herramienta que sirva para medir la competencia docente para programar AICLE y diagnosticar las áreas que requieren formación. Para ello ha sido necesario definir el constructo “programación AICLE” a partir de un modelo de programación que integra los principios fundamentales del enfoque. Este constructo ha servido para diseñar la estructura inicial del cuestionario. Esta primera versión fue sometida a una validación de expertos, que ha permitido reducir el número de ítems y mejorar su claridad, precisión y relevancia. El cuestionario resultante ha sido aplicado a una muestra aleatoria estratificada de 383 docentes, de 47 centros bilingües de primaria y secundaria, distribuidos en las cinco direcciones de área territorial de la Comunidad de Madrid. RESULTADOS. Los análisis realizados han demostrado que el cuestionario es una herramienta fiable y válida para recoger información sobre el constructo que mide y han permitido diseñar una versión final del cuestionario denominado CIPMA (Cuestionario de Integración de los Principios Metodológicos AICLE). DISCUSIÓN. Todo ello permite concluir que el CIPMA es un cuestionario validado y listo para ser aplicado en otros contextos, con otras muestras, para medir la competencia de los docentes habilitados para programar AICLE y diagnosticar sus necesidades reales de formación. Esta estrategia de medición de la competencia y el diagnóstico de necesidades de formación concretas puede contribuir a lograr una mayor homogeneización de la competencia docente para programar lecciones de AICLE en los centros bilingües.

Palabras clave: Programación AICLE, Formación inicial, Formación permanente, Cuestionarios, Competencias del docente AICLE, Necesidades de formación docente.

Introducción

Desde el año 1995, la Unión Europea ha puesto en marcha una verdadera estrategia en materia de multilingüismo (Comisión Europea, 1995Comisión Europea (1995). Libro Blanco enseñar y aprender: hacia la sociedad del conocimiento. Bruselas, Luxemburgo: Comisión Europea.), de la cual ha surgido un enfoque metodológico innovador para la enseñanza de idiomas llamado CLIL (Content and Language Integrated Learning), que en español se denomina AICLE (Aprendizaje Integrado de Contenido y Lengua). En España, el AICLE ha sido una palanca para el cambio y la actualización de los estándares de idiomas (Pérez Cañado, 2016Pérez Cañado, M. L. (2016). Evaluating CLIL Programmes: Instrument Design and Validation. Pulso. Revista de educación, 39, 79-112.).

El marco legal vigente español en materia de enseñanza bilingüe queda recogido en el artículo 13 del Real Decreto 126/2014Real Decreto 126/2014, de 28 de febrero, por el que se establece el currículo básico de la Educación Primaria. Boletín Oficial del Estado, de 1 de marzo de 2014, núm. 52, pp. 19349-19420., de 28 de febrero, por el que se establece el currículo básico de la Educación Primaria y en la disposición adicional segunda del Real Decreto 1105/2014Real Decreto 1105/2014, de 26 de diciembre, por el que se establece el currículo básico de la Educación Secundaria Obligatoria y del Bachillerato. Boletín Oficial del Estado, de 3 de enero de 2015, núm. 3, pp. 169-546., de 26 de diciembre, por el que se establece el currículo básico de la Educación Secundaria Obligatoria y del Bachillerato. Ambos introducen una importante novedad que permite a las Administraciones educativas establecer que algunas de las asignaturas del currículo se impartan en lenguas extranjeras, sin que ello suponga modificación de los aspectos básicos del currículo regulados en los mismos. Esta circunstancia, que conlleva un cambio metodológico sin precedente, ha dado lugar al desarrollo de una extensa regulación de la enseñanza de idiomas de rango superior y medio. Además, ha promovido la creación de numerosos y variados programas nacionales y autonómicos de educación bilingüe.

Pero la calidad de estos programas se viene midiendo, fundamentalmente, bajo la perspectiva de los resultados académicos de los alumnos. Lamentablemente, no se ha medido con tanta intensidad o con la suficiente fiabilidad el impacto que esta innovación ha supuesto para los docentes responsables de su desarrollo en las aulas (Pérez Cañado, 2016Pérez Cañado, M. L. (2016). Evaluating CLIL Programmes: Instrument Design and Validation. Pulso. Revista de educación, 39, 79-112.). La estrategia de habilitar solo según el criterio de competencia lingüística ha facilitado la incorporación de un mayor número de docentes a los programas, capaz de cubrir la demanda generada por el rápido crecimiento mantenido desde su implantación (Llinares y Dafouz, 2010Llinares, A. y Dafouz, E. (2010). Content and language integrated programs in the Madrid region: Overview and research findings. En D. Lagasabaster y Y. Ruiz de Zarobe (eds.), CLIL in Spain: Implementation, Results and Teacher Training, (pp. 95-114). Newcastle, Inglaterra: Cambridge Scholars.; Pérez Cañado, 2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238). Sin embargo, para garantizar su calidad y sostenibilidad a largo plazo, es necesaria una formación previa combinada de inglés y principios metodológicos AICLE, que garantice una mayor homogeneidad en el perfil competencial del docente habilitado para impartir enseñanza bilingüe bajo este enfoque (Coyle, 2011Coyle, D. (2011). Setting the CLIL agenda for successful learning: what pupils have to say. En II Congreso Internacional de Enseñanza Bilingüe en Centros Educativos. Madrid: Universidad Rey Juan Carlos.; Pérez Cañado, 2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238).

Uno de los desafíos más importantes en todos los tipos de educación lingüística basada en el contenido, es decir, programas no inmersivos en los que el contenido prevalece sobre el idioma, entre los que se encuentra el AICLE, es la formación del profesorado (Morton, 2016Morton, T. (2016). Conceptualizing and investigating teachers’ knowledge for integrating content and language in content-based instruction. Journal of Immersion and Content-Based Language Education, 4(2), 144-167. doi: https://doi.org/10.1075/jicb.4.2.01). Esta formación previa, que debería ser considerada en el proceso de habilitación, es especialmente necesaria en un contexto en el que existe aún una deficiente planificación de la formación inicial y permanente del profesorado para hacer frente a los retos de los nuevos modelos educativos emergentes (Banegas, 2012Banegas, D. L. (2012). CLIL teacher development: challenges and experiences. Latin American Journal of Content & Language Integrated Learning, 5(1), 46-56. doi: https://doi.org/10.5294/laclil.2012.5.1.4; Coyle, Hood y Marsh, 2010Coyle, D., Hood, P. y Marsh, D. (2010). CLIL – Content and Language Integrated Learning. Cambridge: Cambridge University Press.; Escobar, 2011Escobar, C. (2011). Colaboración interdisciplinar, partenariado y centros de formación docente: tres ejes para sustentar la colaboración del profesorado AICLE. En C. Escobar Urmeneta y L. Nussbaum (eds.), Learning through another language. Bellaterra: Servei de Publicacions de la Universitat Autònoma de Barcelona.; Jover, Fleta y González, 2016Jover, G., Fleta, T. y González, R. (2016). La formación inicial de los maestros de Educación Primaria en el contexto de la enseñanza bilingüe en lengua extranjera. Bordón, Revista de Pedagogía, 68(2), 121-135. doi: https://doi.org/10.13042/Bordon.2016.68208; Lancaster, 2016Lancaster, N. K. (2016). The Effects of Content and Language Integrated Learning on the Oral Skills of Compulsory Secondary Education Students: A Longitudinal Study (tesis doctoral). Universidad de Jaén, Jaén. ; Madrid y Pérez Cañado, 2012Madrid, D. y Pérez Cañado, M. L. (2012). CLIL Teacher Training. En J. de D. Martínez Agudo (ed.), Teaching and Learning English through Bilingual Education. Newcastle upon Tyne: Cambridge Scholars. ; Marsh y Langé, 2000Marsh, D. y Langé, G. (eds.) (2000). Using languages to learn and learning to use languages. Finlandia: University of Jyväskylä.; Mehisto, Marsh y Frigols, 2008Mehisto, P., Marsh, D. y Frigols, M. J. (2008). Uncovering CLIL: Content and language integrated learning in bilingual and multilingual education. Oxford: Macmillan Education.; Navés y Victori, 2010Navés, T. y Victori, M. (2010). CLIL in Catalonia: an overview of research studies. En D. Lasagabaster y Y. Ruiz de Zarobe (eds.), CLIL in Spain: Implementation, Results and Teacher Training (pp. 30-55). Newcastle: Cambridge Scholars Publishing.; Pérez Cañado, 2014Pérez Cañado, M. L. (2014). Teacher training needs for bilingual education: in-service teacher perceptions. International Journal of Bilingual Education and Bilingualism, 19(3), 266-295., 2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238).

Asimismo, la programación docente es un factor determinante de la calidad de los procesos de enseñanza y aprendizaje (Banegas, 2015Banegas, D. L. (2015). Sharing views of CLIL lesson planning in language teacher education. Latin American Journal of Content and Language Integrated Learning, 8(2), 104-130. doi: 10.5294/laclil.2015.8.2.3; Llull, Fernández, Johnson y Peñafiel, 2016Llull, J., Fernández, R., Johnson, M. y Peñafiel, E. (2016). Planning for CLIL: Designing effective lessons for the bilingual classroom. Madrid: CCS.; López-Hernández, 2016López Hernández, A. (2016). Language Analysis for English and CLIL Teachers: A Practical Guide. Madrid: Editorial CCS.; Marsh, 2012Marsh, D. (2012). Content and Language Integrated Learning (CLIL). A Development Trajectory. Córdoba: Servicio de Publicaciones de la Universidad de Córdoba. ; Marsh, Mehisto, Wolff y Frigols, 2010Marsh, D., Mehisto, P., Wolff, D. y Frigols, M. J. (2010). European Framework for CLIL Teacher Education: A framework for the professional development of CLIL teachers. Graz: European Centre for Modern Languages. ). Partiendo de esta afirmación, el diagnóstico de las necesidades de formación metodológica para impartir AICLE puede servir para que los planes dirigidos a la formación de este colectivo de docentes estén orientados a satisfacer sus necesidades reales y garantizar, por tanto, una buena formación para programar lecciones de AICLE (Pérez Cañado, 2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238). Marsh (2012Marsh, D. (2012). Content and Language Integrated Learning (CLIL). A Development Trajectory. Córdoba: Servicio de Publicaciones de la Universidad de Córdoba. ) señala cómo la investigación ha demostrado que, al dotar a los profesores con el conocimiento y las habilidades adecuadas para desarrollar este tipo de enseñanza de carácter integrado (lengua y contenido), se promueve el acceso de los alumnos a contextos de aprendizaje más complejos, que pueden contribuir a la mejora de los resultados lingüísticos y académicos.

Por tanto, dada la heterogeneidad en el perfil competencial del docente AICLE (Herrero, 2015Herrero Rámila, C. (2015). El programa de colegios bilingües de la Comunidad de Madrid. Un análisis del proceso de cambio ocurrido a través de sus profesores (tesis doctoral). Universidad Autónoma de Madrid, Madrid.), derivada de un modelo de habilitación que relega la formación metodológica a la voluntad del docente, es necesario determinar las diferentes necesidades de formación en AICLE de este colectivo. Por ello, este trabajo presenta el proceso de validación de una herramienta para medir el impacto que los planes de formación del profesorado tienen sobre la capacidad para programar lecciones de AICLE. Esta estrategia, que mide la competencia para programar AICLE con el fin de diagnosticar las áreas de la programación que requieren más formación, puede contribuir al desarrollo de planes ajustados a las necesidades reales de estos docentes y a la reducción de las diferencias en el nivel de integración de los principios metodológicos AICLE en los docentes habilitados. Porque la mejora de la calidad de los programas bilingües y su sostenibilidad a largo plazo requieren planes de formación del profesorado eficaces (Coyle, 2011Coyle, D. (2011). Setting the CLIL agenda for successful learning: what pupils have to say. En II Congreso Internacional de Enseñanza Bilingüe en Centros Educativos. Madrid: Universidad Rey Juan Carlos.; Pérez Cañado, 2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238). Es decir, el objetivo general de este trabajo es construir un instrumento de evaluación del nivel de integración de los principios metodológicos y didácticos AICLE en los estilos de programación del profesorado de programas bilingües a partir del estudio y determinación de los principios metodológicos del enfoque, que deben estar presentes en las programaciones didácticas diseñadas bajo este enfoque.

Método

Diseño y construcción del cuestionario

Son muchos los retos para poder establecer un currículum AICLE europeo que sirva de referente para el diseño de la formación y capacitación profesional de los docentes en contextos AICLE (Kelly, Grenfell, Allan y McEvoy, 2004Kelly, M., Grenfell, M., Allan, R., Kriza, C. y McEvoy, W. (2004). European profile for language teacher education – a frame of reference. Report to the European Commission for Education and Culture. Recuperado de ec.europa.eu/education/languages/archive/doc/profile_en.pdf.; Marsh et al., 2010Marsh, D., Mehisto, P., Wolff, D. y Frigols, M. J. (2010). European Framework for CLIL Teacher Education: A framework for the professional development of CLIL teachers. Graz: European Centre for Modern Languages. ). Conocer cuáles son esas competencias es el requisito previo indispensable para el diagnóstico de las necesidades de formación y el diseño de cursos y planes capaces de satisfacerlas (Delicado y Pavón, 2016Delicado, G. y Pavón, V. (2016). Training primary student teachers for CLIL: innovation through collaboration. Pulso. Revista de Educación, 39, 35-57. ). Existen numerosos trabajos nacionales e internacionales que han estudiado el perfil competencial del docente de AICLE (Ball, Kelly y Clegg, 2015Ball, P., Kelly, K. y Clegg, J. (2015). Putting CLIL into Practice. Oxford: Oxford University Press.; Bertaux, Coonan, Frigols-Martín y Mehisto, 2010Bertaux, P., Coonan, C. M., Frigols-Martín, M. J. y Mehisto, P. (2010). The CLIL teacher’s competences grid. Common Constitution and Language Learning (CCLL) Comenius Network. ; Madrid y Madrid, 2014Madrid Manrique, M. y Madrid Fernández, D. (2014). La formación inicial del profesorado para la educación bilingüe. Granada: Universidad de Granada.; Marsh et al., 2010Marsh, D., Mehisto, P., Wolff, D. y Frigols, M. J. (2010). European Framework for CLIL Teacher Education: A framework for the professional development of CLIL teachers. Graz: European Centre for Modern Languages. ; Pavón y Ellison, 2013Pavón Vázquez, V. y Ellison, M. (2013). Examining teacher roles and competences in Content and Language Integrated Learning (CLIL). Linguarum Arena, 4, 65-78.; Pérez Cañado, 2015Pérez Cañado, M. L. (2015). Training teachers for plurilingual education: A Spanish case study. En D. Marsh, M. L. Pérez Cañado y J. Ráez Padilla (eds.), CLIL in Action: Voices from the Classroom, (pp. 165-187). Newcastle upon Tyne: Cambridge Scholars Publishing., 2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238), pero el mayor de estos retos es, sin duda, el desconocimiento del nivel de competencia de los docentes que imparten enseñanzas bajo el enfoque AICLE en relación con la integración de sus principios metodológicos en las programaciones que diseñan, entendidas estas como la herramienta que refleja una de las competencias profesionales más importantes del docente AICLE, la programación de aula (Marsh, 2012Marsh, D. (2012). Content and Language Integrated Learning (CLIL). A Development Trajectory. Córdoba: Servicio de Publicaciones de la Universidad de Córdoba. ).

El referente para definir el constructo a medir “programación AICLE” surge del análisis de los principios metodológicos incluidos en una programación AICLE modelo (Custodio Espinar, 2012Custodio Espinar, M. (2012). Appendix C. Lesson planning: CLIL Young learner lesson. En J. Harmer (ed.), Essential Teacher Knowledge, (pp. 251-252). Inglaterra: Pearson., 2019Custodio Espinar, M. (2019). Los principios metodológicos AICLE (aprendizaje integrado de contenido y lengua). Madrid: Fundación Universitaria Española. ), que refleja los principios metodológicos que deben estar presentes en cualquier programación bajo este enfoque. El diseño inicial del cuestionario incluye un total de 62 ítems: 16 variables de identificación para describir la muestra y 46 variables activas operativizadas en el cuestionario en 3 dimensiones, 10 subdimensiones, 28 indicadores y 46 ítems.

Validación por expertos

Como método para obtener evidencias de la validez de contenido del cuestionario inicial se ha recurrido a la opinión de quince expertos de cinco universidades distintas. Para ello, se ha elaborado una escala de tipo Likert de 1 a 6, para evitar la tendencia central. Los criterios elegidos para medir la adecuación de los ítems a sus dominios de contenido pretenden medir la sencillez en la expresión, la especificidad sobre el contenido que preguntan y la significatividad del ítem con respecto al indicador. Los valores de la escala son: 1= desacuerdo total, 2= desacuerdo parcial, 3= acuerdo parcial, 4= bastante de acuerdo, 5= muy de acuerdo y 6= totalmente de acuerdo.

Con las valoraciones recogidas por cada experto se ha creado una base de datos, usando el programa SPSS Statistics versión 20. Los criterios generales fijados para la eliminación o modificación de los ítems son los siguientes:

• Si la media toma valores iguales o inferiores a 4 (≤4), los ítems son revisados.
• Si la media toma valores iguales o inferiores a 3 (≤3), los ítems son eliminados.
• Con una desviación típica mayor o igual a 0.95 (σ ≥0.95), los ítems son revisados.

Además de los criterios relativos a tendencia central y dispersión, como estrategia analítica de consenso interjueces, se ha empleado la w de Kendall para establecer la idoneidad de los elementos propuestos.

Población y muestra

La población del estudio está compuesta por 550 centros públicos y concertados bilingües de la Comunidad de Madrid, de primaria y secundaria, hasta el curso 2013-2014, para garantizar un mínimo de tres años de participación en el programa (Comunidad de Madrid, 2014Comunidad de Madrid (2014). Datos y cifras de la educación 2013-2014. Madrid: Consejería de Educación, Juventud y Deporte.). La técnica empleada para el cálculo muestral, mediante el programa Ene 3.0 (intervalo de confianza del 95%, DT= 3 y precisión= 0.7) es un muestreo probabilístico aleatorio estratificado y proporcional. El resultado de este cálculo ha sido de 74 centros distribuidos proporcionalmente en cada estrato, dirección de área territorial (DAT). La media estimada de docentes es de 370, cinco docentes por centro. La tabla 1 ofrece un resumen de la población y muestra del estudio.

La estimación de 370 docentes para la muestra de 74 centros fue superada tras visitar 47 centros, en los que un total de 383 docentes respondieron al cuestionario. La tabla 2 muestra la comparativa entre la muestra ideal y la real.

Recogida y análisis de datos

La aplicación del instrumento de medida a la muestra ha sido accidental (no intencional), puesto que no ha habido una selección previa de centros. El trabajo de campo de este estudio se ha desarrollado in situ de enero a julio de 2017, siguiendo un protocolo de visita similar en todos los centros.

Para llevar a cabo el análisis estadístico de los datos recogidos en la muestra se ha utilizado el programa IBM SPSS versión 20. Se ha realizado un análisis de validación de expertos para comprobar la validez de contenido y un análisis factorial para determinar la validez de constructo del cuestionario. También se ha analizado el grado de fiabilidad para comprobar la consistencia interna global del instrumento y de sus dimensiones mediante el cálculo del alfa de Cronbach. Finalmente, se ha realizado un análisis de la validez convergente del instrumento y sus dimensiones.

Resultados

Análisis de validación de expertos

Los resultados muestran que el cuestionario ha sido bien valorado por los expertos en lo relativo al orden y la presentación de las variables de estudio y a la validez de contenido. Ambos han obtenido una valoración media alta, con una desviación típica muy por debajo del índice marcado como máximo razonable (tabla 3).

Sin embargo, la mayoría de ellos ha coincidido en que la longitud del mismo puede suponer una dificultad a la hora de su aplicación, así como su posterior análisis, tal y como se refleja en su media y su desviación típica.

El coeficiente de concordancia de Kendal entre los 15 jueces con respecto a estas tres variables (orden lógico, cantidad de ítems y validez de contenido) muestra un grado de acuerdo cercano a 0.5. En el análisis de la variable “doctores” y “no doctores” el grado de acuerdo es mayor entre los no doctores (cinco jueces) que entre los doctores (diez jueces) con un valor de w de 0.47 y 0.6, respectivamente.

También se han recogido las opiniones de los expertos en los diferentes apartados de la valoración a través de preguntas abiertas. Estas aportaciones han sido trasladadas a una hoja de Excel y se han tenido en cuenta para cada ítem. En la tabla 4 se muestra un resumen de estas valoraciones.

Tras el estudio riguroso de todos los ítems de la escala, sus valoraciones medias y los comentarios y sugerencias de los expertos, se han eliminado 17 variables-ítems de estudio y dos de las variables de identificación de la muestra; además, las variables se han organizado en cinco dimensiones, cada una con dos subdimensiones (tabla 5).

Análisis de validez factorial

Para averiguar si los datos recogidos a través del cuestionario poseen las características adecuadas para llevar a cabo el análisis factorial exploratorio, se han analizado el test de esfericidad de Barlett y el índice KMO (Kaiser-Meyer-Olkin). El valor de KMO es de 0.883 y la prueba de Barlett muestra un valor significativo a un valor de significación inferior a 0.001. Por tanto, ambos índices permiten continuar con el análisis.

Con el análisis factorial se pretende alcanzar los siguientes objetivos: reducir el número de variables, estudiar la dimensionalidad del cuestionario, obtener dimensiones subyacentes, comprobar el posible solapamiento entre dimensiones y, en definitiva, aportar evidencias sobre su validez de constructo. Se han realizado cuatro análisis factoriales utilizando de forma combinada modelos de factorización por componentes principales y máxima verosimilitud y modelos de rotación Varimax y Oblimin. Estos análisis permiten constatar que las soluciones ortogonales y oblicuas muestran resultados semejantes. El cuarto análisis factorial, de componentes principales y rotación Oblimin de la matriz de 27 variables-ítems originales (una vez eliminados los ítems de la dimensión 5 por problemas de fiabilidad, muy probablemente debidos a que esta dimensión mide aspectos de la organización de horarios y de aula que no dependen del docente), resultó el más ajustado en su estructura tabla 6).

Este cuarto AFE presenta una distribución de cargas factoriales que refleja adecuadamente las cuatro dimensiones principales del cuestionario original (tabla 7).

Como muestran las dos tablas anteriores, este AFE ha permitido reducir el número de variables de 27 a 23, por la falta de significatividad de las saturaciones de cuatro ítems (en algún factor). Además, ha permitido comprobar que la estructura latente se ajusta a la propuesta teórica, aunque existe una distribución de cargas factoriales ligeramente distintas respecto a las subdimensiones originales.

• D1 Elementos fundamentales de AICLE (ítems 15-23): aparece bien reflejada en la estructura latente que agrupa todas sus variables en los factores 2 y 3. Además, el resultado incluye los ítems de la subdimensión “actividades” (32, 33 y 35), junto con el ítem 38 de la D4 sobre evaluación del lenguaje en estos factores.
• D2 Metodología (ítems 24-31): incluye la subdimensión que muestra una mayor fuerza en la estructura latente, la “atención a la diversidad”, y la subdimensión “estrategias metodológicas”, ambas claramente reflejadas en los factores 1 y 5. Además, aparecen agrupados en la subdimensión “estrategias metodológicas” dos ítems de la D4 Evaluación (39 y 41).
• D3 Actividades y recursos (ítems 32-37): se refleja en el factor 6 que agrupa las variables de la subdimensión “recursos” (36, 37). Los ítems de la subdimensión “actividades” (32, 33 y 35) aparecen agrupados en los factores 2 y 3 que se corresponden con la D1. Por tanto, esta dimensión ha sido renombrada como D3 Recursos, con dos ítems sobre los recursos materiales y las TIC.
• D4 Evaluación (ítems 38-41): aparece en la solución factorial con una sola de las cuatro variables que incluye originalmente, el ítem 40, que junto con el ítem 16, permiten medir dos aspectos fundamentales de la evaluación en contextos de AICLE: el contenido, que prevalece sobre el lenguaje, y el uso combinado de estrategias de evaluación formativa y sumativa, respectivamente.

Tras el estudio de los diferentes análisis realizados, teniendo en cuenta la estructura que se muestra en el análisis factorial cuarto, se ha creado una versión final del cuestionario denominado CIPMA (Cuestionario de Integración de los Principios Metodológicos AICLE), que muestra una distribución de las variables-ítems similar a la que refleja este cuarto análisis (ver apéndice). La tabla 8 muestra la estructura del cuestionario revisada tras el cuarto AFE.

Esta estructura, que mantiene la propuesta teórica, incorpora una serie de cambios en la distribución de algunas variables en las subdimensiones y en el orden de presentación de algunas subdimensiones en la escala. Tras la validación de constructo, el CIPMA se compone de un total de 42 ítems.

Análisis de fiabilidad

Se ha empleado el coeficiente alfa de Cronbach para conocer la fiabilidad como consistencia interna del cuestionario con la muestra completa de 383 docentes. El análisis de fiabilidad de la estructura latente, formada por 23 ítems distribuidos en seis factores, que ha resultado del cuarto análisis factorial, muestra un grado de fiabilidad de la escala total elevado y satisfactorio, con un valor de α igual a 0.86. Por factores, el grado de fiabilidad es aceptable en los factores 1 (0.73), 2 (0.77) y 5 (0.76). En el factor 3, el grado es cuestionable (0.66) y en el factor 6 es pobre (0.55), pero aceptable teniendo en cuenta que este factor agrupa solo dos variables. Por último, el factor 4, también con dos variables, muestra un resultado inaceptable, con un valor de α muy inferior al resto de factores (0.21). Esto es debido a que uno de los ítems, el 16, tiene un índice de homogeneidad que, aunque es positivo, es menor de 0.20 (0.04). A pesar de este resultado es importante mantener este ítem en la escala para poder conservar la dimensión sobre evaluación. Por otro lado, su eliminación de la escala no implica una mejora notable del grado de fiabilidad total de las 23 variables, con un valor de α de 0.86 con este ítem y 0.87 sin él.

Análisis de validez criterial

Se han introducido tres ítems criterio (IC) al final de la escala para determinar el grado de validez convergente criterial, que avala la utilidad del instrumento para medir el nivel de integración de los principios metodológicos AICLE en los estilos de programación. Los dos primeros ítems permiten valorar el ámbito de la planificación docente como recurso indispensable para el desarrollo de estrategias metodológicas eficientes y eficaces basadas en el enfoque AICLE. El tercero permite conocer la percepción personal de los encuestados sobre su competencia general en este enfoque. Los resultados se muestran en la tabla 9 (correlaciones tipo Pearson).

Los resultados muestran que existe una correlación lineal estadísticamente significativa entre la puntuación total de la suma de los seis factores y los tres ítems-criterio, siendo mayores las correlaciones con el ítem-criterio 1 y 3. Por factores, las correlaciones son también significativas con los ítems criterio 1 y 3 en todos los casos. Con el ítem-criterio 2, los factores 2 y 5 no muestran valores significativos.

Conclusiones, limitaciones y prospectiva

El CIPMA es un cuestionario fruto de un riguroso proceso de construcción y validación. Es un instrumento válido y fiable para ser utilizado en otros contextos, con otras muestras, para medir necesidades concretas, relativas a la formación y capacitación docente para programar lecciones de AICLE. Esta estrategia de medir la competencia y diagnosticar las necesidades permite a la administración y a los propios docentes decidir, con un criterio objetivo, la formación que mejor se ajusta a sus necesidades reales. Esto es necesario porque existe una gran heterogeneidad en el perfil de competencia AICLE y es posible porque la estructura del CIPMA, dividido en cuatro dimensiones, permite identificar las fortalezas y debilidades a la hora de programar bajo este enfoque. Se puede afirmar, por tanto, que se ha construido un instrumento de evaluación de los niveles de integración de los principios metodológicos AICLE en el estilo de programación docente.

Con ello se pretende dar respuesta a las deficiencias señaladas por numerosos autores tanto en la formación inicial como permanente del profesorado AICLE (Banegas, 2012Banegas, D. L. (2012). CLIL teacher development: challenges and experiences. Latin American Journal of Content & Language Integrated Learning, 5(1), 46-56. doi: https://doi.org/10.5294/laclil.2012.5.1.4, 2015Banegas, D. L. (2015). Sharing views of CLIL lesson planning in language teacher education. Latin American Journal of Content and Language Integrated Learning, 8(2), 104-130. doi: 10.5294/laclil.2015.8.2.3; Coyle, Hood y Marsh, 2010Coyle, D., Hood, P. y Marsh, D. (2010). CLIL – Content and Language Integrated Learning. Cambridge: Cambridge University Press.; Escobar, 2011Escobar, C. (2011). Colaboración interdisciplinar, partenariado y centros de formación docente: tres ejes para sustentar la colaboración del profesorado AICLE. En C. Escobar Urmeneta y L. Nussbaum (eds.), Learning through another language. Bellaterra: Servei de Publicacions de la Universitat Autònoma de Barcelona.; Jover, Fleta y González, 2016Jover, G., Fleta, T. y González, R. (2016). La formación inicial de los maestros de Educación Primaria en el contexto de la enseñanza bilingüe en lengua extranjera. Bordón, Revista de Pedagogía, 68(2), 121-135. doi: https://doi.org/10.13042/Bordon.2016.68208; Lancaster, 2016Lancaster, N. K. (2016). The Effects of Content and Language Integrated Learning on the Oral Skills of Compulsory Secondary Education Students: A Longitudinal Study (tesis doctoral). Universidad de Jaén, Jaén. ; Madrid y Pérez Cañado, 2012Madrid, D. y Pérez Cañado, M. L. (2012). CLIL Teacher Training. En J. de D. Martínez Agudo (ed.), Teaching and Learning English through Bilingual Education. Newcastle upon Tyne: Cambridge Scholars. ; Marsh y Langé, 2000Marsh, D. y Langé, G. (eds.) (2000). Using languages to learn and learning to use languages. Finlandia: University of Jyväskylä.; Mehisto, Marsh y Frigols, 2008Mehisto, P., Marsh, D. y Frigols, M. J. (2008). Uncovering CLIL: Content and language integrated learning in bilingual and multilingual education. Oxford: Macmillan Education.; Navés y Victori, 2010Navés, T. y Victori, M. (2010). CLIL in Catalonia: an overview of research studies. En D. Lasagabaster y Y. Ruiz de Zarobe (eds.), CLIL in Spain: Implementation, Results and Teacher Training (pp. 30-55). Newcastle: Cambridge Scholars Publishing.; Pérez Cañado, 2014Pérez Cañado, M. L. (2014). Teacher training needs for bilingual education: in-service teacher perceptions. International Journal of Bilingual Education and Bilingualism, 19(3), 266-295., 2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238). Valga como ejemplo que el 50% de la muestra del estudio manifiesta no haber recibido formación en AICLE ni antes ni después de la habilitación, a pesar de que la Comunidad de Madrid diseña anualmente un plan de formación en lengua extranjera de gran calidad, cuyo impacto sobre la población de docentes habilitados es insuficiente. Como afirma Morton (2016Morton, T. (2016). Conceptualizing and investigating teachers’ knowledge for integrating content and language in content-based instruction. Journal of Immersion and Content-Based Language Education, 4(2), 144-167. doi: https://doi.org/10.1075/jicb.4.2.01), esta falta manifiesta de conocimiento del contenido pedagógico de la metodología bilingüe es uno de los desafíos más importantes que se deben afrontar en estos programas de educación lingüística basada en el contenido, especialmente en poblaciones que manifiestan un perfil competencial tan heterogéneo. Pero a pesar de ello, en la mayoría de programas bilingües la formación en AICLE tiene un carácter predominantemente voluntario, las acciones formativas diseñadas no siempre tienen el impacto esperado en la experiencia de los docentes (Pérez Cañado, 2016Pérez Cañado, M. L. (2016). Evaluating CLIL Programmes: Instrument Design and Validation. Pulso. Revista de educación, 39, 79-112.) y, además, la falta de conocimiento del contenido pedagógico de la metodología bilingüe es percibida incluso por los propios docentes (Herrero, 2015Herrero Rámila, C. (2015). El programa de colegios bilingües de la Comunidad de Madrid. Un análisis del proceso de cambio ocurrido a través de sus profesores (tesis doctoral). Universidad Autónoma de Madrid, Madrid.).

Asimismo, la estrategia planteada de medir la competencia para programar AICLE con el objetivo de diagnosticar necesidades de formación permite abrir nuevas vías de evaluación de la calidad de los programas bilingües, centradas en su desarrollo y no exclusivamente en los resultados académicos de los estudiantes. Pérez Cañado (2016Pérez Cañado, M. L. (2016). Evaluating CLIL Programmes: Instrument Design and Validation. Pulso. Revista de educación, 39, 79-112.) señala que lamentablemente las investigaciones sobre la competencia docente en AICLE no han sido ni lo numerosas, ni lo fiables que sería deseable. Por ello, el estudio objetivo del perfil competencial del docente habilitado para programar lecciones bajo este enfoque es urgente y necesario para diseñar planes de formación que ayuden a homogeneizar el nivel de competencia en este ámbito y garantizar la sostenibilidad de estos programas a largo plazo (Coyle, 2011Coyle, D. (2011). Setting the CLIL agenda for successful learning: what pupils have to say. En II Congreso Internacional de Enseñanza Bilingüe en Centros Educativos. Madrid: Universidad Rey Juan Carlos.; Pérez Cañado, 2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238).

En este sentido, el cuestionario validado ha permitido obtener resultados que permiten identificar los factores que influyen en el nivel de integración de los principios metodológicos AICLE en el estilo de programación docente (Custodio Espinar, 2019Custodio Espinar, M. (2019). Los principios metodológicos AICLE (aprendizaje integrado de contenido y lengua). Madrid: Fundación Universitaria Española. ). Dichos resultados muestran diferencias estadísticamente significativas entre los docentes que se han habilitado con y sin formación metodológica previa, a favor de los primeros. Asimismo, el cuestionario ha demostrado que existe una relación directa entre el nivel de competencia en la lengua extranjera del docente y su competencia para programar AICLE (Custodio Espinar, 2019Custodio Espinar, M. (2019). Los principios metodológicos AICLE (aprendizaje integrado de contenido y lengua). Madrid: Fundación Universitaria Española. ). Ambos resultados confirman la necesidad de habilitar a los docentes con el doble criterio de la competencia lingüística y metodológica para garantizar una mayor homogeneidad en la competencia docente para programar AICLE y, por tanto, la necesidad de utilizar instrumentos como el que se presenta en este trabajo para estudiar cuáles son estas diferencias.

Autores como Bertaux et al. (2010Bertaux, P., Coonan, C. M., Frigols-Martín, M. J. y Mehisto, P. (2010). The CLIL teacher’s competences grid. Common Constitution and Language Learning (CCLL) Comenius Network. ), Madrid y Madrid (2014Madrid Manrique, M. y Madrid Fernández, D. (2014). La formación inicial del profesorado para la educación bilingüe. Granada: Universidad de Granada.), Marsh et al. (2010Marsh, D., Mehisto, P., Wolff, D. y Frigols, M. J. (2010). European Framework for CLIL Teacher Education: A framework for the professional development of CLIL teachers. Graz: European Centre for Modern Languages. ) o Pavón y Ellison (2013Pavón Vázquez, V. y Ellison, M. (2013). Examining teacher roles and competences in Content and Language Integrated Learning (CLIL). Linguarum Arena, 4, 65-78.) han analizado las competencias necesarias en el perfil de formación del docente AICLE. Según Pérez Cañado (2018Pérez Cañado, M. L. (2018). Innovations and Challenges in CLIL Teacher Training. Theory into Practice, 57(3), 1-10. doi: https://doi.org/10.1080/00405841.2018.1492238), estas competencias son: la competencia pedagógica y científica sobre los principios metodológicos del enfoque AICLE; la organizativa, la interpersonal y la colaborativa, necesarias para generar una trama de relaciones socioafectivas y laborales adecuadas para afrontar el reto que supone el AICLE; o la competencia para la reflexión y el desarrollo personal que, junto con la competencia lingüística conforman el perfil competencial del docente AICLE. Por tanto, es fundamental identificar las carencias que los modelos de habilitación basados solo en el criterio de la competencia lingüística están generando.

Como prospectiva de esta investigación, se recomienda introducir cuestionarios para los alumnos, del tipo utilizado por Lancaster (2016Lancaster, N. K. (2016). The Effects of Content and Language Integrated Learning on the Oral Skills of Compulsory Secondary Education Students: A Longitudinal Study (tesis doctoral). Universidad de Jaén, Jaén. ) y Pérez Cañado (2015Pérez Cañado, M. L. (2015). Training teachers for plurilingual education: A Spanish case study. En D. Marsh, M. L. Pérez Cañado y J. Ráez Padilla (eds.), CLIL in Action: Voices from the Classroom, (pp. 165-187). Newcastle upon Tyne: Cambridge Scholars Publishing., 2016Pérez Cañado, M. L. (2016). Evaluating CLIL Programmes: Instrument Design and Validation. Pulso. Revista de educación, 39, 79-112.) para reducir el posible efecto de la deseabilidad social asociado a este tipo de escalas de autopercepción. Desde el punto de vista metodológico, para mejorar la interpretación de los datos obtenidos mediante la escala, se pueden incluir técnicas de análisis cualitativo de la información recogida a través de entrevistas. Por último, desde el punto de vista de la muestra, sería muy interesante incluir docentes que imparten AICLE en otros idiomas como el alemán o el francés.

Con respecto a las limitaciones del modelo factorial cabe destacar que tan solo explica el 53% de la varianza. Otro trabajo prospectivo que queda abierto, con relación a la validez de constructo, es la realización de un análisis factorial confirmatorio (AFC) que corrobore los datos presentados en este artículo.

Entre los múltiples usos del CIPMA cabe destacar los siguientes:

• Identificar perfiles de alumnos en grados y másteres de enseñanza bilingüe para comparar entre universidades, en contextos regionales, nacionales o internacionales.
• Investigar la relación escuela-universidad, vinculando la formación académica a la experiencia docente mediante la promoción de colaboraciones entre universidades y centros.
• Desarrollar la competencia de la investigación-acción en el aula.
• Conocer las demandas reales del aula AICLE y trasladarlas a los planes de formación de los grados de educación.
• Comparar los perfiles de competencia para programar AICLE entre docentes de diferentes programas.

Por último, se debe continuar investigando sobre la idoneidad de acciones formativas concretas, su capacidad de transferencia a las aulas y su impacto en la competencia docente en aspectos concretos, como la competencia docente “para programar lecciones de AICLE”. El reto es desarrollar programas de formación inicial y permanente que den una respuesta eficiente a las necesidades de formación de los diferentes perfiles de docentes que enseñan AICLE. Para ello, es imprescindible poder medir, a través de cuestionarios fiables, su nivel de competencia metodológica para programar lecciones AICLE y diagnosticar sus necesidades de formación. El CIPMA puede ser un instrumento muy útil en todas estas investigaciones.

Referencias bibliográficas

Apéndice

Abstract

Measuring teachers’ competence to plan CLIL; a diagnosis of teachers’ training needs

INTRODUCTION. In a context of remarkable heterogeneity in the training received to teach CLIL, this article presents the process of design and validation of a questionnaire that aims to measure the level of integration of the CLIL methodological principles in the programming styles of qualified/accredited teachers in bilingual schools. METHOD. The objective is to measure teachers’ competence to program CLIL and diagnose the areas that require training. In order to do that, it has been necessary to define what “CLIL programming” involves based on a CLIL lesson plan model that integrates the core methodological principles of this approach. This has served to design the initial structure of the questionnaire that was submitted to validation by experts. The validation process allowed reducing the number of items and improving their clarity, precision and relevance. The resulting questionnaire was applied to a stratified random sample of 383 teachers, from 47 bilingual primary and secondary schools, distributed in the five administrative districts in which the Community of Madrid is organised. RESULTS. The analyses have shown that the questionnaire is a reliable and valid tool to collect the information sought and has allowed the designing of a final version of the questionnaire named CIPMA (Cuestionario de Integración de los Principios Metodológicos AICLE). DISCUSSION. All this leads to the conclusion that CIPMA is a validated questionnaire ready to be applied in other contexts (with other samples) in order to measure teachers’ competence to plan CLIL lessons and to diagnose their training needs. This strategy of measuring teachers’ competence and diagnosing specific teachers’ training needs can contribute to a greater homogenization of the teaching competence to program CLIL lessons in bilingual schools.

Keywords: CLIL lesson plan, Preservice teacher education, Inservice teacher education, Questionnaires, CLIL teacher competences, Teacher training needs.

Résumé

Mesure du niveau d’intégration des programmes EMILE pour l’apprentissage des langues vivantes étrangères et diagnostic des besoins de formation des enseignants

INTRODUCTION. Dans un contexte de formation très hétérogène formation reçue des méthodes EMILE pour l’apprentissage intégré d’un matière dans des langues et contenus en langues vivantes étrangères, cet article présente le processus de conception et validation d'un instrument permettant de mesurer le niveau d'intégration des principes méthodologiques de l'EMILE dans la programmation des séquences des enseignants qualifiés et accrédités des centres bilingues. MÉTHODE. L'objectif est de valider un outil permettant de mesurer les compétences pédagogiques pour designer des séquences EMILE et de diagnostiquer les besoins de formation. Pour cela, il a été nécessaire de définir le concept de «programmation EMILE» basé sur un modèle de programmation intégrant les principes fondamentaux de l'approche. Cette construction a permis de concevoir la structure initiale du questionnaire. Cette première version a fait l'objet d'une validation par des experts, ce qui a permis de réduire le nombre d’items et d'améliorer leur précision et leur pertinence. Le questionnaire ainsi obtenu a été appliqué à un échantillon aléatoire stratifié de 383 enseignants provenants de 47 écoles primaires et secondaires bilingues, répartis dans les cinq Zones Territoriales Délimitées (‘Direcciones de Área Territorial’) de la Communauté de Madrid. RESULTATS. Les analyses effectuées ont montré que le questionnaire est un outil fiable et valable pour collecter des informations sur la construction théorique qu’il mesure et il a permis la conception d’une version finale du questionnaire appelée CIPMA (questionnaire pour l’intégration des principes méthodologiques EMILE). DISCUSSION. Tout cela nous permet de conclure que CIPMA est un questionnaire validé et prêt à être appliqué dans d’autres contextes, avec d’autres échantillons, en vue de mesurer la compétence des enseignants qualifiés pour programmer des séquences EMILE et pour diagnostiquer leurs besoins de formation. Cette stratégie pour mesurer les compétences et le diagnostic des besoins de formation spécifiques peut contribuer à une plus grande homogénéisation des compétences pédagogiques lors de la programmation des cours EMILE dans les centres bilingues.

Mots-clés: Programmation EMILE, Formation initiale, Formation permanente, Questionnaires, Compétences des enseignants EMILE, Besoins de formation des enseignants.

Perfil profesional de los autores

Magdalena Custodio Espinar (autora de contacto)

Profesora asociada doctora. Doctora cum laude en Educación de la Universidad Complutense de Madrid, maestra diplomada con Premio Extraordinario por esta misma universidad, graduada en Educación Primaria por la Universidad Camilo José Cela (UCJC), máster en Gestión y Dirección de Centros Educativos por la UNIR y máster en ELE (enseñanza del español como lengua extranjera) por la UCJC. Tras casi 20 años en el aula de primaria como maestra funcionaria de carrera, teacher trainer, autora de materiales de EFL (English as a foreign language) y como asesora técnica docente en la Consejería de Educación, actualmente es profesora en la Facultad de Educación de la Universidad Pontificia Comillas e investiga sobre los modelos de programación didáctica AICLE (aprendizaje integrado de contenido y lengua) y la formación docente.

Correo electrónico de contacto: mcustodio@comillas.edu

Dirección para la correspondencia: Facultad de Educación, Calle Universidad Comillas, 3-5. 28049 Madrid.

José Manuel García Ramos

Catedrático de Universidad. Doctor en Filosofía y Ciencias de la Educación de la Universidad Complutense de Madrid (UCM). Catedrático de universidad en el Departamento de Métodos de Investigación y Diagnóstico en Educación de la UCM. Dos veces galardonado con el Premio Nacional de Investigación Educativa (1986 y 1996) por el Ministerio de Educación y Ciencia. Con casi cuarenta años de docencia universitaria, ha participado en múltiples responsabilidades de dirección y gestión universitarias (entre otras, rector-director de la Universidad Francisco de Vitoria en sus primeros diez años, como centro adscrito a la UCM, y director del Instituto de Investigaciones Económicas y Sociales). Ha publicado ocho libros y más de ochenta artículos en revistas científicas de educación, españolas y extranjeras. Es miembro del comité científico de media docena de revistas de investigación españolas y extranjeras, así como de numerosas sociedades científicas, educativas y universitarias.

Correo electrónico de contacto: jmgramos@ccedu.ucm.es