Competencia digital docente en el uso
de simulaciones virtuales: percepción del profesorado de áreas STEM
Teacher digital competence in the use of virtual
simulations: STEM teachers' perception
Dr. Daniel
Moreno-Mediavilla. Profesor contratado doctor. Universidad Internacional
de la Rioja (UNIR). La Rioja, España
Dra. Alicia
Palacios. Profesora contratada doctora. Universidad
Internacional de la Rioja (UNIR). La Rioja, España
Dra. Rosa
Gómez del Amo. Profesora ayudante doctora. Universidad
Internacional de la Rioja (UNIR). La Rioja, España
Dr. Álvaro
Barreras-Peral. Profesor contratado doctor. Universidad
Internacional de la Rioja (UNIR). La Rioja, España
Recibido:
XXXX/XX/XX Revisado XXXX/XX/XX Aceptado: XXXX/XX/XX Preprint: XXXX/XX/XX Publicado: XXXX/XX/XX
Cómo citar este artículo:
Moreno-Mediavilla, D., Palacios-Ortega, A., Gómez
del Amo, R., & Barreras-Peral, A. (2023). Competencia digital docente en el
uso de simulaciones virtuales: percepción del profesorado de áreas STEM [Teacher digital competence in the use of virtual simulations: STEM teachers' perception]. Pixel-Bit. Revista de
Medios y Educación, 68, 83-113. https://doi.org/10.12795/pixelbit.98768
RESUMEN
La competencia digital docente y su perfeccionamiento cobran
un papel destacado en el contexto educativo actual. En las áreas STEM, uno de
los principales recursos digitales para promover eficazmente el conocimiento de
las ciencias y desarrollar habilidades de indagación son las simulaciones
virtuales, cobrando gran importancia el papel del docente en su uso eficiente
en el aula. El objetivo de este trabajo es determinar la percepción de la
competencia digital docente en el uso de simulaciones virtuales, así como
analizar posibles diferencias frente a variables sociodemográficas, de uso y de
formación. Se ha realizado un estudio cuantitativo mediante análisis
descriptivo, correlacional y asociativo, con 500 docentes de áreas STEM de
Educación Secundaria. Los resultados apuntan a una autopercepción media en las
diferentes dimensiones de la competencia. No se obtienen diferencias
significativas en genero, edad, años de experiencia
docente, ni formación recibida, pero sí respecto al área de conocimiento en la
que imparte clase, a la frecuencia de uso de esta tecnología en sus clases y a
la necesidad de formación percibida. Se concluye que existe una necesidad de
formación importante en el uso de simulaciones virtuales, destacando
principalmente la formación en la búsqueda y selección de simulaciones
adecuadas.
ABSTRACT
Teacher digital competence and
its improvement play a prominent role in the current educational context.
Virtual simulations are one of the main digital resources for effectively
learning science and developing inquiry skills in STEM areas, being essential
the role of the teacher in their efficient use in the classroom. The objectives
of this work are to measure the perception of teaching digital competence in
the use of virtual simulations, as well as to analyze the results based on
sociodemographic, use and training variables. A quantitative study has been
carried out through descriptive, correlational and
associative analysis, with 500 STEAM teachers of Secondary Education. The
results show an average self-perception value in the different dimensions of
the competence. No significant differences were found in gender, age, years of
teaching experience, or training received, but there were differences regarding
their knowledge area, the frequency of use of virtual simulations in class, and
the perceived need for training. It is concluded that there is a need for
significant training in the use of virtual simulations, mainly highlighting
training in the search and selection of appropriate simulations.
PALABRAS CLAVES· KEYWORDS
Formación de docentes, tecnología educacional,
enseñanza de las ciencias, competencias del docente, enseñanza secundaria.
Teacher education, educational technology, science
education, teacher qualifications, secondary education.
1. Introducción
La implantación de las Tecnologías de la Información y
la Comunicación (TIC) en el ámbito educativo ha sufrido una evolución
importante en los últimos años, recibiendo el apoyo de la Comisión Europea a
través de la Agenda Digital (Brevik et al., 2019).
Sin embargo, el uso eficaz de las tecnologías no es sencillo, e implica que los
docentes adquieran un conjunto de habilidades prácticas, conocimientos,
actitudes y destrezas (Bai et al., 2019), englobadas en la definición de
Competencia Digital Docente (CDD) (Rodríguez-García et al., 2019). El
desarrollo de esta competencia abarca principalmente los conocimientos y
capacidades técnicas en el uso de herramientas digitales y cómo estas pueden
ser usadas en el aula, incluyendo la planificación didáctica, curricular y
metodológica (Falloon, 2020; Verdú-Pina et al.,
2023). Algunas definiciones actuales incluyen además aspectos legales, éticos y
de seguridad relacionados con las tecnologías (INTEF, 2017; Redecker
& Punie, 2017), así como la comprensión del papel
de las TIC en la sociedad, construyendo una actitud equilibrada, fluida y
madura hacia la tecnología (Engen, 2019; Falloon, 2020). La mayor parte de estas dimensiones están
incluidas en el marco de referencia europeo DIGCOMP-Edu (Redecker
& Punie, 2017) así como en el marco de referencia
estatal (INTEF, 2017), pero es conveniente destacar que la definición de
competencia digital docente no está cerrada, siendo ampliable o modificable en
función de las necesidades y la evolución de las propias tecnologías y de su
relación con la sociedad.
En la enseñanza de las ciencias experimentales, el
trabajo práctico es algo imprescindible para desarrollar las competencias STEM
(Science, Technology,
Engineering, Mathematics)
La posibilidad de obtener el máximo beneficio de estos
recursos va a estar directamente vinculado a la CDD (INTEF, 2017; Tourón et al., 2018) del profesorado en el uso
concreto de simulaciones y laboratorios virtuales. Para determinar esta
competencia se ha utilizado el cuestionario CDUSV, que analiza la percepción
del docente de Educación Secundaria de áreas STEM sobre su competencia digital
en el uso de simulaciones virtuales (Gómez et al., 2022).
El cuestionario CDUSV plantea 4 dimensiones derivadas
del marco de referencia de la competencia digital docente (INTEF, 2017), los
principios del modelo TPACK (Technological Pedagogical Content Knowledge)
en cuanto a la importancia de la integración de la tecnología en el proceso
didáctico para el éxito de su aplicación (Cabero-Almenara et al., 2020; Koehler
& Mishra, 2008), así como a lo publicado sobre el uso de simulaciones
virtuales en las aulas (Lee et al., 2021; Rutten et
al., 2012; Smetana & Bell, 2014). Entre las
cuatro dimensiones se define el “Desarrollo de la práctica docente (D1)” como
el papel del profesor al desarrollar su trabajo docente en el aula a través de
simulaciones virtuales e incluye el conocimiento sobre la materia, como definen
Con
esta finalidad, se plantearon los siguientes objetivos:
1.
Analizar la percepción de la competencia digital docente en el uso de
simulaciones virtuales en el profesorado de áreas STEM.
2. Determinar la relación
entre las variables sociodemográficas y laborales, frecuencia de uso y la
formación de los docentes y la competencia digital autopercibida en el uso de
simulaciones virtuales.
2. Metodología
2.1. Diseño de la investigación
Esta investigación evalúa la autopercepción de las competencias
del profesorado de Educación Secundaria de áreas STEM en el uso de las
simulaciones virtuales. Se diseña un estudio de corte cuantitativo, no
experimental, de tipo descriptivo, asociativo y correlacional, con un diseño
transversal.
2.2. Muestra
La muestra que forma parte del estudio, obtenida
mediante un muestreo no probabilístico casual, está formada por 500 docentes de
Educación Secundaria. Esta muestra abarca a docentes de todas las Comunidades
Autónomas de España, siendo mayoritario el profesorado procedente de la
Comunidad Valenciana (20.6%), Región de Murcia (13.2%) y Andalucía (11.2%). Los
centros en los que ejercen su labor docente son centros públicos (82.4%),
concertados (14.8%) y privados (2.8%) y pertenecen a zonas urbanas (74%) y a zonas
rurales (26%).
Esta muestra se
considera adecuada para la población de estudio ya que, aunque no se ha
realizado un muestreo probabilístico, con una población superior a 5000
individuos, un tamaño muestral de 400 participantes resulta pertinente según
Cardona (2002).
2.3 Instrumento y procedimiento de recogida de datos
El cuestionario utilizado (CDUSV) está formado por 26
ítems que evalúan la autopercepción de la competencia digital docente en el uso
de simulaciones virtuales, con una escala tipo
Likert del 1 a 5 (enlace al cuestionario). Además, consta de varias preguntas
sociodemográficas y laborales (género, edad, años de experiencia docente, área
en la que se imparte clase, tipo de centro...) y otras cuestiones para conocer
la frecuencia de uso y la formación recibida sobre simulaciones virtuales.
El CDUSV es un instrumento validado (Gómez et al.,
2022) compuesto por cuatro dimensiones: Desarrollo de la práctica docente (D1);
Planificación didáctica (D2); Autorreflexión de la práctica docente (D3) y
Facilidad de uso de simulaciones virtuales (D4). Se justifica la validez de
dichas dimensiones por los siguientes índices de verificación del ajuste: el
índice GFI obtenido es .990, lo que indica un buen ajuste del modelo al ser
superior a .950. El coeficiente NNFI obtenido es .963, considerándose este un
valor satisfactorio (Ferrando & Anguiano-Carrasco, 2010). Por otro lado, el
RMCR es .039, inferior al valor límite de .050 y al criterio recomendado de
Kelley (1935), que para estos datos es .055, por lo que los valores residuales
observados son muy cercanos a cero. Finalmente, el índice RMSEA, que estima el
error de aproximación del modelo propuesto, tuvo un valor de .066, lo que
indica un ajuste admisible (Lloret-Segura et al., 2014).
Para asegurar la consistencia interna de este
instrumento, en la muestra de docentes de este estudio, se calculó su
fiabilidad mediante el coeficiente Alfa de Cronbach: α(D1)=.86;
α(D2)=.84; α(D3)=.84 y α(D4)=.71. La fiabilidad de los cuatro
factores presenta puntuaciones superiores a .70 lo que, según Cohen et al.
(2006), le otorga una fiabilidad alta a los factores que componen este
instrumento. Por otro lado, el índice α de Cronbach global de este
instrumento es de α=.92, lo que indica una fiabilidad muy alta (O’Dwyer
& Bernauer, 2014).
Este cuestionario fue enviado manualmente por correo
electrónico a 6700 centros educativos públicos, concertados y privados de
España y estuvo abierto desde la segunda quincena de enero al mes de mayo de
2022. En todo momento se ha asegurado el anonimato de los participantes.
2.4. Análisis de datos
Los datos recopilados fueron analizados usando Excel,
SPSS 25 y Jamovi 2.3.21. En primer lugar, se invirtieron los ítems D4.4 y D4.7
(descritos en sentido negativo) para que fueran en el mismo sentido que el
resto de ítems de la dimensión.
A continuación, se descartó la existencia de casos
perdidos y se determinó la existencia de datos atípicos para cada dimensión
mediante el test de Bonferroni (De Carlo, 1997). La eliminación de los datos
atípicos de cada dimensión produjo una pérdida de muestra menor al 1%. Para
comprobar la normalidad de la muestra, se llevó a cabo el análisis de
Kolmogorov-Smirnov para cada ítem, así como el test multivariado de asimetría y
curtosis de Mardia (1970). Los resultados obtenidos (p<.001) indican
que los datos no siguen una distribución normal (George & Mallery, 2001) y,
por lo tanto, se debe usar estadística no paramétrica para el análisis
inferencial.
A partir de este análisis inicial, se desarrolló el
análisis descriptivo de los ítems y de las dimensiones, obteniéndose el valor
de cada dimensión a partir de la media de los ítems que las integran. Además,
se calculó la correlación de Spearman para muestras no paramétricas entre las
cuatro dimensiones de estudio.
El análisis inferencial de contraste se realizó
mediante la prueba U de Mann-Whitney, en el caso de las variables
dicotómicas, y la prueba H de Kruskal-Wallis con el resto de variables.
Estas pruebas contrastan la hipótesis de igualdad entre grupos. Además, tras la
prueba de Kruskal-Wallis se ha obtenido el análisis de datos por parejas
mediante la prueba de Dwass-Steel-Critchlow-Fligner. El valor de
significatividad para los análisis realizados en este estudio se estableció en
.05.
Para calcular el tamaño del efecto de los datos
significativos encontrados, se ha obtenido el estadístico d Cohen
a partir de los resultados del test de Kruskal-Wallis (Cohen, 2008; Fritz et
al., 2012, p. 12; Lenhard & Lenhard, 2016). Según Cohen (1988),
valores de la d Cohen inferiores a .20 señalan la no
existencia de efecto; valores entre .21 a .49 hacen referencia a un efecto
pequeño; así mismo, valores oscilantes entre .50 a .79 indican un efecto
moderado; finalmente, valores mayores a .80 señalan un efecto grande. Por otro
lado, teniendo en cuenta los estudios de Hattie (2009) sobre la
reinterpretación de los tamaños del efecto en educación, valores de d Cohen
por debajo de .20 se consideran efectos muy bajos, entre .20 y .39 son
considerados efectos bajos o “efecto del docente” y a partir de .4 se
consideran efectos deseados.
3. Análisis y
resultados
3.1. Caracterización de la
muestra
La muestra que forma parte de este estudio está
compuesta por 500 docentes que imparten clases de Matemáticas (22%), Física y
Química (28%), Biología y Geología (13.6%), Tecnología (13.2%) o en varias de
estas asignaturas (23.2%). Un 20.8% cuenta con menos de 5 años de experiencia,
un 18.2% entre 5 y 10 años, un 23.4% entre 11 y 20 y, por último, un 37.6%
tiene más de 20 años de experiencia docente.
En lo que respecta a la edad, un 6.6% tiene menos de
31 años, un 20.6% entre 31 y 40, un 37% tiene entre 41 y 50, un 33% entre 51 y
60 y, finalmente, un 2.8% tiene más de 60 años. Además, un 62% son mujeres y un
37.8% son hombres.
El profesorado que forma parte de esta investigación
ha utilizado alguna vez las simulaciones virtuales, pero en lo que respecta a
la frecuencia de uso presentan diferencias: un 3.6% no las utilizan nunca, un
61% del profesorado las utilizan de manera esporádica y un 35.4% las emplean
habitualmente. Además, sólo un 22.8% de la muestra ha recibido alguna formación
sobre simulaciones virtuales, lo que explica que un 51.9% del profesorado
considere muy necesario y un 27.7% considere necesario recibir formación para
aprovechar las posibilidades didácticas de estas herramientas. Además, un 48.1%
y un 28.7% considera muy necesario y necesario, respectivamente, recibir
formación sobre cómo integrar simulaciones virtuales en el aula. Relacionado
con lo anterior, un 53.7% y un 29.5% considera muy necesario y necesario
recibir información sobre la búsqueda y selección de simulaciones virtuales.
3.2. Competencia digital autopercibida por los docentes
En primer lugar, se realiza un análisis descriptivo de
la muestra (N=500) (ver Tabla 1). Estos resultados se presentan en función de
las dimensiones que componen el cuestionario CDUSV. Se han calculado los
promedios de los resultados para cada participante con el objetivo de obtener
una escala común a todas las dimensiones y, así, realizar comparaciones entre
las mismas. Este hecho explica la aparición de resultados decimales en la
mediana, la moda y en el mínimo de algunas dimensiones. Además, en lo que respecta
a la media, con la finalidad de interpretar el nivel de competencia digital
docente autopercibida en el uso de las simulaciones virtuales, se ha
establecido la siguiente catergorización: nivel bajo [1, 3); nivel medio [3,
4); y nivel alto [4, 5]. Como se observa en la Tabla 1, la media obtenida en
cada una de las dimensiones es superior a los 3 puntos (nivel medio de
competencia autopercibida), con una escasa desviación por debajo de los .85
puntos en cada caso. Destaca la autorreflexión de la práctica docente (D3) con
valores de media y mediana por encima del resto de dimensiones, y la
planificación didáctica (D2) con el valor de media más bajo.
Tabla 1
Análisis descriptivo de cada dimensión
|
Desarrollo práctica docente (D1) |
Planificación didáctica (D2) |
Autorreflexión (D3) |
Facilidad de uso (D4) |
|
|
N |
497 |
499 |
499 |
500 |
|
Media |
3.5677 |
3.2779 |
3.9145 |
3.408 |
|
Mediana |
3.5714 |
3.3333 |
4 |
3.3333 |
|
Moda |
3.86 |
3.83 |
4a |
3.33 |
|
Desviación estándar |
.7152 |
.8363 |
.7293 |
.6215 |
|
Mínimo |
1 |
1 |
1.17 |
1.5 |
|
Máximo |
5 |
5 |
5 |
5 |
a Existen múltiples modas. Se
muestra el valor más pequeño.
Además, la Tabla 2 muestra la correlación (r de Spearman) entre las
diferentes dimensiones. Cabe resaltar que se evidencia una correlación
significativa entre todas las dimensiones. Sin embargo, la correlación
(directa) más alta se halla entre la planificación didáctica (D2) y la
autorreflexión de la práctica docente (D3). En cambio, el desarrollo de la
práctica docente (D1) es la que menos se correlaciona con el resto.
Tabla 2
Correlación entre las dimensiones
|
D1 |
D2 |
D3 |
D4 |
|
|
D1 |
1 |
|
|
|
|
D2 |
.246* |
1 |
|
|
|
D3 |
.327* |
.554* |
1 |
|
|
D4 |
.201* |
.475* |
.487* |
1 |
* La correlación es significativa en el nivel .01 (bilateral)
Por otro lado, al analizar
los valores medios de cada una de las preguntas (Figura 1), se observa que los
ítems asociados a la planificación didáctica (D2) se sitúan por debajo de la
media global (3.55), mientras que la autorreflexión en la práctica docente (D3)
está, en general, por encima de la media global. Cabe destacar un ítem con un
nivel de competencia bajo (<3): los docentes encuentran bastantes
dificultades a la hora de seleccionar la simulación virtual adecuada (ítem
D4.4, con 2.84 de media); y dos ítems con un nivel de competencia alto (>4):
la mayoría de los docentes exploran las posibilidades de las simulaciones
virtuales antes de emplearlas con los estudiantes (ítem D3.1. con 4.21 de
media) y, además, tienen en cuenta las características de los estudiantes a la
hora de diseñar experiencias de aprendizaje significativas empleando estas
herramientas (ítem D3.2 con 4.15 de media).
Figura 1
Valores medios de todos los ítems
3.3. Diferencias en la
percepción de la competencia docente en relación con las variables estudiadas
Para identificar aquellos
ítems con diferencias estadísticamente significativas respecto a las variables
consideradas en el estudio, se ha representado cada uno de ellos en función de
las diferencias encontradas en cada variable (Tabla 3). Esto permite identificar
aquellas variables que tienen más ítems con diferencias significativas.
Tabla 3
Diferencias significativas por ítem
|
|
|
Edad |
Género |
Experiencia |
Áreas impartidas |
Frecuencia uso |
Formación recibida |
Necesidad formación uso |
Necesidad formación integración |
Necesidad formación búsqueda |
|
D1 |
D1.1 |
|
|
|
|
|
|
|
|
|
|
D1.2 |
|
|
|
|
|
|
|
|
|
|
|
D1.3 |
|
|
|
|
|
|
|
|
|
|
|
D1.4 |
|
|
|
|
|
|
|
|
|
|
|
D1.5 |
|
|
|
|
|
|
|
|
|
|
|
D1.6 |
|
|
|
|
|
|
|
|
|
|
|
D1.7 |
|
|
|
|
|
|
|
|
|
|
|
D2 |
D2.1 |
|
|
|
|
|
|
|
|
|
|
D2.2 |
|
|
|
|
|
|
|
|
|
|
|
D2.3 |
|
|
|
|
|
|
|
|
|
|
|
D2.4 |
|
|
|
|
|
|
|
|
|
|
|
D2.5 |
|
|
|
|
|
|
|
|
|
|
|
D2.6 |
|
|
|
|
|
|
|
|
|
|
|
D3 |
D3.1 |
|
|
|
|
|
|
|
|
|
|
D3.2 |
|
|
|
|
|
|
|
|
|
|
|
D3.3 |
|
|
|
|
|
|
|
|
|
|
|
D3.4 |
|
|
|
|
|
|
|
|
|
|
|
D3.5 |
|
|
|
|
|
|
|
|
|
|
|
D3.6 |
|
|
|
|
|
|
|
|
|
|
|
D4 |
D4.1 |
|
|
|
|
|
|
|
|
|
|
D4.2 |
|
|
|
|
|
|
|
|
|
|
|
D4.3 |
|
|
|
|
|
|
|
|
|
|
|
D4.4 |
|
|
|
|
|
|
|
|
|
|
|
D4.5 |
|
|
|
|
|
|
|
|
|
|
|
D4.6 |
|
|
|
|
|
|
|
|
|
|
|
D4.7 |
|
|
|
|
|
|
|
|
|
Nota: vacío (p >= .05); 
(p < .05); 
(p < .01); 
(p < .001).
Como se observa, destacan tres
variables sobre el resto: la frecuencia de uso de simulaciones virtuales, las
áreas impartidas por los docentes y la necesidad de recibir formación en la
búsqueda de simulaciones virtuales. A continuación, se analiza cada una de
estas variables de manera detallada y se explica la ausencia de diferencias
para el resto.
3.3.1. Variables
sociodemográficas y laborales
En primer lugar, se
consideran las variables sociodemográficas y laborales de los docentes: edad,
género, años de experiencia docente y áreas en las que se imparte clase. Para
ello, se analiza si existen diferencias entre dichas variables y las dimensiones,
encontrándose únicamente diferencias significativas (p=.003) entre la
variable área en la que se imparte clase y la dimensión de facilidad de uso
(D4), con un tamaño del efecto pequeño (d Cohen=.318) (Figura
2). En
particular, los resultados de la prueba de Dwass-Steel-Critchlow-Fligner
muestran diferencias (p = .003) entre los docentes que imparten “Biología y Geología“ y los que imparten “Tecnología“; así como existen diferencias
significativas (p= .027) entre las áreas de “Física y Química“ y “Biología
y Geología“. Además, se
destaca la variable de áreas impartidas como una de las que más ítems con
diferencias significativas contiene (ver Tabla 3).
Figura 2
Áreas impartidas
Por otro lado, respecto a la
edad no se encuentran diferencias significativas en las dimensiones, pero, como
se puede observar en la Tabla 3, sí en el ítem D3.1 (p= .033). Así,
encontramos que los docentes menores de 31 años exploran menos las distintas
posibilidades que ofrecen las simulaciones virtuales antes de emplearlas con
los estudiantes que los docentes que tienen entre 51 y 60.
Es relevante que no se hayan
encontrado diferencias significativas en las dimensiones en función de los años
de experiencia docente ni respecto a su género. Respecto a los ítems, tan solo
se ha encontrado que las mujeres tienen más en cuenta las características de
sus estudiantes a la hora de diseñar experiencias de aprendizaje empleando
simulaciones virtuales (ítem D3.2) (p= .009).
3.3.2. Frecuencia de uso
En la frecuencia de uso de las simulaciones virtuales
por parte de los docentes se observan diferencias significativas en las cuatro
dimensiones. Estas diferencias (p < .001) se obtienen,
principalmente, entre los docentes que utilizan simulaciones virtuales de forma
esporádica y los que las utilizan habitualmente (Figura 3). En particular, al
considerar el desarrollo de la práctica docente (D1) el tamaño del efecto es el
deseado (d Cohen=.456) considerando la escala de Hattie
(2009). Respecto a D2 y D3, en la Figura 3 se observa una clara tendencia en
los rangos, indicando que aquellos docentes con mayor competencia en
planificación didáctica (D2) y autorreflexión (D3) son los que utilizan las
simulaciones virtuales habitualmente, obteniendo un tamaño del efecto deseado (d
Cohen=.453) y pequeño (d Cohen=.368),
respectivamente. Respecto a D4, se observa que los que más frecuencia de uso
hacen de las simulaciones, menos dificultades encuentran (D4), siendo el efecto
de estas diferencias significativas el deseado (d Cohen=.929),
según la escala de Hattie (2009) y muy alto según la escala de Cohen (1988).
Figura 3
Frecuencia de uso en las distintas dimensiones
Cabe destacar que la frecuencia de uso es la variable
en la que se encuentran un mayor número de ítems con diferencias estadísticamente
significativas (ver Tabla 3).
3.3.3. Formación
sobre simulaciones virtuales
Al analizar si existen
diferencias significativas entre las dimensiones y las variables de formación
en el uso de simulaciones, encontramos diferencias entre la D1 y la D3 y la
necesidad de recibir formación en la búsqueda y selección de simulaciones.
Al respecto, el análisis de los rangos (Figura 4)
muestra que los docentes con mayor competencia en el desarrollo de la práctica
docente (D1) son los que más necesaria ven la formación en la búsqueda y selección de simulaciones. El análisis revela
que dichas diferencias son significativas (p=.018), aunque tienen un
tamaño del efecto pequeño. Análogamente, los docentes con mayor competencia en
la planificación didáctica (D2) son los que más necesaria ven la formación,
aunque en este caso las diferencias no son significativas. Por otro lado,
aunque no existe una clara tendencia en los rangos relativos a la
autorreflexión de la práctica docente (D3), sí que se encuentran diferencias
significativas (p=.006) entre los docentes que ven necesario y
muy necesario recibir este tipo de formación (d Cohen =.292). Respecto a D4,
aunque no se observan diferencias significativas, sí se encuentran estas
diferencias en varios ítems, entre los que destaca que los docentes que conocen
diversas simulaciones virtuales son los que menos necesario ven la necesidad de
formación en la búsqueda (ítem D4.2) (p< .001; d Cohen =.369).
Figura 4
Necesidad de formación en la búsqueda y selección de simulaciones virtuales
en las distintas dimensiones
Aunque no se han observado diferencias significativas
entre las dimensiones y la variable de formación recibida, sí se observan
varios ítems con diferencias significativas. En este sentido, destaca que los docentes que no han recibido formación
previa sobre simulaciones virtuales encuentran más dificultades a la hora de
seleccionar la simulación virtual adecuada (ítem D4.4) (p<
.001; d Cohen= .253).
Por otro lado, en cuanto a la necesidad de recibir formación
para aprovechar las posibilidades didácticas de las simulaciones y a la
necesidad de recibir formación para integrarlas en el aula, no se encuentran
diferencias significativas en las dimensiones pero sí
entre varios ítems (Tabla 3).
4. Discusión y
conclusiones
La percepción de la competencia digital docente en el
uso de simulaciones virtuales analizada en este trabajo acota la CDD
(Cabero-Almenara et al., 2020; Marimon-Martí et al., 2022) a un recurso
determinado, las simulaciones virtuales. En particular, se han analizado cuatro
dimensiones de la competencia en el uso de simulaciones (desarrollo de la
práctica docente, planificación didáctica, autorreflexión y facilidad de uso),
estudiando tres conjuntos de variables en los docentes (sociodemográficas y
laborales, frecuencia de uso y formación).
En relación al primer objetivo de este trabajo, se
concluye que los docentes presentan un nivel medio de competencia autopercibida
en el uso de simulaciones virtuales, al igual que se ha encontrado en estudios
sobre CDD (Falcó, 2017). De las cuatro dimensiones, destaca la autorreflexión,
considerada especialmente importante para la labor docente (Méndez & Conde,
2018). Las dimensiones están correlacionadas, destacando la relación entre la
planificación y la autorreflexión docente, dos de las dimensiones del desempeño
docente destacadas por Carlos-Guzmán (2016). Además, la mayoría de los docentes
exploran las posibilidades de las simulaciones virtuales antes de emplearlas y
tienen en cuenta las características de los estudiantes en el diseño de
experiencias de aprendizaje empleando estas herramientas. Estos resultados se
relacionan con lo encontrado por Cabero-Almenara et al. (2020), los cuales
destacan el avance del profesorado hacia la adaptación a las necesidades del
alumnado. Así mismo, los docentes encuentran dificultades a la hora de
seleccionar la simulación virtual adecuada, siendo la principal necesidad
formativa esgrimida por los docentes para la inclusión de las simulaciones en
el aula, como ya fue observado por Lee et al. (2021).
Respecto al segundo
objetivo, no se han observado diferencias en función de las variables
sociodemográficas (edad, género y experiencia). En cuanto al género, los
resultados son similares a los encontrados previamente para la CDD (Marimon-Martí et al.,
2022). Sin embargo, en función de la edad sí
se evidencian diferencias respecto a la CDD (Marimon-Martí, 2022). Esto puede
deberse a la propia naturaleza del objeto del estudio, puesto que el análisis
de la CDD incluye dimensiones más próximas a la alfabetización digital que a la
integración tecnológica, que es el foco de este y otros trabajos recientes (Falloon, 2020). Como indican Fuentes et al. (2019), el uso
de la tecnología enfocado en un recurso concreto termina siendo un proceso que
puede estar dirigido, controlado y orientado por una formación adecuada, siendo
independiente del nivel de alfabetización digital del docente.
Respecto al área científica en la que el docente
imparte clase, son los docentes de Biología y Geología los que menor
competencia han demostrado. El que estos docentes encuentren más dificultades
en el uso de simulaciones virtuales que los docentes de Física y Química o
Tecnología puede relacionarse con una mayor variedad de simulaciones adaptadas
a niveles educativos de Secundaria en Física y Química (Chan et al., 2021),
frente a la Biología y Geología, así como al alto nivel de competencia digital
del profesorado de Tecnología.
Respecto a la frecuencia en el uso de simulaciones, se
concluye que los docentes con mayor competencia percibida en el uso de
simulaciones son aquellos que las usan habitualmente en sus aulas. Por lo
tanto, la familiarización con la herramienta se relaciona con una adecuada
percepción del uso de la misma, tanto a nivel de desarrollo de la práctica
docente, como de planificación y de facilidad de uso percibida (Mayer, 2019).
Como explican Fuentes et al. (2019) la mejora de la competencia digital no sólo
se consigue realizando cursos, es prioritario ponerlo en práctica de manera
habitual para mejorar estas destrezas y adaptarlas a los continuos avances de
la tecnología (Feixas et al., 2013).
Finalmente, se concluye que los docentes que presentan
mejores resultados de competencia digital en el desarrollo de la práctica
docente y la autorreflexión son aquellos que ven más necesaria la formación en
la búsqueda y selección de simulaciones virtuales. Estos resultados podrían
deberse a que un mayor conocimiento implica que sean más conscientes de la
necesidad de seleccionar simulaciones virtuales adecuadas (Méndez & Conde,
2018). Es interesante destacar que si no se satisfacen estas necesidades a corto
o medio plazo, la actitud del profesorado hacia el uso de simulaciones puede
verse afectada negativamente (Lee et al. 2021).
Entre las limitaciones de
este trabajo, cabe considerar que se ha realizado un muestreo no probabilístico
de tipo casual, por lo que no se puede asegurar la representatividad de la
muestra. Además, aunque el tamaño de la muestra es adecuado, al realizar un
análisis inferencial, las submuestras delimitadas por cada una de las variables
consideradas podrían ser mayores. Por otro lado, la recogida de información
podría complementarse con entrevistas personales, con el fin de realizar un
análisis cualitativo más detallado que aporte luz a un futuro proceso
formativo.
En definitiva, los resultados encontrados evidencian
la necesidad de formación en la búsqueda, selección y uso de simulaciones
virtuales, a la vez que plantean el interés de seguir profundizando en las
necesidades más concretas del profesorado de áreas STEM respecto a su formación
digital. Estas necesidades deben ser tenidas en cuenta en futuros planes de
formación inicial del profesorado. Además, sería interesante, en próximas
investigaciones, relacionar las competencias docentes en el uso de simulaciones
virtuales con las actitudes del profesorado ante su uso.
5. Financiación
Esta investigación ha sido financiada mediante las
convocatorias competitivas Proyecto-Reto UNIR 2020 y Proyectos Propios de
Investigación UNIR 2022.
Teacher digital competence in the use of virtual simulations: STEM
teachers' perception
1. Introduction
The implementation of Information
and Communication Technologies (ICT) in education has recently undergone
important changes. For example, ICT is now being supported by the European
Commission through its Digital Agenda initiative (Brevik et al., 2019).
However, the effective use of technologies by teachers is a complex task that
requires a set of practical skills, knowledge, attitudes (Bai et al., 2019)
known collectively as Teacher’s Digital Competence (TDC). (Rodríguez-García et
al., 2019). Developing TDC primarily entails the acquisition of knowledge and
technical skills in the use of digital tools and the implementation of these
tools in the classroom. These include didactic, curricular and methodological
planning skills (Falloon, 2020; Verdú-Pina et al., 2023). Some current
definitions of TDC also include legal, ethical, and security concerns related
to technologies (INTEF, 2017; Redecker & Punie, 2017), as well as an
understanding of the role of ICT in society. These more expansive definitions
promote a balanced, fluid, and mature attitude towards technology (Engen, 2019;
Falloon, 2020). Most of the abovementioned dimensions are included in the
Spanish and European (DigCompEdu) reference frameworks (Redecker & Punie,
2017; INTEF, 2017). However, the definition of Teachers’ Digital Competence can
be widened and modified according to societal needs, technological development,
and the relationship between these technologies and society.
In the experimental sciences,
hands-on work is essential for developing STEM (Science, Technology,
Engineering, Mathematics) skills (Espinosa-Ríos et al., 2016; López-Cortés et
al., 2021). Enhancing the skills of applied experimentation, critical analysis
and problem solving are also critical to the development of STEM competencies
(Perales-Palacios & Aguilera, 2020). However, laboratories may be
unavailable for hands-one work because of logistical, space, or economic
limitations. Virtual simulations can be used to overcome the challenges of
laboratory unavailability while maintaining the benefits of hands-on work
(Blake & Scanlon, 2007; Smetana & Bell, 2014). The benefits are
maintained at a macroscopic scale. In addition, virtual simulations provide the
added benefit of microscopic and submicroscopic scales of visualization.
Virtual simulations facilitate
user interactions with representations of real phenomena or systems (Chan et
al., 2021; Sypsas et al., 2018). This user interactions encourage students to
observe and manipulate objects, variables, and phenomena, and through the
representations, to visualize the differences that result from these
manipulations (Blake & Scanlon, 2007; Smetana & Bell, 2014). Virtual
simulation tools also promote the scientific method and inquiry and the
concomitant acquisition of scientific skills. In addition, these tools promote
a positive attitude towards science (Fan & Geelan, 2013; Perkins et al.,
2012). In light of their great potential, virtual simulations should be
promoted in science classrooms by teachers and teacher trainees alike.
(D'Angelo et al., 2014; Waight et al., 2014). Teachers play a key role in the
effective use of simulations (Rutten et al., 2012). While teachers are
interested in employing virtual simulations, they lack the necessary training
to do so (Lee et al. 2021). This lack of training leads to a significant
digital divide in terms of access, knowledge, and level of use.
Maximizing the benefit from
simulations and virtual laboratories is dependent on TDC levels (INTEF, 2017;
Tourón et al., 2018). The CDUSV questionnaire is used to determine the level of
TDC in this area. This instrument is used to analyze the self-perception of
secondary school STEM teachers regarding their digital competence in the use of
virtual simulations (Gómez et al., 2022).
The CDUSV questionnaire is
based on 4 dimensions that are derived from the following resources: 1) the
European reference framework of digital teaching competence (INTEF, 2017); 2)
the principles of the TPACK model (Technological Pedagogical Content Knowledge).
These principles emphasize that successful implementation requires the
integration of this technology in the didactic process (Cabero-Almenara et al.,
2020; Koehler & Mishra, 2008); and 3) literature on using virtual
simulations in the classroom (Lee et al., 2021; Rutten et al., 2012; Smetana
& Bell, 2014).
Firstly, the "Development
of teaching practice (D1)" dimension is defined as the role the teacher
plays when developing a lesson that employs virtual simulations. This dimension
includes subject matter knowledge, as defined by Roque Herrera et al. (2022),
Martín (2019), and Carlos-Guzmán (2016). This dimension also includes the
application of diverse pedagogical models (Gómez, 2016) and the analysis of the
student challenges.
Secondly, the “Didactic
Planning (D2)” dimension assesses the planning and design of didactic sequences
with virtual simulations, that significantly contribute to the STEM teaching
and learning process (Mayer, 2019). D2 also assesses the evaluation of these
sequences (Nolasco et al., 2016). Thirdly, the "Self-reflection of
teaching practice (D3)" dimension evaluates teachers’ prior assessment of
student characteristics (Méndez & Conde, 2018) and the possibilities
offered by the simulations. This dimension also evaluates teachers’
self-evaluation and reflection upon having developed didactic proposals in the
classroom (Torres et al., 2020).
Finally, the "Ease of
virtual simulation use (D4)" dimension refers to knowledge of specific
technological resources and the challenges to achieving a successful outcome
(Lee et al., 2021). These challenges include time management and doubt resolution
(Fuentes et al., 2019). This questionnaire can be used to identify the
shortcomings and the needs in the training provided for implementing visual
simulations. The goal of the questionnaire is to guide the development of
permanent training plans that are adapted to the needs that are identified. The
training plans can subsequently be used reduce the existing Digital Divide.
To this end, this study had
the following objectives, to:
1. Analyze the self-perceived
teachers' digital competence in the use of virtual simulations among STEM
teachers.
2. Determine the relationship
between self-perceived digital competence in the use of virtual simulations,
and the following: sociodemographic and employment variables, frequency of use,
and amount of training received.
2. Methodology
2.1. Study Design
The goal of this study is to evaluate
the Secondary School STEM teachers‘ self-perception of their skills in using
virtual simulations. This was a quantitative, non-experimental, descriptive,
association, and correlational study with a cross-sectional design.
2.2. Sample
The sample consisted of 500
Secondary School teachers and was obtained using a non-probability convenience
sampling method. This sample includes teachers from all 17 Spanish Autonomous
Communities. A combined plurality of teachers were from the Valencian Community
(20.6%), the Region of Murcia (13.2%) and Andalusia (11.2%). A majority were
public school teachers (82.4%). The rest were employed by either
state-subsidized (14.8%) or private (2.8%) schools. Seventy-four percent of
teachers taught at urban schools while 26% were employed by rural schools.
When a non-probability sample
is used, a sample size of at least 400 participants is adequate in the case
where the population consists of more than 5000 individuals (Cardona, 2002).
2.3. Instrument design and
data collection procedure
The CDUSV questionnaire
consists of 26 five-point Likert scale items that evaluate the self-perception
of teachers‘ digital competence in the use of virtual simulations (Link to questionnaire). In addition, the questionnaire consists of several
sociodemographic and employment questions, for example, gender, age, years of
teaching experience, area where school is located (e.g.
urban, rural) and type of school. Other questions were used to assess the
frequency of virtual simulation use and the amount of training received.
The CDUSV is a validated
instrument (Gómez et al., 2022) that is composed of four dimensions:
Development of teaching practice (D1); Didactic planning (D2); Self-reflection
of teaching practice (D3); and Ease of virtual simulation use (D4). The
validity of these dimensions was verified via the calculation of satisfactory
model fit index values: 1) the GFI index value was .990 (>0.95 is considered
a good fit); 2) The NNFI coefficient obtained was .963, which is considered a
satisfactory value (Ferrando & Anguiano-Carrasco, 2010); 3) the RMCR was
.039, lower than the limit value of .050 and lower than the recommended
criterion of Kelley (1935), which for these data is .055. Therefore, the
observed residual values were very close to zero; and 4) the
RMSEA index had a value of 0.066, indicating an admissible fit (Lloret-Segura
et al., 2014). The RMSEA estimates the approximation error of the proposed
model.
To ensure the internal
consistency of this instrument with respect to the sample of teachers in this
study, the reliability of the instrument was calculated using Cronbach's alpha
coefficient, which gave the following scores: α(D1)=.86;
α(D2)=.84; α(D3)=.84; and α(D4)=.71. The scores of all four
factors were higher than .70, indicating that the factors that made up the
instrument were highly reliable (Cohen et al. 2006), The global Cronbach α
index of this instrument was α=.92, confirming the high reliability of
this instrument (Dwyer & Bernauer, 2014).
This questionnaire was
manually sent by email to 6,700 public, state-subsidized, and private schools
in Spain. The questionnaire was kept open from the second half of January to
May 2022. The anonymity of participants was maintained throughout the study.
2.4. Data analysis
The data was analyzed using
Excel, SPSS 25 and Jamai 2.3.21. Items D4.4 and D4.7 (described in a negative
sense) were inverted so that they were in the same sense as the rest of the
items in the dimension.
The possibility of missing
cases was ruled out. Outliers for each
dimension were identified using the Bonferroni test (De Carlo, 1997).
Discarding outliers from each dimension led to a sample loss of less than 1%. The
normality of the sample was assessed by conducting, for each item, a
Kolmogorov-Smirnov analysis and a multivariate test of asymmetry and kurtosis
(Mardia, 1970). Test results indicated that the data were not normally
distributed (p<.001, George & Mallery, 2001). Therefore, non-parametric
statistical methods were in the inferential analysis.
A descriptive analysis of the
items and dimensions was conducted. A value for each dimension was determined
by averaging the values of the items comprising the dimension. For non-parametric samples, Spearman's correlation
values were calculated between the four dimensions.
In the case of dichotomous
variables, inferential contrast
analyses were performed using the Mann-Whitney U test. The Kruskal-Wallis H test was used in the
analysis of all other variables. These tests assessed the null hypothesis of
equality between groups. The pairwise data analyses was conducted using the Dwass-Steel-Critchlow-Fligner
test. The significance level for each test was set at .05.
To determine the effect size
of the significant data, the d Cohen statistic was calculated
from the results of the Kruskal-Wallis test (Cohen,
2008; Fritz et al., 2012, p. 12; Lenhard & Lenhard, 2016). A d Cohen
value of <.20 indicates no effect; d Cohen
values between .21 to .49 indicate a small effect; d Cohen
values from .50 to .79 indicate a moderate effect; and d Cohen
values >.80 indicate a large effect (Cohen, 1988). However, in the case of education studies, d
Cohen values of < .20 indicate very low effects; d Cohen .20 and .39 are considered low effects
(the “teacher effect”); and d Cohen values > .4 indicate
desirable effects, according to the scale used by Hattie (Hattie 2009).
3. Analysis and Results
3.1. Sample Description
The study sample consisted of
500 teachers who teach Mathematics (22%), Physics and Chemistry (28%), Biology
and Geology (13.6%), Technology (13.2%), or more than one of these (23.2%).
Twenty-six percent of the teachers had less than 5 years of teaching experience,
18.2% had between 5 and 10 years of experience, 23.4% had between 11 and 20
years of experience, and 37.6% had more than 20 years of teaching experience.
Meanwhile, 6.6% percent of the
teachers were under 31 years of age, 20.6% were between 31 and 40 years of age,
37% were between 41 and 50 years of age, 33% were between 51 and 60 of age and,
2.8% were older than 60 years of age. In addition, 62% were women and 37.8%
were men.
Most of the teachers who
participated in the study had used virtual simulations in the past, but at
different frequencies: 3.6% had never use them, 61% of teachers were using them
occasionally and 35.4% were using them often. In addition, only 22.8% of the
teachers had received any training on the use of virtual simulations. This
percentage helps explain why 51.9% and 27.7% teachers considered training very
necessary and necessary, respectively, to be able to take advantage of the
didactic potential of these tools. In addition, 48.1% and 28.7% considered it
very necessary and necessary, respectively, to receive training on how to
integrate virtual simulations in the classroom. Meanwhile, 53.7% and 29.5%
considered it very necessary and necessary, respectively, to receive
information on how to search for and select virtual simulations.
3.2. Self-perception of
teachers’ digital competence.
The results of the descriptive
analysis of the sample (N=500) are presented according
the dimensions that make up the CDUSV questionnaire (Table 1). To facilitate
comparisons between dimensions, averages of the results for each participant
were calculated in order to obtain a common
measurement scale for all dimensions. As
a result, some reported median, mode and minimum
values of dimensions appear in decimal form. In order to facilitate
interpretation of the self-perceived teachers‘ digital
competence in the use of virtual simulations, mean values were categorized in
the following way: low level [1, 3); medium level [3, 4); and high level [4,
5]. The mean scores of the dimensions were > 3 points (average level of
self-perceived competence), with a slight standard deviation <.85 in all
cases (Table 1). The mean score of the dimension of self-reflection of teaching
practice (D3) had the highest mean and median values and the dimension of
didactic planning (D2) had the lowest mean value.
Correlation values (Spearman's
r) between dimensions are
presented in Table 2. Importantly, there was a significant correlation between all
dimensions. Furthermore, the highest (direct) correlation was found between
didactic planning (D2) and self-reflection of teaching practice (D3).
Meanwhile, the development of teaching practice (D1) was the dimension that is
least correlated with the other dimensions.
Table 1
Descriptive
analysis of each dimension.
|
Development of Teaching Practice (D1) |
Didactic Planning
(D2) |
Self-reflection (D3) |
Ease of Use (D4) |
|
|
n |
497 |
499 |
499 |
500 |
|
Average |
3.5677 |
3.2779 |
3.9145 |
3.408 |
|
Median |
3.5714 |
3.3333 |
4 |
3.3333 |
|
Mode |
3.86 |
3.83 |
4a |
3.33 |
|
Standard Deviation |
.7152 |
.8363 |
.7293 |
.6215 |
|
Minimum |
1 |
1 |
1.17 |
1.5 |
|
Maximum |
5 |
5 |
5 |
5 |
a Multiple modes were observed. The smallest
value is reported here.
Table 2
Correlations between dimensions
|
D1 |
D2 |
D3 |
D4 |
|
|
D1 |
1 |
|
|
|
|
D2 |
.246* |
1 |
|
|
|
D3 |
.327* |
.554* |
1 |
|
|
D4 |
.201* |
.475* |
.487* |
1 |
* Correlations are considered significant at a
level of .01 (bilateral)
Furthermore, items associated with
didactic planning (D2) gave mean scores that were below the global mean (3.55),
while items from the dimension self-reflection in teaching practice (D3)
generally gave means above the global average (Figure 1). Importantly, teachers
reported low competence (<3) in the following item: they found it quite
challenging to select the appropriate virtual simulation (item D4.4, mean=
2.84). Teachers reported high competence in the following two items (>4): 1)
most teachers do explore the possibilities of virtual simulations before using
them with students (item D3.1. with a mean of 4.21) and;
2) teachers take into account the characteristics of the students when
designing significant learning experiences using these tools (item D3.2 with a
mean of 4.15).
Figure 1
Average values for
each item.
3.3. Differences in the self-perception
of teaching competence in the context of the variables studied
Items with statistically
significant differences with respect to the variables in this study are
presented in Table 3. The results in Table 3 are organized in a way that makes
it easier to identify variables that have more items with significant differences.
Three variables stand out: the
frequency of use of virtual simulations, the courses taught by the teachers,
and the need to receive training on how to search for virtual simulations. Each
of these variables is analyzed in detail below. The absence of differences for
the other variables is also explained.
3.3.1. Employment and sociodemographic variables.
The following sociodemographic
and employment variables are assessed in this study: age, gender, years of
teaching experience, and courses taught. We analyzed whether
or not there were differences between these variables in each
dimension. We only found significant
differences (p =.003) between the courses taught and the dimension ease
of virtual simulation use (D4), a result with a small effect size (d
Cohen =.318, Figure 2). The results of the Dwass-Steel-Critchlow-Fligner test show differences (p =.003) in the D4
dimension between teachers who taught “Biology and Geology” and those who
taught “Technology”. There were also
significant differences (p =.027) between “Physics and Chemistry” and
"Biology and Geology" teachers. In addition, the variable of courses
taught is the one that contains the most items with significant differences
(see Table 3).
Table 3
Significant
differences by item.
|
|
|
Age |
Gender |
Experience |
Courses taught |
Frequency of use |
Training received |
Need for training on use |
Need for training on integration |
Need for training on searching |
|
D1 |
D1.1 |
|
|
|
|
|
|
|
|
|
|
D1.2 |
|
|
|
|
|
|
|
|
|
|
|
D1.3 |
|
|
|
|
|
|
|
|
|
|
|
D1.4 |
|
|
|
|
|
|
|
|
|
|
|
D1.5 |
|
|
|
|
|
|
|
|
|
|
|
D1.6 |
|
|
|
|
|
|
|
|
|
|
|
D1.7 |
|
|
|
|
|
|
|
|
|
|
|
D2 |
D2.1 |
|
|
|
|
|
|
|
|
|
|
D2.2 |
|
|
|
|
|
|
|
|
|
|
|
D2.3 |
|
|
|
|
|
|
|
|
|
|
|
D2.4 |
|
|
|
|
|
|
|
|
|
|
|
D2.5 |
|
|
|
|
|
|
|
|
|
|
|
D2.6 |
|
|
|
|
|
|
|
|
|
|
|
D3 |
D3.1 |
|
|
|
|
|
|
|
|
|
|
D3.2 |
|
|
|
|
|
|
|
|
|
|
|
D3.3 |
|
|
|
|
|
|
|
|
|
|
|
D3.4 |
|
|
|
|
|
|
|
|
|
|
|
D3.5 |
|
|
|
|
|
|
|
|
|
|
|
D3.6 |
|
|
|
|
|
|
|
|
|
|
|
D4 |
D4.1 |
|
|
|
|
|
|
|
|
|
|
D4.2 |
|
|
|
|
|
|
|
|
|
|
|
D4.3 |
|
|
|
|
|
|
|
|
|
|
|
D4.4 |
|
|
|
|
|
|
|
|
|
|
|
D4.5 |
|
|
|
|
|
|
|
|
|
|
|
D4.6 |
|
|
|
|
|
|
|
|
|
|
|
D4.7 |
|
|
|
|
|
|
|
|
|
Note: (p >= .05); 
(p < .05); 
(p < .01); (p < .001).
Figure 2
Courses taught.
With respect to age, there are
no significant differences in the dimensions and only one significant
difference found in the following items: D3.1 (p = .033, Table 3). Thus,
we found that teachers under 31 years of age are less likely to explore the
possibilities of virtual simulations before using them with students than
teachers between 51 and 60 years of age.
Importantly, no differences
were found in the dimensions with respect to the years of teaching experience
or gender. Regarding specific items, women more often take
into account the characteristics of their students when designing
virtual simulation learning experiences (item D3.2) (p = .009) than do
men.
3.3.2. Frequency of Use
Significant differences were
observed in all four dimensions with respect to the frequency of use variable.
These differences were mainly observed between teachers who used virtual
simulations sometimes and those who used them often (p < .001, Figure 3).
This is particularly evident in the dimension development of teaching practice
(D1), where the effect size was classified as “as desired“ (d
Cohen =.456), according to the Hattie scale (Hattie, 2009).
Figure 3 shows a clear trend in the ranks of D2 and D3, indicating that those
teachers with greater competence in didactic planning (D2) and self-reflection
(D3) were also those who often use virtual simulations. These results had a
desired effect size (d Cohen =.453) and a small (d Cohen
=.368) effect size in D2 and D3, respectively. Those who use the simulations
more frequently encounter fewer challenges (D4). The effect size of these
significant differences were classified as “as desired“ (d
Cohen =.929), according to the Hattie scale (Hattie, 2009) and
very high according to the Cohen scale (Cohen, 1988).
Figure 3
Frequency of use
in the different dimensions.
Importantly, the frequency of
use is the variable with the largest number of items with statistically
significant differences (see Table 3).
3.3.3. Training on Virtual Simulations
When assessing differences
between the different dimensions and the training variables, we found
differences between D1 and D3 and the need to receive training in both
searching and selecting simulations.
An analysis of the ranks
revealed that teachers who were most competent in the development of teaching
practice (D1) also believed most strongly in the need for training in searching
and selecting simulations (Figure 4). These differences were significant (p
=.018), albeit with a small effect size. Likewise, the teachers who were most
competent in didactic planning (D2) were also most strongly in agreement with
the need for training. However, in latter case, the differences were not
significant. There was no clear trend in the ranks related to self-reflection
in teaching practice (D3). However, there were significant differences (p
=.006) in D3 among teachers who saw it as necessary or necessary to receive
this type of training (d Cohen =.292). No significant
differences were observed in dimension D4. Nevertheless, there were several
differences in items within D4. For example, teachers who were familiar with
various virtual simulations were also the ones who gave the least importance to
the need for training in searching for simulations (item D4.2) (p <
.001; d Cohen =.369).
Figure 4
The need for training
in searching and selecting virtual simulations, broken down by dimension.
No significant differences
were observed between the dimensions and the training received variable.
However, there were several items with significant differences. For example,
teachers who had not received prior training on virtual simulations found it more
challenging to select appropriate virtual simulations (item D4.4) (p< .001; d
Cohen= .253).
Meanwhile, no significant
differences were found in the dimensions in the case of the variables of the
need to receive training to take advantage of the didactic potential of
simulations and the need to receive training to integrate simulations into the classroom.
However, some differences were found between items (Table 3).
4. Discussion and Conclusion
In this study, the analysis of
the perception of teachers‘ digital competence was limited
to the specific resource of virtual simulations (Cabero-Almenara et al., 2020;
Marimon-Martí et al., 2022). Four dimensions of competence in the use of
simulations were analyzed in this study (development of teaching practice,
didactic planning, self-reflection and ease of use).
Three sets of teacher variables were assessed: sociodemographic and employment
variables, frequency of use, and amount of training.
Regarding Objective 1, we
conclude that, overall, teachers have a medium level of self-perceived
competence in the use of virtual simulations. This result is consistent with
other studies of TDC (Falco, 2017). Of the four dimensions, self-reflection
appears especially important for teaching work (Méndez & Conde, 2018). The
dimensions are correlated, particularly in the relationship between planning
and teacher self-reflection. The latter two dimensions of teacher performance
have previously been highlighted by Carlos-Guzmán (2016). In addition, most
teachers explore the possibilities of virtual simulations before using them.
Most teachers also take into account the
characteristics of the student when designing learning experiences that employ
these tools. These results are consistent with past reports by Cabero-Almenara
et al. (2020), which highlight the progress teachers have made in adapting to
the needs of students. Likewise, teachers encounter challenges in selecting
appropriate virtual simulations. Therefore, teachers highlight the need for
training in the process of selecting in simulations to incorporate in the
classroom, as reported in the past (Lee et al.,2021).
Regarding Objective 2, no
differences were observed in the sociodemographic variables (age, gender and experience). A similar result for gender was
previously reported (Marimon-Martí et al., 2022). However, differences were
evident in TDC between age groups, a result consistent with past studies
(Marimon-Martí, 2022). This dependence on age may a consequence of the focus of
the study: the TDC analyses included dimensions more related to digital
literacy than to technological integration. Technological integration is the
focus of this and other recently published studies (Falloon, 2020). As
indicated by Fuentes et al. (2019), the use of technology that focuses on a
specific resource can be directed, controlled and
guided by adequate training and can be accomplished in a way that is
independent of a teacher’s digital literacy level.
Regarding courses taught,
Biology and Geology teachers display the least competence in
the area of virtual simulations.
These teachers find virtual simulations more challenging than their
Physics and Chemistry and Technology counterparts. This result could a
consequence of the greater availability of simulations that are already adapted
to secondary school Physics and Chemistry courses than those adapted for
Biology and Geology courses (Chan et al., 2021). This result could also be
related to the high level of digital competence of Technology teachers.
Regarding frequency of use,
teachers with the greatest perceived competence in the use of simulations are
also the ones who regularly use them in their classrooms. Therefore, being
familiar with a tool is related to an adequate perception of its use. This is
true both at the level of development of teaching practice, as well as the
planning and the perceived ease of use (Mayer, 2019). As Fuentes et al. (2019)
explained, improving digital competence is not only achieved by taking courses,
but also by prioritizing putting this technology into practice on a regular
basis. In this way, these skills can be
improved and adapted with respect to future advances in technology (Feixas et al., 2013).
Meanwhile, teachers who report
higher digital competence in the development of teaching practice and
self-reflection are those who see the greatest need for training in searching
and selecting virtual simulations. These results could be due
to the fact that being more knowledgeable makes a teacher more aware of
the need to select appropriate virtual simulations (Méndez & Conde, 2018).
Interestingly, if these needs are not met in the short or medium term,
teachers' attitudes towards the use of simulations may be negatively affected
(Lee et al. 2021).
One of the limitations of this
study lies in the use of a non-probabilistic convenience sampling method.
Therefore, this may not be a representative sample. The sample size is
adequate. Nevertheless, it would be better if the subsamples delimited by each
of the variables were larger when performing the inferential analysis. In
addition, a more detailed qualitative analysis that sheds light on a future
training regime could be carried out if the data collection were to be
complemented with personal interviews.
In summary, the results of
this study demonstrate the need to provide training in the search, selection,
and use of virtual simulations, while also suggesting the importance of further
clarifying the digital training needs of STEM teachers. These needs should be taken into account for future early-stage teacher training
plans. It would also be interesting in future studies to explore the
relationship between teaching competency in the use of virtual simulations and
the attitudes of teachers towards the use of these tools.
References
Bai, B., Wang, J., & Chai, C.S. (2019).
Understanding Hong Kong primary school English teachers' continuance intention
to teach with ICT. Computer Assisted Language Learning, 4(34), 528-551. https://doi.org/10.1080/09588221.2019.1627459
Blake, C., & Scanlon, E.
(2007). Reconsidering simulations in science education at a distance: Features
of effective use. Journal of Computer Assisted Learning, 23(6), 491-502.
https://doi.org/10.1111/j.1365-2729.2007.00239.x
Brevik, L.M., Gudmundsdottir,
G.B., Lund, A., & Stromme, T.A. (2019). Transformative agency in teacher
education: Fostering professional digital competence. Teaching and teacher
education, 86, 1-15. https://doi.org/10.1016/j.tate.2019.07.005
Cabero-Almenara,
J., Barroso-Osuna, J., Palacios-Rodríguez, A., & Llorente-Cejudo, C.
(2020). Marcos de Competencias Digitales para docentes universitarios: su
evaluación a través del coeficiente competencia experta. Revista Electrónica
Interuniversitaria de Formación del Profesorado, 23(2). https://doi.org/10.6018/reifop.413601
Cardona,
M.C. (2002). Introducción a los métodos de investigación en educación.
Editorial EOS.
Carlos-Guzmán,
J. (2016). ¿Qué y cómo evaluar el desempeño docente? Una propuesta basada en
los factores que favorecen el aprendizaje. Propósitos
y Representaciones, 4(2), 285-358. https://doi.org/10.20511/pyr2016.v4n2.124
Chan,
P., Van Gerven, T., Dubois, J., & Bernaerts, K. (2021). Virtual
chemical laboratories: A systematic literature review of research, technologies and instructional design. Computers and
Education Open, 2. https://doi.org/10.1016/j.caeo.2021.100053
Cohen, J. (1988). Statistical
power analysis for the behavioral sciences (2. Auflage).
Hillsdale, NJ: ErlbaumCohen, B. (2008). Explaining
psychological statistics (3rd ed.). John Wiley & Sons.
D’Angelo, C., Rutstein, D.,
Harris, C., Bernard, R., Borokhovski, E. & Haertel,
G. (2014). Simulations for STEM learning: systematic review and meta-analysis. SRI
Education, 58.
De Carlo, L. T. (1997). On the
meaning and use of kurtosis. Psychological Methods, 2, 292-307.
Engen, B. K. (2019). Comprendiendo los
aspectos culturales y sociales de las competencias digitales docentes. Comunicar, 27(61), 9-19. https://doi.org/10.3916/C61-2019-01
Espinosa-Ríos, E. A., González-López, K. D., &
Hernández-Ramírez, L. T. (2016). Las prácticas de laboratorio: Una estrategia didáctica
en la construcción de conocimiento científico escolar. Entramado, 12(1),
266-281. https://doi.org/10.18041/entramado.2016v12n1.23125
Falcó, J. M. (2017). Evaluación de la competencia
digital docente en la comunidad autónoma de Aragón. Revista Electrónica de
Investigación Educativa, 19(4), 73-83. https://doi.org/10.24320/redie.2017.19.4.1359
Falloon, G. (2020). From
digital literacy to digital competence: the teacher digital competency (TDC)
framework. Educational Technology
Research and Development, 68, 2449-2472. https://doi.org/10.1007/s11423-020-09767-4
Fan, X., & Geelan, D. R.
(2013). Enhancing students' scientific literacy in science education using
interactive simulations: A critical literature review. J.Computer in Mathematics & Science Teaching, 32(2), 125-171.
Feixas, M., Duran, M. M., Fernández, I., Fernández, A.,
García San Pedro, M. J., Márquez, M. D., Pineda, P., Quesada, C., Sabaté, S.,
Tomàs, M., Zellweger, F., & Lagos, P. (2013).
¿Cómo medir la transferencia de la formación en educación superior?: El
cuestionario de factores de transferencia. Revista De Docencia
Universitaria, 11(3), 219-248. https://doi.org/10.4995/redu.2013.5527
Ferrando,
P. J., & Anguiano-Carrasco, C. (2010). El análisis factorial como técnica
de investigación en psicología. Papeles del Psicólogo, 31(1), 18-33.
Fritz,
C. O., Morris, P. E., & Richler, J. J. (2012). Effect size estimates: Current use, calculations, and
interpretation. Journal of Experimental Psychology: General, 141(1),
2-18. https://doi.org/10.1037/a0024338
Fuentes, A., López, J. &
Pozo, S. (2019). Análisis de la competencia digital docente: Factor
clave en el desempeño de pedagogías activas con realidad aumentada. REICE.
Revista Iberoamericana Sobre Calidad, Eficacia Y Cambio En Educación, 17(2),
27-42. https://doi.org/10.15366/reice2019.17.2.002
George, D., & Mallery, P.
(2001). SPSS for Windows Step by Step: A Simple Guide and Reference. Allyn & Bacon.
Gómez,
I. M. (2016). La inclusión de las tecnologías en la formación inicial del
profesorado: una intervención de aula a través del modelo TPACK. Tendencias pedagógicas, 28, 133-152. https://doi.org/10.15366/tp2016.28.010
Gómez,
R., Palacios, A., Moreno-Mediavilla, D., & Barreras, Á. (2022).
Competencias docentes en el uso de simulaciones virtuales STEM: diseño y
validación de un instrumento de medida (CDUSV). Bordón, Revista de
Pedagogía, 74(4), 85-102. https://doi.org/10.13042/Bordon.2022.94154
Hattie, J. (2009). Visible Learning.
Routledge.
INTEF
(2017). Marco de Competencia Digital. Ministerio de Educación, Ciencia y
Deportes
Kelley, T. L. (1935). Essential
traits of mental life. Harvard Studies in Education, vol. 26. Harvard
University Press.
Koehler, M. J., & Mishra,
P. (2008). Introducing Technological Pedagogical Content Knowledge. In AACTE
Committee on Innovation and Technology (Eds.), Handbook of Technological
Pedagogical Content Knowledge (TPCK) for Educators, 3-29.
Lee, W.C., Neo, W.L., Chen,
D.T., & Lin, T.B. (2021). Fostering changes in teacher attitudes toward the
use of computer simulations: Flexibility, pedagogy, usability and needs. Educ
Inf Technol 26, 4905–4923. https://doi.org/10.1007/s10639-021-10506-2
Lenhard, W., & Lenhard, A.
(2016). Computation of effect sizes.Psychometrica. http://doi.org/10.13140/RG.2.2.17823.92329
Lévy, J. P., Varela, J., & Abad, J. (2006). Modelización con estructuras de covarianzas
en ciencias sociales: temas esenciales, avanzados y aportaciones especiales.
Netbiblio.
Lloret-Segura,
S., Ferreres-Traver, A., Hernández-Baeza, A., &
Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una
guía práctica, revisada y actualizada. Anales de Psicología, 30(3),
1151-1169. https://doi.org/10.6018/analesps.30.3.199361
López-Cortés,
F., Moreno, E. R., Palmas-Rojas, C., & Rubilar, C. M. (2021). Niveles de
representación externa de estudiantes de educación secundaria acerca de la
división celular mitótica: una experiencia con realidad aumentada. Pixel-Bit. Revista De Medios Y Educación, 62, 7-37. https://doi.org/10.12795/pixelbit.84491
Mardia, K. V. (1970). Measures of multivariate skewnees and kurtosis with applications. Biometrika, 57, 519-530. https://doi.org/10.2307/2334770
Marimon-Martí,
M., Romeu-Fontanillas, T., Ojando-Pons, E., &
Esteve-González, V. (2022). Competencia Digital Docente: autopercepción en
estudiantes de educación. Pixel-Bit. Revista
de Medios y Educación, 65, 275-303. https://doi.org/10.12795/pixelbit.93208
Martín,
P.A. (2019). El perfil del buen docente universitario desde una perspectiva del
alumnado. Educação e Pesquisa, 45(1). https://doi.org/10.1590/s1678-4634201945196029
Mayer,
R. E. (2019). How multimedia can improve
learning and instruction. En R.Mayer
(ed.) The Cambridge Handbook of Cognition
and Education (pp. 460–479). https://doi.org/10.1017/9781108235631.019
Méndez,
J. M., & Conde, S. (2018). La autorreflexión inicial: una estrategia para
la mejora de la práctica docente. Revista
Electrónica Interuniversitaria de Formación del Profesorado, 21(1), 17–31. https://doi.org/10.6018/reifop.21.1.270591
Nolasco,
P., & Ojeda, M. M. (2016). La evaluación de la integración de las TIC en la
educación superior: fundamento para una metodología. RED - Revista de Educación a Distancia, 48, 1-24. https://doi.org/10.6018/red/48/9
O’Dwyer, L., & Bernauer,
J. (2014). Quantitative research for the qualitative researcher. SAGE
Publications, Inc. https://doi.org/10.4135/9781506335674
Perales-Palacios, F. J. y
Aguilera, D. (2020). Ciencia-tecnología-sociedad vs. STEM: ¿evolución, revolución
o disyunción? Ápice. Revista de Educación Científica, 4(1), 1-15.
https://doi.org/10.17979/
arec.2020.4.1.5826
Perkins,
K., Moore, E., Podolefsky, N., Lancaster, K., &
Denison, C. (2012). Towards research-based
strategies for using PhET simulations in middle
school physical science classes. Paper presented at the AIP Conference
Proceedings, 1413, 295-298. https://doi.org/10.1063/1.3680053
Redecker, C. & Punie, Y.
(2017). European framework for the
digital competence of educators: DigCompEdu.
Publications Office of the European Union. https://doi.org/10.2760/159770
Rodríguez-García, A.M., Raso,
F., & Ruiz-Palmero, J. (2019). Digital competence, higher education and teacher training: a meta-analysis study on the
Web of Science. PIXEL-BIT. Revista de Medios y Educación, 54, 65-81. https://doi.org/10.12795/pixelbit.2019.i54.04
Roque
Herrera, Y., Valdiviezo Maygua, M. A.,
Romero-Rodríguez, J., & Alonso-García, S. (2022). Practice, training, and teaching competence in the
exercise of the virtual academic modality. Revista
Interuniversitaria De Formación Del Profesorado, 98(362), 51-62. https://doi.org/10.47553/rifop.v98i36.2.93778
Rutten, N., Van Joolingen, W. R. y
Van der Veen, J. T. (2012).
The learning effects of
computer simulations in science education. Computers and Education, 58(1),
136-153. https://doi.org/10.1016/j.
compedu.2011.07.017
Smetana, L. K., & Bell, R.
L. (2014). Which setting to choose: Comparison of whole-class vs. small-group
computer simulation use. Journal of Science Education and Technology, 23(4),
481-495. https://doi.org/10.1007/s10956-013-9479-z
Sypsas, A. y Kalles, D. (2018). Virtual laboratories in biology, biotechnology
and chemistry education: a literature review. En N. Karanikolas y B. Mamalis
(eds.), Proceedings of the 22nd Pan-Hellenic Conference on Informatics (PCI
‘18) (70-75). Association for Computing Machinery. https://
doi.org/10.1145/3291533.3291560
Torres, M. J., Yépez, D., & Lara, A. (2020). La reflexión de la
práctica docente. Chakiñan, Revista De
Ciencias Sociales Y Humanidades, 10,
87–101. https://doi.org/10.37135/chk.002.10.06
Tourón, J., Martin, D., Navarro Asencio, E., Pradas, S., & Íñigo, V. (2018). Validación de
constructo de un instrumento para medir la competencia digital docente de los
profesores (CDD). Revista Española de Pedagogía, 75(269), 25-54. https://doi.org/10.22550/REP76-1-2018-02
Verdú-Pina,
M., Lázaro-Cantabrana, J. L., Grimalt-Álvaro,
C. & Usart, M. (2023). El concepto de competencia
digital docente: revisión de la literatura. Revista
Electrónica de Investigación Educativa, 25(11), 1-13. https://doi.org/10.24320/redie.2023.25.e11.4586
Waight, N., Liu, X.,
Gregorius, R. M., Smith, E. y Park, M. (2014) Teacher conceptions and approaches
associated with an immersive instructional implementation of computer-based
models and assessment in a secondary chemistry classroom. International Journal of Science
Education, 36(3), 467-505, https://doi.org/10.1080/09500693.2013.787506