La
usabilidad percibida por los docentes de la Formación Profesional a distancia
en las Islas Baleares
The usability perceived by
the teachers of distance vocational training in Balearic Islands
D. Francisco
Ramón Lirola Sabater ¹ xisco.lirola@uib.es
Dra. Adolfina
Pérez Garcias ² fperez@uib.es
1
Conselleria d’Educació, Universitat i Recerca. Calle Ter, 16. 07009. Palma,
Illes Balears
2
Universitat de les Illes Balear. Departamento de
Pedagogía Aplicada y Psicología de la Educación. Cra. de Valldemossa, km 7,5.
Palma, Illes Balears
Recibido: 20-11-2019
| Revisado: 28-01-2020 | Aceptado: 04-06-2020 | Publicado: 01-09-2020 DOI:
https://doi.org/10.12795/pixelbit.76299
| Páginas: 183-200
Cómo citar este artículo:
Lirola-Sabater, F. & Pérez-Garcias, A. (2020).
La usabilidad percibida por los docentes de la Formación Profesional a
distancia en las Islas Baleares. Pixel-Bit. Revista de Medios y Educación,
59, 183-200. https://doi.org/10.12795/pixelbit.76299
|
RESUMEN |
ABSTRACT |
|
Este trabajo
gira en torno al grado de satisfacción o usabilidad percibida de los docentes
de la Formación Profesional que imparten docencia en un LMS basado en la
plataforma Moodle 2.6. Está última década se han incrementado las
investigaciones relacionadas entre la usabilidad percibida en base a la norma
ISO 9241-11 (1988) y los LMS incorporados en las acciones formativas
utilizadas en e-learning. Este artículo analiza los resultados del análisis
del grado de satisfacción de los docentes en esta plataforma utilizada para
la Formación Profesional a distancia en las Islas Baleares. La muestra está
compuesta por un total de 24 docentes sobre una población finita de 134
profesores. La recogida de datos fue realizada por medio del instrumento del
cuestionario, siendo el eje central del mismo, la incorporación del
cuestionario de usabilidad System Usability Scale (SUS) diseñado por Brooke
(1996). Los resultados obtenidos ponen de manifiesto que el grado de
satisfacción por parte de los docentes es positivo a nivel general; mientras
que en función de las variables ciclo formativo y género, dichos resultados
no son significativos en base al contraste de hipótesis. El grado de
satisfacción obtenido a partir de la muestra es de 70,20 puntos, que puede
considerarse 'normal'. Asimismo, la puntuación media en función del ciclo
formativo es de 74,4 para el CFGM y de 67,66 en el CFGS. En cuanto a la
comparación de resultados en base al género los resultados obtenidos siguen
la línea de otras investigaciones realizadas al efecto, el género no influye
en el grado de satisfacción del usuario. |
This
work revolves around the degree of satisfaction or perceived usability of
Vocational Training teachers who teach in an LMS based on the Moodle 2.6
platform. In the last decade, there
has been an increase in research related to the usability perceived on the
basis of the ISO 9241-11 standard (1988) and the LMS incorporated in the
training actions used in e-learning. This article analyses the results of the
analysis of the degree of satisfaction of teachers in this platform used for
distance vocational training in the Balearic Islands. The sample is made up
of a total of 24 teachers out of a finite population of 134 teachers. The
data collection was carried out by means of the questionnaire instrument, the
central axis of which was the incorporation of the usability questionnaire
System Usability Scale (SUS) designed by Brooke (1996). The results obtained
show that the degree of satisfaction on the part of the teachers is positive
at a general level; while in function of the variables formative cycle and
gender, these results are not significant based on the contrast of
hypotheses. The degree of satisfaction obtained from the sample is 70.20
points, which can be considered 'normal'. Likewise, the average score as a
function of the training cycle is 74.4 for the CFGM and 67.66 for the
CFGS. With regard to the comparison of
results based on gender, the results obtained follow the line of other
research carried out for this purpose, gender does not influence the degree
of user satisfaction. |
|
PALABRAS CLAVES |
KEYWORDS |
|
Usabilidad percibida, escala de usabilidad del sistema,
entorno virtual, Moodle, Formación Profesional. |
Perceived usability, system usability scale, virtual environment,
Moodle, Vocational training. |
1.- Introducción
La implementación de los Learning Management System (LMS) en el diseño
de los entornos virtuales de aprendizaje, en estas dos últimas décadas, ha sido
un gran avance tanto tecnológico como educativo. Su crecimiento ha aumentado a
medida que las instituciones educativas han ido incorporando
una nueva oferta educativa en sus diseños, así como la mejora de las propias
plataformas desde la perspectiva tecnológica.
La incorporación de estos sistemas de gestión (LMS) en la creación de
entornos virtuales a distancia no se ciñe exclusivamente a la educación formal,
sino que también se han incorporado en el ámbito no formal. Instituciones no
educativas también han valorado la implementación de estas
plataformas en la formación de sus empleados como complemento formativo dentro
de la propia empresa (Oztekin, Kong & Uval, 2010).
Estos sistemas se han especializado a medida que la tecnología ha ido
avanzando. Muchas de estas plataformas proporcionan contenidos educativos, recursos, elementos
de comunicación asincrónica y sincrónica e interacción. Estos avances conllevan
la incorporación de los LMS en el segmento educativo (Brusilovsky, 2004; Dubost, Klein & Dang, 2004).
La necesidad de utilizar los LMS dentro de las instituciones educativas
conlleva la mejora de la calidad de estos sistemas de gestión y en consecuencia
un avance en el proceso de aprendizaje y enseñanza por medio de los entornos
virtuales basados en este tipo de plataformas. Pomerantz,
Brown y Brooks (2018), describen en su informe en Educause que la tasa de
implementación de los LMS en los Estados Unidos es del 99%, entre las
instituciones universitarias y un 88% entre los docentes. El posicionamiento de
los LMS como plataformas para la enseñanza y aprendizaje es de una gran
integración según estos autores. Por otro lado, en este informe, se señala que
la implementación de los LMS como plataformas de enseñanza-aprendizaje no es un
elemento tecnológico con caducidad. Para Pomerantz et al.
(2018) se trata de un 'prólogo' de las nuevas generaciones de los entornos
virtuales basados en los LMS. Los nuevos avances tecnológicos y la integración
con nuevas herramientas API (Interfaz de Programación de Aplicaciones) o LTI (interoperabilidad de herramientas de aprendizaje) son elementos
a valorar en las nuevas generaciones de LMS.
Ante nuevas propuestas del uso de los LMS en la próxima década,
Galanek, Gierdowski y Christopher (2018) se plantean una revisión reflexiva e innovadora de la utilidad y funcionalidad de los LMS: "No
necesitamos romper el LMS. Necesitamos reconocer lo que puede y no puede hacer
e incorporar sus mejores características en los nuevos modelos de aprendizaje
digital". Para ello, en esta revisión, se observa la necesidad de la
incorporación de entornos de aprendizaje digital de próxima generación (NGDLE,
Next Generation Digital Learning Environment). Se trata sistemas de gestión
complejos basados en una arquitectura de aprendizaje digital que incorpora aplicaciones y recursos interrelacionados por medio de estándares
abiertos. Estos nuevos LMS pueden ser utilizados por los estamentos educativos
en función de sus necesidades y de un entorno virtual específico. Entre sus
principales características sobresalen: la personalización, la
colaboración, la accesibilidad, la interoperabilidad, el diseño universal o la
evaluación del aprendizaje.
No obstante, debemos dar un paso hacia atrás, en la cronología de la
implementación de los LMS en la educación. Con la
aparición de la plataforma Moodle, 2002, se produce un avance en los sistemas
de gestión en la modalidad a distancia en el campo de la educación. La
utilización del código abierto de Moodle ha permitido una rápida expansión de
la plataforma en las instituciones educativas. Por otro
lado, el lanzamiento de los paquetes SCORM (1.1; 1.2 y SCORM 2004) ha permitido
una mejora de estos sistemas de gestión del aprendizaje gracias a la
incorporación de los estándares que aún son siguen vigentes.
Con la implementación de los LMS dentro de las
instituciones educativas se inicia una línea de investigación basada en la
valoración y análisis de las plataformas desde el punto de vista del usuario
final (estudiantes y alumnos) y más concretamente a partir del grado de satisfacción del usuario.
Melton (2006) presenta uno de los primeros estudios de la usabilidad
percibida para el usuario en la plataforma Moodle 1.9, basado en el proceso de
los registros del sistema (LMS) así como del módulo de envío de tareas. Se
trata del primer estudio entre la plataforma Moodle y la usabilidad percibida.
Antes de adentrarnos en las distintas metodologías existentes para la
valoración de la usabilidad percibida, se hace necesario definir y acotar el
término de usabilidad. Para Nielsen (2012) la usabilidad es un atributo
de calidad que evalúa la facilidad de uso de los interfaces de usuario. Esta
definición conlleva cinco factores de calidad: aprendizaje, eficiencia,
memorabilidad, análisis de errores y satisfacción. Brooke (1996) considera que la usabilidad debe contextualizarse a partir de la norma ISO
9241-11 (1998) que se fundamenta en los factores de eficacia, eficiencia y
grado de satisfacción. En base a esta norma, la definición de usabilidad es:
“la medida en que un sistema, producto o servicio puede ser utilizado
por usuarios específicos para lograr metas específicas con efectividad,
eficiencia y satisfacción en un contexto específico de uso”.
Brooke (2013, p. 32), tras una revisión de su metodología de la
usabilidad percibida, considera que se deben incorporar
algunos matices a la definición del concepto: "...algo utilizable es algo
que es apropiado para su contexto, en el que el contexto incluye la tarea que
se está realizando, los antecedentes y la experiencia del usuario que lo está haciendo, y el entorno en el que se está realizando".
Bevan, Carter, Earthy, Geis y Karker (2016, p. 2), en una revisión de
la norma (ISO 9241-11, 1998) consideran que la definición sigue siendo válida
si bien debe adaptarse a enfoques actuales de la
usabilidad como es la experiencia del usuario. Es más, Bevan et al. (2016, p.3)
consideran que el factor de satisfacción debe contemplar una nueva gama de
elementos como son "actitudes positivas, emociones y/o confort que
resulten del uso de un sistema, producto o servicio".
La utilización de norma ISO 9241-11 (1988) permite aplicar métodos
cuantitativos para valorar la usabilidad percibida a partir de este estándar
con métricas específicas. Dicha norma describe cómo interactúan los usuarios
con el sistema o producto a partir de cada uno de los
factores que integran la norma (eficacia, eficiencia y satisfacción). La
eficacia se corresponde con 'hasta qué punto el usuario puede alcanzar el
objetivo. La eficiencia hace referencia al nivel de esfuerzo y uso de los recursos que necesita el usuario para lograr el objetivo mientras
que la satisfacción se relaciona con las asociaciones positivas o ausencia de
ellas que experimenta el usuario durante utilización del sistema o aplicación.
De los tres factores, el más utilizado para valorar los
entornos virtuales basados en un LMS es el grado de satisfacción o usabilidad
percibida siguiendo la norma ISO 9241-11 (1998).
En estas últimas décadas, valorar el grado de satisfacción del usuario
en los entornos virtuales basados en una estructura de LMS y
más concretamente con la plataforma Moodle es una línea de trabajo
profundamente documentada. Si bien, existen diversos métodos de análisis de
esta percepción sobre Moodle.
Kakasevski, Mihajlov y Arsenovski (2008), realizan una propuesta de la usabilidad percibida en base a dos procedimientos
entre la evaluación heurística de un cuestionario y la técnica de análisis de
tareas. Esta metodología no es aplicada en otras investigaciones de esta índole
por la dificultad del propio análisis de los datos. Blecken,
Bruggeman y Marx (2010) analizan los diferentes métodos de evaluación de la
usabilidad, documentando que la mayoría de estas valoraciones se fundamentan en
trabajos analíticos y empíricos. En la valoración de la usabilidad Blecken et al. (2010) incorporan el cuestionario SUS para la
evaluación del LMS.
La incorporación de este cuestionario de usabilidad, diseñado por
Brooke (1996), basado en la norma ISO 9241-11 (1988), es utilizado y aplicado
en muchas de las investigaciones y estudios de la evaluación de
un LMS y más concretamente de Moodle (Katsanos, Tselios & Xenos, 2012;
Lirola & García, 2012, 2015; Orfanou, Tselios & Katsanos, 2015; Revythi
& Tselios, 2017 o Fernández-Coca, Lirola & Ordinas, 2018).
A pesar de ser uno de los métodos analíticos más
utilizados en la valoración de la usabilidad, el cuestionario SUS, Georgsson y
Staggers (2016, p.6), se debe considerar que no es el único aplicado en estos
últimos años tal y como afirman Nakamura, Oliveira y Conte (2017). La incorporación de la valoración de la usabilidad percibida como factor
de análisis y mejora en los diseños instruccionales de un entorno virtual es un
claro ejemplo de evolución de los LMS dentro del contexto del e-learning.
2.- Objetivo
El objetivo principal de este estudio es valorar la
usabilidad percibida del entorno virtual utilizado en la Formación Profesional
a distancia por parte de los docentes. Dicho objetivo se concreta en dos
objetivos específicos:
• Valorar la usabilidad percibida a nivel general
de la plataforma.
• Valorar la usabilidad percibida en base a la variable ciclo formativo
y género.
Con el objeto de analizar si existen diferencias significativas entre
las puntuaciones medias obtenidas a partir de la variable independiente, ciclo
formativo y género, se plantean las siguientes hipótesis de contraste:
a) Ciclo formativo:
Ho: No existen diferencias significativas, con un error de alfa de
0,05, entre las puntuaciones medias obtenidas en la variable ciclo formativo.
H1: Existen diferencias significativas, con un error de
alfa de 0,05, entre las puntuaciones medias obtenidas en el ciclo formativo
b) Género:
Ho (hipótesis nula): No existen diferencias significativas,
con un error de alfa de 0,05, entre las puntuaciones medias obtenidas en el
género.
H1 (hipótesis alternativa): Existen diferencias significativas, con un
error de alfa de 0,05, entre las puntuaciones medias obtenidas en el género.
3.- Metodología
El diseño de la investigación sigue un enfoque no experimental de corte
cuantitativo. La muestra del trabajo es de tipo no probabilístico con respuesta
anónima. La técnica de recogida de datos es el cuestionario que comprende una
sección del perfil del docente y la parte principal para
el análisis de la usabilidad percibida con la utilización del cuestionario
denominado System Usability Scale (SUS), diseñado por Brooke (1996) a partir de
la versión original.
3.1.- Población
La población del estudio es de 134 docentes de la
Formación Profesional a distancia en las Islas Baleares que imparten docencia
en 8 centros de referencia ubicados en Mallorca y con sede en Palma de
Mallorca. Los estudios ofertados en la FP a distancia son 15 ciclos formativos: 8 ciclos pertenecen al grado medio y 7 al grado superior (curso
2015-16). Las familias que se ofertan a distancia son: informática, farmacia y
parafarmacia, administración y gestión, repostería, emergencias sanitarias,
electricidad y electrónica, servicios socioculturales y a la comunidad,
hostelería y turismo y educación infantil.
3.2.- Muestra
La muestra está compuesta por los docentes que imparten esta modalidad
a distancia. La muestra obtenida para este trabajo es una de N=28, de los
cuales 4 son descartados al estar incompletos. Así pues,
la muestra real del estudio es de N=24.
El error muestra es del 18,2%. Del ciclo formativo de grado medio
participan 9 docentes (37,5%) y del ciclo formativo de grado superior, 15
docentes (62,5%). De esta muestra 13 son mujeres (54,2%) y 11 hombres
(45,8%). En el ciclo formativo de grado medio la muestra la componen 4 mujeres
(44,4%) y 5 hombres (55,6%); mientras que en el ciclo formativo de grado
superior está integrado por 9 mujeres (60%) y 6 hombres (40%).
3.3.- Instrumento de recogida de datos
El instrumento utilizado para la recogida de datos es un cuestionario
compuesto por tres variables sobre el perfil del profesorado, el cuestionario
SUS (System Usability Scale) en su versión original (10 ítems) y un ítem de valoración general del LMS basado en el trabajo de Bangor, Kortum y
Miller (2009). El cuestionario System Usability Scale está compuesto por un
total de 10 ítems basado en una escala de Likert de 1 a 5 (entre ‘totalmente en
desacuerdo’ y ‘totalmente de acuerdo’). Los parámetros de
validez, fiabilidad y sensibilidad del mismo están contrastados por una amplia
bibliografía al respecto (Brooke, 1996, 2013; Borsci, Federici & Lauriola,
2009; Lewis & Sauro, 2009; Bangor et al. 2009; Finstad, 2006). El valor de fiabilidad de este cuestionario se corresponde con muchas de las
investigaciones que utilizan este cuestionario tal y como señalan Lewis y Sauro
(2012), Lewis (2017) que se sitúa en un 0.92 (alfa de Cronbach). En esta investigación se obtiene el valor de 0.83. Se trata de un instrumento eficaz y eficiente para valorar el
grado de satisfacción (Peres, Pham & Phillips, 2013, p. 195).
El instrumento final se compone de las variables que se describen en la
tabla 1. Tres de ellas se clasifican como variables categóricas,
el cuestionario de usabilidad propiamente dicho y un ítem de valoración general
del LMS basado en el trabajo de Bangor et al. (2009) sobre una escala de Likert
de 7 puntos para valorar un LMS desde 'horrible' a 'excelente'.
Tabla 1.
Composición y
diseño del cuestionario.
|
Variable |
Tipo |
Nº ítems |
Escala Likert |
|
Género |
Dicotómica |
1 |
- |
|
Edad |
Intervalo |
1 |
- |
|
Ciclo formativo |
Selección |
1 |
- |
|
SUS |
Escala de Likert |
10 |
5 puntos |
|
Valoración |
Escala de Likert |
1 |
7 puntos |
3.4.- Instrumento de análisis
En este trabajo se incorporan elementos estadísticos descriptivos y de
varianza. El índice de fiabilidad del cuestionario SUS se obtiene mediante el
coeficiente alfa de Cronbach a partir de la muestra descrita anteriormente, obteniendo un valor de 0.83. Este valor debemos considerarlo en un
nivel aceptable de confiabilidad. El resto de variables descritas en el
instrumento de recogida de datos nos permite realizar un análisis inferencial
en base a estas variables categóricas. El análisis estadístico se realiza
utilizando la aplicación SPSS versión 19.2. Además, se incorpora la tabla 2
para relacionar las puntuaciones del cuestionario SUS y sus percentiles con su
correspondencia con un valor de ‘grado’ a partir de la propuesta de Lewis y Sauro (2018, p. 161).
Tabla 2.
Relación entre la puntuación SUS y
el 'grado' de calificación. Fuente: Lewis y Sauro (2018)
|
Grado |
Puntuación SUS |
Rango percentil |
|
A+ |
84.1-100 |
96 – 100 |
|
A |
80.8 – 84.0 |
90 – 95 |
|
A- |
78.9 – 80.7 |
85 – 89 |
|
B+ |
77.2 – 78.8 |
80 – 84 |
|
B |
74.1 – 77.1 |
70 – 79 |
|
B- |
72.6 – 74.0 |
65 – 69 |
|
C+ |
71.1 – 72.5 |
60 – 64 |
|
C |
65.0 – 71.0 |
41 – 59 |
|
C- |
62.7 – 64.9 |
35 – 40 |
|
D |
51.7 – 62.6 |
15 – 34 |
|
F |
0 – 51.6 |
0 – 14 |
4.- Resultados y discusión
Los resultados de este estudio se muestran en dos grandes apartados.
Por un lado, la usabilidad percibida por los docentes, sobre la muestra total
en referencia al entorno virtual utilizado para la Formación Profesional a
distancia. En segundo lugar, la comparativa de la usabilidad
percibida a partir de las variables: ciclo formativo y género en base al
contraste de hipótesis.
La valoración de la usabilidad percibida en toda la muestra (N=24) es
de una media de 70,20 puntos sobre un total de 100, situándose en un percentil entre el 65,0 al 71,0 y en la escala de calificación
(tabla 2) de valoración 'C'. Si nos atenemos al valor mínimo aceptable en la
puntuación del cuestiona-rio SUS, según Brooke (1996, 2013) es de 68 puntos, se
considera como un entorno virtual 'normal', ver tabla 2.
En lo que se refiere a la comparativa entre los docentes que imparten
los dos ciclos formativos en este entorno virtual, se desprende que existe una
valoración, perceptiblemente 'mejor', entre los docentes del ciclo formativo de grado medio (74,4 puntos) y una valoración de 'B' (buena); mientras
que los docentes del ciclo formativo de grado superior su percepción es algo
menor (67,66 puntos) y un valor de grado de 'C', (normal).
El análisis inferencial de la variable categórica ciclo formativo nos indica que la variabilidad no difiere entre ambos
ciclos. Al aplicar la prueba paramétrica de t-Student, comparación de medias
para grupos independientes, el resultado obtenido es que el valor de p=0.308
(p>0,05) por lo que no existen diferencias significativas entre
ambas medias.
En referencia al análisis en base a la variable género, se observa una
ligera valoración más positiva entre los hombres (B-) que en las mujeres (C),
si bien tampoco existen diferencias significativas en cuanto a la valoración en esta variable a partir de las medias obtenidas, p=
0.559 (p>0,05). A pesar de observar ligeras diferencias entre ambas medias,
los resultados que se obtienen al aplicar la prueba paramétrica t-Student se
desprende que no se rechaza la hipótesis nula en la igualdad de
medias de la muestra poblacional del género en los docentes.
Para ambas variables, los resultados indican que el entorno virtual es
valorado de forma positiva en una catalogación de 'normal-buena'.
4.1 Análisis descriptivo de la usabilidad general
El estudio del análisis descriptivo para esta muestra, se obtiene una
media de 70,20 puntos. Con un intervalo de confianza de (63,68-76,73), siendo
la mediana de 72,50 puntos y una desviación típica de 15,44. En la figura 1, no
se aprecian valores perdidos en esta muestra. El percentil 50 (Q2) se
sitúa en el punto medio de la caja (mediana=72,500). El límite superior (Ls) es
inferior (distancia) al límite inferior. Q1=56,2500; Q2=72,5000; Q3=85,000. El
valor de RIC (rango intercuartílico) es 32,75, en el que se
encuentran el 50% de los resultados de la muestra. La gráfica presenta un
ligero desplazamiento hacia Q1 (asimetría de -0,259), existiendo además una
mayor variabilidad en el límite inferior con respecto al límite superior. Desde la perspectiva de la variabilidad, el promedio de alejarse de la
media de la puntuación de la usabilidad percibida es de 15,44 puntos
(desviación típica).
Figura 1. En la 'caja de bigotes' no existen valores perdidos en las
puntuaciones obtenidas.
Para el estudio de la prueba de normalidad se aplica la opción de
Shapiro-Wilk, muestra inferior a 30 encuestas. El resultado del p-valor es
igual a 0.199, por lo que se prosigue con el análisis
paramétrico, a partir de las medias de las puntuaciones obtenidas. En la
igualdad de varianzas (prueba de Levene), el resultado es de p= 0.001
(p<0.05); por lo tanto, se rechaza la hipótesis nula, en la igualdad de
varianzas. Las varianzas no son iguales, al ser un valor
significativo se procede al análisis de los datos mediante una prueba no
paramétrica para dicha muestra (prueba de Kolmogorov-Sminorv).
4.2 Análisis inferencial de la usabilidad percibida general
La prueba no paramétrica utilizada para el análisis de
los datos de la usabilidad percibida es la prueba K-S para una muestra (se
trata de una prueba de bondad de ajuste). Se observa que el valor de Z de
Kolmogorov-Smirnov es de 0.697, mientras que el valor de p es 0.716. Al ser p > 0.05, no se rechaza la hipótesis nula. Del análisis
inferencial, se concluye que hay evidencias suficientes para pensar que la
muestra de los docentes proviene de la distribución especificada, con un nivel
de significación del 5% (alfa), a pesar de que la muestra posee un elevado
porcentaje de error, situado en el 18,2% sobre el total de la población de los
docentes.
4.3 Valoración de la usabilidad percibida sobre la escala de
calificación
Para la valoración de esta muestra se procede a la comparación entre las puntuaciones absolutas del cuestionario SUS y la escala de
calificación propuesta por Lewis y Sauro (2018), tabla 1. El resultado de esta
comparación es que 7 docentes la califican de ‘A+’, 1 de ‘A-‘, 2 de ‘B’, 4 de
‘C+’, 2 de ‘C’, 5 de ‘D’ y 3 de ‘F’. Un 33,3% de los docentes
posee una percepción de la usabilidad percibida como ‘negativa’ frente a un
77,7% de los docentes que la valoran de forma positiva (en sus diferentes
gra-dos), ver figura 2.
Figura 2. Valoración del entorno virtual a partir de la escala de 'grado' de
calificación.
4..4 Análisis descriptivo e inferencial con respecto a la variable
ciclo formativo
En referencia a los resultados obtenidos de la usabilidad percibida con
respecto al ciclo formativo (ver tabla 3), se observa que la media de
puntuación en el CFGM es 74,44 puntos y en el CFGS de 67,66. Tras aplicar la
prueba paramétrica de igualdad de medias t-student se desprende que la
diferencia de medias no es significativa. Al aplicar la prueba de
comparación de medias (t-Student) se obtiene un resultado de valor-p= .308
(p>0,05), por lo que no se rechaza la hipótesis nula. No existen diferencias
significativas, con un error de alfa de 0,05, entre las puntuaciones
medias obtenidas en la variable ciclo formativo.
Tabla 3.
Composición y diseño del
cuestionario.
|
ítem |
Docente |
Test t-Student |
|||||||
|
|
CFGM |
CFGS |
|||||||
|
|
Media |
Mediana |
D.T. |
Media |
Mediana |
D. T. |
F. |
Levene |
Pr. T (sig.bil.) |
|
Puntuación SUS |
74,44 |
85,0 |
16,16,99 |
67,66 |
72,5 |
14,43 |
0.832 |
.372 |
.308 |
4.5. Valoración en la escala de calificación por ciclos
En base a la escala de calificación propuesta por Lewis y Sauro (2018),
ver figura 3. El primer valor, a destacar son los 5 docentes del grado medio
que valoran el entorno virtual utilizado en la Formación Profesional a
distancia con la calificación de (A+), 1 docente con el calificativo de
(C+), 2 docentes con el valor (D) y 1 con el valor (F). Tan sólo 3 valoraciones
que pueden considerarse como negativas. La valoración de los docentes del CFGM
(ciclo formativo de grado medio) puede considerarse como positivo, si bien se desprende del gráfico de barras que no existen
puntuaciones en (A, A-, B+, B, B- y C) considerados como valores positivos. En
otras palabras, no existen valores positivos intermedios. En cuanto al CFGS
(ciclo formativo de grado superior), se observa un mayor reparto de las
puntuaciones en función de cada valor calificativo.
No existe una predominancia clara de un valor con respecto al resto,
exceptuando el valor C+ valora-do por 3 docentes y el valor D, también valorado
por 3 docentes. Si embargo, los docentes que impar-ten
el ciclo formativo de grado superior incorporan valoraciones, de la escala, en
A- o B, circunstancia que no sucede con los docentes de grado medio. De esta
gráfica, se desprende que la valoración también es 'positiva' con respecto a ambos ciclos y la pequeña diferencia de medias, no
significativa, se observa claramente que está condicionada por la valoración de
A+ (5 docentes de grado medio), siguiendo la tabla 2, esta calificación sería
que el entorno virtual es considerado como 'extraordinario' (figura
3).
Figura 3. Frecuencias de la valoración en base la escala de 'grado' de Lewis y
Sauro (2018) en los ciclos formativos.
4.6 Análisis descriptivo e inferencial con respecto a la variable
género
En referencia a los resultados obtenidos de la usabilidad percibida con
respecto al género (ver tabla 4), se observa que la media de puntuación de los
hombres es superior (72,27) al de las mujeres (68,46) si bien esta
diferencia de puntuación en esta variable categórica no es significativa tras
aplicar la prueba paramétrica de igualdad de medias t-Student. La prueba de
normalidad (en este caso Shapiro-Wilk) se obtiene unos valores de 0.513 (hombres) y de 0.311 (mujeres). Los datos de este contraste de
normalidad indican que la distribución teórica de la muestra puede
corresponderse con la distribución normal y además es indicativo de aplicar la
prueba paramétrica t-Student. El resultado obtenido, de la aplicación de la
prueba t-Student, es un resultado de valor-p= .559 (p>0,05), por lo que no
se rechaza la hipótesis nula en la igualdad de medias en el género.
Tabla 4.
Resultados de la prueba t-Student
con respecto al género y la usabilidad percibida.
|
Item |
Docente |
Test t-Student |
|||||||
|
|
Hombre |
Mujer |
|||||||
|
|
Media |
Mediana |
D.T. |
Media |
Mediana |
D.
T. |
F. |
Levene |
Pr.
T (sig.bil.) |
|
Puntuación SUS |
72,27 |
72,5 |
16,21 |
68,46 |
72,5 |
15,19 |
0.005 |
.943 |
.559 |
4.6. Valoración en la escala de calificación en el género.
La valoración de la usabilidad percibida con respecto al género es muy similar, en datos, a la obtenida en los ciclos formativos. Se observan
valoraciones extremas, 7 docentes (4 hombres y 3 mujeres) su grado de
satisfacción se sitúa en el grado de ‘A+’, mientras que 5 docentes (2 hombres y
3 mujeres) el grado de satisfacción con respecto a la plataforma es de
‘F’. El resto de puntuaciones se encuentra en una horquilla entre ‘B+’ y ‘C’.
Asimismo, 3 mujeres catalogan a la plataforma en un grado ‘D’. Si bien, el
balance total es un grado de satisfacción positiva en esta variable, figura 4.
Figura 4. Frecuencias de la valoración en base la escala de 'grado' de Lewis y
Sauro (2018) en el género.
5. Conclusiones
En primer lugar, los resultados obtenidos tanto de
la usabilidad percibida en general, como del análisis por ciclos formativos y
el género, es una valoración por parte de los docentes sobre el entorno virtual
de la Formación Profesional a distancia de 'positiva' y se sitúa en un grado de
‘normal-alta’ si bien. Los resultados obtenidos
indican que los docentes que imparten la Formación Profesional a distancia
valoran el entorno virtual como 'positivo' sobre una calificación de 'C' a
nivel general. Si relacionamos la media obtenida de la puntuación de la usabilidad sobre la muestra total vemos que la medida obtenida, tabla
1, supera el valor mínimo aceptable que propone Brooke (1996, 2013) de 68
puntos. En cuanto a la valoración por adjetivos (Bangor et al., 2008) por parte
de los docentes es de ‘normal-buena'.
Los docentes que imparten el ciclo formativo de grado medio (CFGM)
poseen una valoración del entorno virtual mejor, 'B', ('buena') que los
docentes del grado superior (CFGS) que se sitúa en el valor de 'C' ('normal').
Con respecto el género se deduce que esta variable no influye en
la percepción del grado de satisfacción de los docentes tal como apuntan
estudios (Lewis & Sauro, 2009; Berkman & Karahoca, 2016).
Otro elemento, a destacar, es que con las nuevas investigaciones
realizadas sobre el cuestionario SUS permiten efectuar un análisis más
exhaustivo y concreto sobre las puntuaciones que se obtienen en este tipo de
estudios. Un claro ejemplo de ello es la relación existente entre la
puntuación que se ob-tiene en dicho cuestionario y una escala de calificación
de 'grado' de Lewis y Sauro (2018, p.161) ver tabla 2.
Esta valoración se ha realizado sobre el diseño unidimensional del
cuestionario SUS (Borsci, Federici, Bacci, Gnaldi &
Bartolucci, 2015) y siguiendo la recomendación del uso de este cuestionario
como diseño unidimensional y en base a dos factores: facilidad de uso y
facilidad de aprendizaje (Lewis & Sauro, 2017a).
El hecho que este cuestionario 'post-study' contenga únicamente 10
ítems facilita la participación del usuario en su respuesta (Tullis &
Stetson, 2004). Incorporar el último trabajo de Lewis y Sauro (2018) basado en
una relación directa entre la puntuación del cuestionario, percentiles y una escala de calificación permite a los investigadores poder comparar
sus resultados al utilizar este cuestionario sin tener que recurrir a las
puntuaciones directas. En este tipo de acciones fundamentadas en cuestionarios
de usabilidad percibida debe contemplar un conjunto de ítems
adicionales al propio SUS sobre posibles influencias que debe tenerse en cuenta
(Linek, 2017)
Referencias Bibliográficas
Bangor, A., Kortum, P.
& Miller, J. (2008). An empirical evaluation of the System Usability
Scale. International Journal of
Human-Computer Interaction, 24(6),
574-594. https://doi.org/10.1080/10447310802205776
Bangor, A., Kortum, P. & Miller, J. (2009).
Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. Journal of Usability Studies, Journal
Usability Studies, 4(3),
114-123. Recuperado de https://bit.ly/2AxFeDT
Berkman, M. & Karahoca, D. (2016). Re-Assessing
the Usability Metric for User Experience (UMUX) Scale. Journal of Usabilty Studies,
11(3), 89-109. Recuperado
de https://bit.ly/2Cicdd1
Bevan, N., Carter, J., Earthy, & Geis, T., &
Harker, S. (2016). New ISO Standards for
Usability, Usability Reports and Usability Measures. 9731. 268-278. https://doi.org/10.1007/978-3-319-39510-4_25
Brooke, J. (1996). SUS: A ‘quick and dirty’ usability scale. In P. Jordan, B. Thomas, &
B. Weerdmeester (Eds). Usability
Evaluation Industry. London: Taylor & Francis.
Brooke, J. (2013). SUS: A retrospective. JUS. Journal of Usability Studies. 8, 29-40. Recuperado de https://bit.ly/10l1nhp
Borsci, S. Federici, S.
& Lauriola, M. (2009). On the dimensionality of the System Usability
Scale: A test of alternative measurement models. Cognitive processing, 10(3),
193-7. https://doi.org/10.1007/s10339-009-0268-9
Borsci, S. Federeci, S. Bacci., Gnaldi, M. &
Bartolucci, F. (2015). Assessing user satisfaction in the era of user
experience: comparasion of the SUS, UMUX and UMUX-Lite as a Function of product
experience. International Journal of
Human-Computer Interaction, 31. 484-495. https://doi.org/10.1080/10447318.2015.1064648
Brusilovsky, P. (2004). KnowledgeTree: A
distributed architecture for adaptive e-learning. In Proceedings of the 13th International World Wide Web conference on
Alternate track papers & posters (WWW Alt. ’04). New York, USA: ACM
Press. https://doi.org/10.1145/1013367.1013386
Dubost, A., Klein, M. R., & Dang, J. (2004). Building interoperability between LMS and Brokerage Platforms. WSEAS
Transactions on Information Science and Aplications, 1(5),
1341-1347. Recuperado de https://bit.ly/2O7x4p2
Fernández-Coca, A.
Lirola, F. & Ordinas, C. (2018). El rediseño total del aula digital bajo
una estrategia en 360º, a partir de la escucha al usuario. I Congreso Internacional, Campus Digitales en Educación Superior.
Recuperado de https://bit.ly/2QhONfY
Finstad, K. (2006). System usability scale and
non-native English speakers. Journal of
Usability Studies, 1(4).
185-188. Recuperado de https://bit.ly/2pgowDP
Galanek, J., Gierdowski, D. & Christopher, D.
(2018). ECAR Study of Undergraduate
Students and Information Technology. Recuperado
de https://bit.ly/2JT92wH
Georgsson, M. & Staggers. N. (2016). Quantifying
usability: an evaluation of a diabetes mHealth system on effectiveness,
efficiency, and satisfaction metrics with associated user characteristics. Journal of the American Medical Informatics,
23(1), 5-11. https://doi.org/10.1093/jamia/ocv099
Lewis, J.R. & Sauro, J. (2009). The factor
structure of the System Usability Scale. In
Kurosu, M. (Ed.), Human Centered Design, 5619. 94-103. Heidelberg, Germany:
Springer-Verlag. https://doi.org/10.1007/978-3-642-02806-9_12
Lewis, J.R. & Sauro (2012). Quantifying the User Experience: Practical statistics for user
research. Cambridge, MA: Morgan-Kaufmann.
Lewis, J.R & Sauro, J. (2017). Can i Leave this
one out. The effect of dropping an item from SUS. Journal of Usability Studies, 13(1),
38-46. Recuperado de https://bit.ly/2uH7HDT
Lewis, J.R. (2018). Item Bencharmarks for the
system usability Scale. Journal of
Usability Studies, 13(3),
158-167. Recuperado de https://bit.ly/2WKxQw0
Kakasevski, G., Mihajlov, M., Arsenovski, S. &
Chungurski. S. (2008). Evaluating usability in Learning Management System
Moodle. 613-618. https://doi.org/10.1109/ITI.2008.4588480
Nakamura, W. T.,
Oliveira, E. H. T. & Conte, T. (2017). A systematic mapping on usability
and user experience evaluation of Learning Management Systems. Recuperado
de https://bit.ly/2OdgpQI
Nielsen, J. (1994). Heuristic evaluation. In Usability Inspection Methods. New York, USA:
John Wiley & Sons.
Linek, S.B. (2017). Order effects in usability
questionnaries. JUS, Journal of Usability
Studies, 12(4),
164-182. Recuperado de https://bit.ly/2O8POEn
Lirola, F. (2012). Diseño
e implementación de un entorno virtual para las titulaciones deportivas del
periodo transitorio en la C.A. de las Islas Baleares. Recuperado de https://bit.ly/2Jfre1x
Lirola, F. & Pérez.
A. (2015). La usabilidad percibida y el grado de satisfacción en la plataforma
moodle de la UIB a partir del cuestionario SUS. https://doi.org/10.13140/RG.2.1.3813.8329
Orfanou, K., Tselios, N. & Katsanos, C. (2015).
Perceived Usability Evaluation of Learning Management Systems: Empirical
Evaluation of the System Usability Scale.
The International Review of Research in Open and Distributed Learning. 6(2), 227-246. https://doi.org/10.19173/irrodl.v16i2.1955
Oztekin, A., Kong, Z. J. & Uysal, O. (2010). UseLearn: A novel checklist and usability
evaluation method for eLearning systems by criticality metric analysis. International Journal of Industrial
Ergonomics, 40(4), 455-469.
https://doi.org/10.1016/j.ergon.2010.04.001
Revythi, A. & Tselios, N. (2017). Extension of
Technology Acceptance Model by using System Usability Scale to assess
behavioral intention to use e-learning. Education and Information Technologies, 24(4), https://doi.org/10.1007/s10639-019-09869-4
Tullis, T. & Stetson, J. (2004). A comparison of
questionnaires for assessing website usability. Proceedings of UPA 2004 Conference.
Minneapolis, Minnesota. Recuperado de https://bit.ly/2QgHaXl