Intervalos de confianza en el estudio de la fiabilidad: un análisis necesario
Confidence interval in reliability reports: a necessary analysis
S. A. Domínguez-Lara
http: //dx.doi.org/10.4321/S1137-6627/2016000100024
Universidad de San Martín de Porres. Lima. Perú.
Correspondencia:
Sergio Dominguez Lara
Instituto de Investigación de Psicología
Universidad de San Martín de Porres
Av. Tomás Marsano 242-5º
Lima 34 - Perú
E-mail: sdominguezmpcs@gmail.com
Sr. Director
En los estudios cuyo objetivo es analizar las propiedades métricas de instrumentos de evaluación es deseable contar con evidencias de fiabilidad, entre las que destacan el análisis de la consistencia interna y el acuerdo entre observadores. Es habitual estimarlas a través del coeficiente alfa1 y k2 respectivamente. Ambos procedimientos fueron empleados por Orovigoicoechea y col3, aunque sus resultados pudieron ser complementados con intervalos de confianza (IC) para alfa y k con el objetivo de brindar información adicional para su interpretación, ya que si bien es importante el estudio de la fiabilidad en toda investigación empírica4, éste debe ser completo.
Estos indicadores suelen valorarse a partir de estándares establecidos5,6, pero resulta necesario considerar el carácter inestable de los estadísticos, es decir, que su valor puede fluctuar en función del número de ítems, tipo de muestra, o el error de muestreo (para el caso de alfa), así como por las características de los observadores o las condiciones de observación (para el caso de k)7. Estos factores afectan las estimaciones, por lo cual es necesario saber que, aún en las peores condiciones, el indicador hallado podría tener utilidad práctica. Ante ello, es conveniente calcular los IC para los estimadores de la fiabilidad, el cual se interpreta como el rango de todos los posibles valores del parámetro bajo cierto nivel de confianza (usualmente 95%).
En la práctica, el IC se interpreta de forma distinta para alfa y k. Para alfa, se espera que su límite inferior sea 0,70 o mayor8, ya que eso garantizaría que aún en el escenario menos favorable, la fiabilidad de los puntajes resulta aceptable. En cuanto a k, se espera que el IC no incluya al cero, indicador de que es estadísticamente significativo, además de una magnitud moderada6.
Para el análisis complementario propuesto, existen los datos necesarios para el cálculo del IC de alfa (magnitud del coeficiente, y n = 80), pero no para k6. El indicador presentado en el manuscrito es de alfa = 0,71, el cual podría valorarse como adecuado5, pero un análisis de su IC a través del método de Fisher8 podría brindar un panorama diferente. Usando el módulo ICAlfa9, los resultados indican que el IC va de 0,581 a 0,804. Esto significa que el alfa hallado podría incorporar más error de medición que el permitido, afectando posteriormente los análisis estadísticos llevados a cabo.
A partir del panorama presentado, es necesario que esos procedimientos sean presentados de forma rutinaria en los estudios de validación, dado que brindan un mayor respaldo a los hallazgos, y permiten una valoración más precisa de los indicadores de fiabilidad.
Bibliografía
1. Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16; 297-334.
2. Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas 1960; 20: 37-46.
3. Orovigoicoechea C, Carvajal A, Soteras MA, Beortegui E, De La Hera, C, Aznárez MA. Validez y fiabilidad de la versión española de la guía de valoración oral (OAG) en pacientes con cáncer. An Sis Sanit Navarra 2015; 38: 225-233.
4. Dominguez S. Sobre el reporte de la confiabilidad en la Revista Cubana de Salud Pública. Revista Cubana de Salud Pública. Rev. Cubana Salud Pública 2016, 42 (2). Disponible en http://www.revsaludpublica.sld.cu/index.php/spu/article/view/852/564.
5. Ponterotto JG, Charter RA. Statistical extensions of Ponterotto and Ruckdeschel´s (2007) reliability matriz for estimating the adecuacy of internal consistency coefficients. Percep Mot Skills 2009; 108: 878-886.
6. Muñiz J. Teoría clásica de los tests. Madrid: Pirámide; 2003.
7. Meyer JP. Reliability. New York: Oxford University Press; 2010.
8. Romano JL, Kromrey JD, Hibbard St. A Monte Carlo study of eight confidence interval methods for coefficient alpha. Educ Psychol Meas 2010; 70: 376-393.
9. Domínguez S, Merino C ¿Por qué es importante reportar los intervalos de confianza del coeficiente alfa de Cronbach? Rev Latino Cien Social Niñez Juventud 2015; 13: 1326-1328.