Análisis de funcionamiento diferencial en evaluaciones a gran escala

Resumen

Los análisis de funcionamiento diferencial de los ítems (DIF, por sus siglas en inglés), son esenciales para sustentar la calidad y equidad de un examen, ya que señalan ítems que pudieran estar sesgados. Se han desarrollado diferentes métodos para realizar estos análisis y se ha comparado su eficacia por medio de la manipulación de diversas variables, incluido el número de participantes. Generalmente se estudian grupos con hasta 2,000 integrantes, sin embargo, los exámenes a gran escala son aplicados a un número considerablemente mayor de personas.
Este estudio exploró la eficacia de cuatro métodos tradicionales para analizar DIF en muestras de personas con un tamaño similar al de los grupos de evaluados que presentan los Exámenes Nacionales de Ingreso (EXANI) en una misma aplicación. Los EXANI son pruebas a gran escala con ítems dicotómicos, aplicadas a miles de aspirantes a ingresar a una institución de educación media superior o superior en México por el Centro Nacional de Evaluación para la Educación Superior (Ceneval). Se realizaron simulaciones en las que se generaron muestras de tamaños similares a las de las aplicaciones de estos exámenes y se manipularon los valores de los parámetros de dificultad del 10% o el 20% de los ítems de una de sus áreas para que presentaran DIF Uniforme moderado y alto. Se verificó la eficacia de los métodos de Mantel-Haenszel, Regresión Logística, Lord y Raju, comparando el porcentaje de ítems detectados con su grado de DIF de forma correcta (ítems manipulados), así como el porcentaje de falsas detecciones en los reactivos sin DIF.
Los métodos de Mantel-Haenszel, Lord y Raju fueron los más eficaces para detectar funcionamiento diferencial uniforme en las muestras simuladas, por lo que se confirma su posible implementación en exámenes a gran escala con ítems dicotómicos con muestras de hasta 200,000 evaluados.

Palabras clave: Análisis de Funcionamiento Diferencial Uniforme, Ítems Dicotómicos, Evaluaciones a Gran Escala, Método Mantel-Haenszel, Método de Regresión Logística, Método de Lord, Método de Raju