INTRODUCCIÓN

La influencia del diseño de las preguntas del cuestionario en las respuestas de los entrevistados es un ámbito de estudio con gran tradición. Se trata de una línea de trabajo ininterrumpida desde mediados del siglo XX –entre otros, Bishop y Smith (2001), Cantril (1944), Payne (1951), Schwarz y Sudman (1992); Schuman y Presser (1996)–; aunque la llegada de nuevos modos de administración de cuestionarios ha desplazado la atención de la encuesta presencial a otras modalidades (Díaz de Rada, Domínguez, y Pasadas, 2019).

Este trabajo se enmarca dentro de esta línea de investigación, y tiene como objetivo evaluar hasta qué punto el diseño de las preguntas en encuestas telefónicas influye en las respuestas del cuestionario. La encuesta telefónica como técnica de recogida de información aparece en el último tercio del siglo XX, convirtiéndose en el modo más utilizado en el último decenio de dicho siglo. Su menor coste, la popularización del teléfono, y la rapidez en la recogida de la información fueron los factores que ayudaron al desarrollo de este modo de encuestas –entre otros, Couper (2008) y Dillman (2020)–.

Aunque actualmente no se trata de la modalidad más utilizada, hay determinadas temáticas –como la prospección electoral durante la campaña electoral– donde la encuesta telefónica ha desplazado por completo al resto de modos (Díaz de Rada y Ayerdi, 2007; Insights Analytics España, 2021). Del gran número de aspectos susceptibles de ser analizados, este trabajo se ocupa de tres de ellos:

1. En primer lugar, detectar si el cambio en el orden de administración de las opciones de respuesta –en preguntas cerradas– influye en el número de respuestas no definidas1 y en el número de respuestas ‘no sabe’ y preguntas sin responder (en adelante, respuesta específica2).

2. El segundo objetivo es detectar la influencia en el número de respuestas no definidas y no específicas (respuestas ‘no sabe’ y no responde) producidas por la reducción de la complejidad de las preguntas. Esta reducción se produce al descomponer una pregunta –con varias respuestas– en preguntas dicotómicas.

3. Como tercer objetivo, conocer si ambos aspectos (orden de administración y reducción de la complejidad de la pregunta) influyen en el tiempo de respuesta del cuestionario.

Aunque existen investigaciones sobre cada uno de estos aspectos, no han sido localizadas investigaciones que consideren los tres aspectos conjuntamente.

El trabajo comienza revisando las investigaciones más relevantes sobre la influencia del orden de administración del cuestionario en las opciones en la respuesta, seguido de una síntesis de los trabajos que justifican la modificación de las preguntas para adaptarlas a la administración oral. La metodología de la investigación es presentada en el segundo epígrafe. Ahí se da cuenta de las situaciones experimentales y de las técnicas de análisis de datos utilizados. En el tercero se presentan los resultados obtenidos, y en las conclusiones se apuntan diversas explicaciones a todos los hallazgos.

REVISIÓN DE LA LITERATURA

En este primer epígrafe se exponen los resultados de investigaciones sobre cómo varían las respuestas según el orden de administración de las opciones. En el segundo se presentan los hallazgos sobre los efectos producidos al cambiar el formato de las preguntas. En el tercer sub-epígrafe se detallan las implicaciones de conseguir respuestas no sustantivas.

Importancia del orden de administración de las opciones de respuesta

La influencia que tiene la disposición de las opciones de respuesta en preguntas cerradas ha sido un tema clásico de la investigación en encuestas (entre otros, Bradburn, 1983; Dillman, et al., 1995; Fuchs, 2005; Krosnick, 1992; Schwarz et al., 1992). Este interés aumentó notablemente tras el descubrimiento del efecto satisfacing o complacencia (Krosnick, 1991). Krosnick y Alwin (1987) detectaron que las opciones de respuesta colocadas al comienzo y al final son más elegidas, provocando así la aparición de efectos de primera y última opción (primacía y recencia respectivamente). Los primeros ocurren con más frecuencia en la administración visual (encuestas cara a cara o autoadministradas), y los segundos son más propios de la administración oral (encuestas telefónicas). Aunque estos resultados han sido constatados en investigaciones realizadas en diferentes contextos (entre otras, Schuman y Presser, 1996, Roberts, Gilbert, Allum, et al., 2019; Díaz de Rada, 2000), apenas se ha estudiado el efecto que produce el orden de las opciones en proporcionar respuestas no específicas (no sabe y no responde) y en la elección de respuestas no definidas.

Una de las aportaciones más interesantes –para el tema del presente trabajo– es la realizada por Holbrook et al. (2000) en la norma que considera que el orden en el que las personas proporcionan información indica la importancia de esta (información), de modo que las más importantes son comunicadas en primer lugar. Cuando esta norma es violada se produce una situación de incomprensión que puede generar disfunciones en las respuestas. La encuesta, “un especial caso de conversación entre individuos, una conversación con un propósito” (Bradburn, 1992, p. 315), deberá seguir las convenciones sociales presentes en las normas de conversación. Este es el punto de partida de este trabajo, que trata de conocer hasta qué punto no seguir las recomendaciones de colocar primero las opciones favorables/positivas genera una situación de incomprensión en los entrevistados que incrementa el número de respuestas intermedias o respuestas no específicas. La mayor parte de la investigación –realizada en la sociedad norteamericana– desvela que los entrevistados responden más rápido cuando las categorías de respuesta comienzan con opciones favorables (entre otros, Tourangeau, Couper, y Conrad, 2013; Dilman, Smyth, y Christian, 2014).

A este aspecto Smyth et al. (2019) añaden el procesamiento heurístico que plantea que "izquierda y arriba significa bueno, adecuado". Esta idea plantea que los encuestados esperan que la opción más positiva aparezca en la parte superior de las listas verticales, o en el extremo izquierdo de las listas horizontales, y que el resto siga en una progresión lógica y ordinal. Esto se explica, en la medida que se lee de izquierda a derecha y de arriba abajo (en occidente). Smyth et al. (2019) revisaron 150 ítems en 11 estudios y localizaron diferencias en las calificaciones medias según los órdenes de escala positivos y negativos.

Se trata de un ámbito de estudio que diversos expertos consideran que precisa de más investigación. Así, tres investigadoras con múltiples publicaciones sobre el tema, advierten que “futuros estudios en otros idiomas deberían examinar si comenzar con el extremo negativo de la escala afecta o no a la distribución y al número de respuestas” (Garbarski, Schaeffer, y Dykema, 2016: 2121). El presente trabajo sigue tal recomendación.

¿Cómo influye la “descomposición3” de las preguntas en las respuestas de los entrevistados?

La menor utilización de la encuesta presencial a favor de la encuesta telefónica precisa de determinadas modificaciones en las preguntas para adaptarlas a la administración oral. Así, mientras que el cuestionado presencial y el autoadministrado emplea recursos visuales y orales4, la encuesta telefónica se limita a la utilización de recursos orales.

Para reducir el esfuerzo memorístico de los encuestados a través del teléfono Dillman recomienda descomponer las preguntas con numerosas opciones de respuesta en dos preguntas; “la primera interroga por la dirección (o tendencia) y la segunda por el grado o intensidad” (Dillman, 1978, p. 208). Esta estrategia se basa en el “principio de descomposición” que considera que las personas hacen mejores juicios cuando los temas se presentan desagregados, es decir, uno a uno (Armstrong, Denniston, y Gordon, 1975).

Una de las primeras investigaciones que utilizó este recurso5 es el clásico trabajo de Groves y Kahn (1979) realizado para comprobar hasta qué punto la encuesta telefónica es equivalente a la encuesta presencial. En este estudio las preguntas fueron modificadas para adaptarlas a la administración oral. En aquellas preguntas en las que se utilizaba una tarjeta de respuesta en el cuestionario presencial, en el telefónico se dividían en dos, preguntando la primera sobre tendencia o dirección y la segunda sobre intensidad.

Esta forma de proceder ha sido muy utilizada, y es recomendada por diferentes manuales de encuestas telefónicas –entre otros, Sudman y Bradburn (1982), Frey (1989)–, aunque no es hasta 1993 cuando se investiga en profundidad sobre su adecuación. Basados en la información de ocho estudios (5 con población general y tres con estudiantes), Krosnick y Berent (1993) constatan que la descomposición de las preguntas logra respuestas más fiables y válidas.

En línea con estos descubrimientos, la mayor parte de las investigaciones realizadas han localizado mayores tasas de fiabilidad y validez en las preguntas descompuestas –entre otros, Aldrich, Niemi, Rabinowitz, et al. (1982). Alwin (1992), Dillman, Smyth y Christian (2014), Krosnick y Berent (1993), Malhotra, Krosnick, y Thomas (2009)-. Hay también trabajos que localizan tasas similares –Miller (1984), Treier y Hillygus (2009), Gilbert (2015)–, si bien este último reconoce que podrían localizarse resultados diferentes según el tema de estudio y el modo de administración.

En lo que hay más acuerdo es en el mayor número de respuestas extremas obtenidas en las preguntas descompuestas –entre otros, Alwin (1982), Groves y Kahn (1979); De Leeuw, Hox, y Scherpenzeel (2010), Nicolaas, Thompson, y Lynn (2000), Yu, Albaum, y Swenson (2003)–. Otras investigaciones consideran que las preguntas descompuestas consiguen una mejor detección de actitudes y de comportamientos –entre otros, Aldrich et al. (1982), Yu, Albaum, y Swenson (2003)–, aunque algunos trabajos encuentran un mayor número de no respuesta parcial (Miller, 1984). En las últimas investigaciones publicadas Gilbert (2015) y Debell et al. (2021) descubren que las preguntas descompuestas necesitan más tiempo para ser respondidas, aumentando así el coste del trabajo de campo y, consecuentemente, el coste de la investigación. Ahora bien, es un aspecto sobre el que existe poco acuerdo ya que otros expertos respaldan que las preguntas descompuestas se responden más rápidamente –entre otros, Dillman, Smyth, y Christian (2014), Krosnick y Berent (1993), Malhotra, Krosnick, y Thomas (2009)–.

Frente a los hallazgos obtenidos por esta “novedosa” forma de plantear las preguntas, el análisis de la práctica habitual de la investigación en opinión y estudios de mercados en España desvela un olvido de esta estrategia. En numerosas ocasiones se utilizan preguntas con numerosas opciones de respuesta, situación totalmente inadecuada para la administración de cuestionarios telefónicos (Olson, Smyth y Kirchner, 2020).

Respuesta no sustantiva, respuestas específicas

Entendemos como respuestas no específicas (Peytchev, Couper, McCabe, et al., 2006) responder ‘no sabe’. o manifestar explícitamente que no se desea responder (‘no respuesta’). La respuesta no sustantiva se produce cuando se eligen respuestas no definidas que impliquen ausencia de posicionamiento ante lo preguntado. Son respuestas del tipo ‘regular’, ‘ni acuerdo ni desacuerdo’, ‘ni lo uno ni lo otro’, etc. Estas últimas son respuestas que la mayoría de los textos y manuales recomiendan no leer -entre otros, Azofra (1999, p. 23) Gutiérrez, Sotomayor, y Garrido (2004); Sudman y Bradburn (2002), Schuman y Presser (1996, p. 161)-, aunque si ser recogidas si el encuestado lo expresa espontáneamente.

La respuesta no especifica, así como la localización de respuestas no definidas, supone un gran problema en la investigación con encuesta por dos razones: la primera, y más importante, es la pérdida de información, y por lo tanto el descenso en la calidad de las respuestas. En segundo lugar, las implicaciones que esta ausencia tiene en el análisis de datos, planteando problemas para la aplicación de técnicas multivariantes (Montagni, Cariou, Tzourio, et al., 2019).

Aunque existen técnicas para reparar la presencia de respuestas no específicas (entre otros, Cabrera-Álvarez y Escobar, 2019; Escobar y Jaime, 2013; Raghunatham, Berglund, y Solenberg, 2018), la realidad de la investigación da cuenta de su escasa utilización. Una revisión de las investigaciones aparecidas en seis de las revistas más prestigiosas dentro de la investigación en Ciencias Sociales6 le lleva a Berchtold (2019) a constatar que el 55% de los artículos no aluden a faltas de respuesta, aun cuando en la mitad de ellos la no respuesta está presente.

Del resto, los que sí hacen referencia a la falta de respuesta, el 75% no explican las razones por las que se produce, ni se informa de su número, ni en qué medida pueden afectar a los resultados (Berchtold, 2019). Respecto a cómo solucionar el impacto de la presencia de respuestas no específicas, algo más de la mitad emplean la eliminación por parejas o la eliminación del caso cuando falte una respuesta (pairwise y listwise). La otra mitad emplea métodos de imputación, principalmente imputación simple (utilizando la media o la mediana) y –con menos frecuencia– múltiple (interpolación lineal y regresión). Ninguno de los artículos revisados utiliza técnicas más desarrolladas como la máxima verosimilitud (Berchtold, 2019).

Krosnick y Presser (2010) realizaron una revisión de los trabajos que postulan que la opción ‘sin opinión’ solo es respondida por los entrevistados que desconocen el tema, o si el hecho de presentarla atrae a los encuestados que realmente tienen opiniones (y que no desean expresarlas). Sus hallazgos les llevan a la conclusión de que la opción ‘no sabe’ no es el resultado de una falta de opinión del entrevistado, sino un reflejo de la ambivalencia, ambigüedad, intimidación, y la autoprotección. Menold y Bogner (2016) llegan a una conclusión similar tras revisar investigaciones más recientes. De hecho, una investigación sobre la actitud de los estadounidenses sobre China, publicada en el momento de redacción de este trabajo, desvela que solo un 6% de las respuestas ‘no sabe’ son debidas a la ausencia real de información sobre lo preguntado (“no sabe real”), mientras que en el 94% restante aparecen ideas sobre la economía de China, la relación de China con los Estados Unidos, abusos de derechos humanos, menciones a la COVID-19, superpoblación o contaminación (Moncus, 2021). Esta situación es una prueba más de que incluir esta opción lleva a las personas a responder de forma diferente (Shaeffer y Presser, 2003), por lo que recomiendan no utilizarlas en preguntas de actitudes.

Respecto a la elección de respuestas no definidas (‘regular’, ‘ni de acuerdo ni desacuerdo’, etc.), diversas investigaciones -entre otros, Bishop (1987), Brace (2018), Kalton, Roberts, y Holt (1980)- han demostrado que ofrecer esta opción, recoge un gran número de elecciones. El clásico trabajo de Schuman y Presser (1996) lo sitúan entre el 11% y el 20% de los casos, aunque en dos de ellos aumenta hasta el 22% y el 39%.

Investigaciones realizadas por Bishop (1990) le llevan a la conclusión de que las opciones de respuesta no definidas son más elegidas por los entrevistados que consideran la pregunta menos importante, y por los que tienen actitudes menos intensas. O’Muircheartaigh, Krosnick, y Helic (1999), por su parte, consideran que son más utilizadas por aquellos con menos interés en el tema de investigación, independientemente del conocimiento que se tenga (Baka, Figgou, y Triga, 2012). Una investigación de estos últimos desvela que la mayoría de estas respuestas no definidas (alrededor del 75%) no tienen su origen en la falta de conocimiento o de opinión.

Schaeffer y Presser (2003) consideran que las respuestas no definidas son manifestación de la indiferencia o ambivalencia hacia el tema (aburrimiento en el cuestionario o no interés por el tema). Ahora bien, Baka, et al. (2012) dicen que esto sucede en menos del 2% de las respuestas. En esta línea se manifiesta Truebner (2021) cuando da cuenta de una ausencia de relación entre la elección de esta respuesta y la baja capacidad y motivación.

Para Schuman y Presser (1996) y Clifford, Kim, y Sullivan (2019) esta respuesta puede considerarse como una forma de no respuesta, en la medida que “esta categoría atraerá a personas que en otro caso dirían ‘no sabe’, pero prefieren dar una respuesta que suene más sustantiva” Schuman y Presser (1996, p. 170). Por este motivo algunos investigadores (entre otros, Wetzelhütter, 2020) lo atribuyen a un efecto de deseabilidad social (entre otros, Baka, Figgou y Triga, 2012; Wetzelhütter, 2020).

En esta línea se sitúa la revisión de las investigaciones realizadas en las dos últimas décadas del siglo pasado, donde Krosnick y Fabrigar (1997) concluyen que omitir estas opciones en preguntas de actitud proporciona un mayor número de actitudes reales: “la evidencia sobre la validez es mixta y la teoría de la complacencia sugiere que la inclusión de puntos medios puede disminuir la calidad de la medición” (Krosnick y Fabrigar, 1997: 148).

En definitiva, este trabajo busca localizar hasta qué punto el orden de administración de las opciones de respuesta y la estructura (descompuesta/no descompuesta) de la pregunta pueden explicar el número de respuestas no definidas, no específicas (‘no sabe’, ‘no responde’), y respuestas extremas. Otro aspecto a considerar es conocer si la estructura de la pregunta y el orden de administración influyen en el tiempo empleado en responder el cuestionario.

APLICACIÓN A UN CASO

El presente epígrafe comienza con las respuestas ‘no definidas’ y el análisis de cómo influye el orden de administración en las respuestas de los entrevistados. Tal y como se señaló en el epígrafe 1.1, ofrecer las opciones de respuesta en sentido favorable o desfavorable genera una situación de incomprensión en los entrevistados que lleva a plantear la primera hipótesis:

• H1: Colocar primero las opciones favorables/positivas reduce el número de respuestas intermedias o ‘no definidas’.

El segundo objetivo de la investigación es conocer cómo influye la descomposición de las preguntas según la dirección y la intensidad. La revisión de la literatura mostrada en el epígrafe 1.2 localiza en éstas un menor número de respuestas centrales, así como un mayor tiempo para ser respondidas. Esta situación genera el planteamiento de las siguientes hipótesis:

• H2: El número de respuestas ‘no definidas’ está más condicionado por la estructura de la pregunta (descompuesta o convencional) que por el orden de administración de las respuestas.

• H3: Las preguntas descompuestas proporcionan un mayor número de respuestas extremas; término referido a mayores elecciones de las categorías más inferiores (1 o 2) y superiores (4 o 5).

En la sección 1.3 se analizó la respuesta no específica, diferenciando entre responder ‘no sabe’ sobre el tema y optar por ‘no responder’. La hipótesis planteada postula que:

• H4: Colocar primero las opciones favorables/positivas reduce el número de personas que responden ‘no sabe’, y aumenta la falta de respuesta.

Dentro de la respuesta no específica existen “efectos combinados” del uso conjunto del orden de administración y la estructura de la pregunta, dando cuenta de una laguna considerable en las investigaciones sobre el tema. Se plantean las siguientes hipótesis:

• H5: El número de respuestas ‘no sabe’ varía en las dos condiciones experimentales, estando más condicionado por la estructura de la pregunta que por el orden de administración de las opciones de respuesta.

• H6: En la ausencia de respuesta (esto es, no responder a la pregunta), influye más el orden de administración que la estructura de la pregunta.

Desvelada la influencia del orden de administración y de la estructura de la pregunta, el tercer objetivo de artículo era conocer la influencia de ambos en el tiempo de respuesta del cuestionario, por lo que se propone la siguiente hipótesis:

• H7: Las preguntas descompuestas precisan de más tiempo para responder el cuestionario, y más aún si comienzan con respuestas negativas/desfavorables.

Por último, la influencia del orden de administración y la estructura de la pregunta precisa considerar la posible presencia de otros aspectos intervinientes relacionados con los rasgos sociodemográficos de los entrevistados:

• H8: El número de respuestas ‘no definidas’, respuestas ‘no sabe’ y ‘no responde’, están más condicionadas por la estructura de la pregunta y el orden de administración que por variables sociodemográficas.

Condiciones experimentales

Para comprobar estas hipótesis se elaboró un cuestionario con cuatro versiones diferentes que fueron administradas telefónicamente7 a cuatro muestras equivalentes con la misma distribución en cuanto a sexo, edad, nivel de estudios y relación con la actividad (ver anexo 18). Tal y como se muestra en el tabla 1, la mitad de la muestra (400 entrevistados) respondió un cuestionario con preguntas con forma “convencional”, y la otra mitad con preguntas descompuestas en dos.

Tabla 1. Diseño de la condición experimental

Fuente: elaboración propia.

En el tabla 1 aparecen los cuestionarios a utilizar según el orden de lectura y las diferentes categorías de respuesta. En la fila A1 se muestra el cuestionario con las respuestas que comienzan por opciones favorables (‘muy buena’, ‘interesado/a, etc.) y terminan en opciones desfavorables (‘muy mala’, ‘nada interesado’, etc.). En la fila A2 se invierte el orden y se comienza por las opciones desfavorables (‘muy mala, ‘nada interesado’, etc.). La primera administración será denominada favorable y la segunda invertida. Las columnas se dedican a la estructura de la pregunta, optando por una pregunta que recoge conjuntamente dirección e intensidad (B1), o por dos preguntas donde la primera se ocupa de la dirección y la segunda de la intensidad (B2).

Explicada la diferencia de las letras, los números (1 y 2) indican que las preguntas del cuestionario “2” presentan la situación experimental (orden invertido y descompuestas en dos preguntas), mientras que los etiquetados con el “1” (A1 y B1) presentan la situación habitual. Se presenta un ejemplo, con dos preguntas, en el cuadro 1.

El personal que realizó el trabajo de campo recibió una completa formación que incluyó la realización de 20 encuestas, cinco de cada modelo de cuestionario. Además, con el fin de garantizar la comparabilidad de las submuestras todos los entrevistadores realizaron el mismo número de entrevistas en cada una, y se llevó a cabo una exhaustiva supervisión de todas ellas.

Cuestionario

Se utilizó un cuestionario formado por 48 preguntas, aunque la situación experimental objeto de este trabajo se centró en una parte, concretamente 8 preguntas con 16 variables que recogen opiniones y actitudes sobre su comunidad autónoma, y cuya temática se muestra en el tabla 2 (el texto completo puede consultarse en el anexo 2). Con el fin de eliminar cualquier atisbo de contaminación se colocaron al principio del cuestionario y fueron respondidas las primeras, tratando de eliminar el efecto asimilación (Carlson, Mason, Saitiel, et al., 1995; Schwarz y Bless, 1992).

Cuadro 1. Diferencias entre los cuestionarios A y B: ejemplo en dos preguntas

Fuente: elaboración propia. Ver anexo 2.

En 12 de las 16 variables se ofrecieron cuatro opciones de respuesta –de las cinco disponibles– ya que la opción central (‘regular’/’ni buena ni mala’, etc.) no fue leída, siguiendo así las recomendaciones de investigaciones previas (entre otros, Brace, 2018; Bishop, 1987; Kalton, Roberts y Holt, 1980; Krosnick y Presser, 2010) que señalan que ofrecerla recoge un gran número de elecciones. No obstante, cuando el encuestado la indicaba de modo espontáneo era recogida por los entrevistadores. En cualquier caso, los entrevistados se encontraron siempre con respuestas de cuatro opciones, respetando así la recomendación de no superar las “tres o cuatro alternativas”, planteadas por autores como Sudman y Bradburn (1982) y Schwarz et al. (1992).

Considerando la limitación visual que supone el medio telefónico, se siguieron las normas de “preguntas sencillas” de Olson y Smyth (2015): enunciados breves, categorías de respuesta cortas, y preguntas que no precisen de decisiones por parte del entrevistador. Son aspectos que producen cambios en la aplicación por parte de los encuestadores, tal y como han demostrado (Olson, Smyth y Kirchner, 2020).

Tabla 2. Preguntas consideradas en el experimento (en el anexo 2 se muestra el texto literal de cada pregunta)

Fuente: elaboración propia. El texto completo se presenta en el anexo 2.

Técnicas de análisis de datos

La primera fase del análisis de datos fue “recomponer” las preguntas descompuestas convirtiéndolas en preguntas convencionales. Se explicará el proceso considerando las preguntas del cuadro 1. Cuando en el cuestionario descompuesto (cuestionario B en el cuadro 1) el entrevistado responde ‘Buena’, el encuestador pregunta si ‘Buena’ o ‘Muy buena’.

En este proceso de “recomponer” los encuestados que respondieron la primera opción (buena) son codificados con el mismo valor que en el cuestionario A, el 2 en este caso, y cuando la respuesta es ‘muy buena’ adoptan el primer valor de codificación. De la misma forma se opera con las respuestas ‘mala’ y ‘muy mala’; convirtiendo así las dos preguntas (descompuestas) en una pregunta comparable a la realizada en el cuestionario tipo A. Las respuestas espontáneas ‘regular’ en el cuestionario B no precisa de ninguna transformación, ya que se han codificado igual en ambos cuestionarios A (ver cuadro 1).

El impacto de las dos situaciones experimentales10 en el número de respuestas no sustantivas (‘indefinidas’) y no específicas (‘no sabe’ y ‘no responde’) llevó a elaborar tres variables que recogen el número de ocasiones en las que se produce cada una. Con el fin de conocer si existen diferencias significativas en cada situación experimental se utilizó el test de significación de la diferencia de medias, tal y como han procedido investigaciones similares realizadas en otros contextos (entre otros, Chang y Krosnick, 2010; Holbrook, Krosnick, Moore, et al., 2007; Bishop y Smith, 2001; Krosnick y Berent, 1993).

Para constatar que estas diferencias no cambian según los rasgos sociodemográficos de los entrevistados se empleará la técnica de la regresión. Esta considera como término dependiente las tres variables que recogen la frecuencia de aparición (‘no sabe’, ‘no responde’, etc.) y como independientes la situación experimental, sexo, edad, nivel de estudios y relación con la actividad. Han sido introducidos también –como términos independientes– la interacción entre las dos situaciones experimentales, y la interacción del nivel de estudios con la edad.

Considerando el tipo de información recogida (recuentos) se optó por la utilización de una regresión de Poisson, adecuada para este tipo de información (Hamilton, 2006). Uno de los aspectos que deben considerarse en este modelo de regresión es la dispersión proporcional de la media, es decir, que la varianza de cada patrón de variabilidad sea proporcional a su media. Se trata de un supuesto frecuentemente violado cuando se utilizan variables categóricas, o variables cuantitativas con pocos valores, apareciendo problemas de dispersión. La presencia de este efecto en la regresión de Poisson se conoce mediante el parámetro de escala (cociente del valor de la desvianza entre los grados de libertad), donde valores similares a 1 indican ausencia de dispersión. En el presente estudio se han obtenido parámetros de escala elevados que ha llevado a utilizar la binomial negativa, atenuando así el efecto de la sobredispersión en las estimaciones de los coeficientes.

RESULTADOS

Este apartado se divide en tres subepígrafes dedicados a la influencia del orden de administración y la estructura de la pregunta, en el número de respuestas no definidas y en el número de respuestas no sabe y no responde. En el epígrafe 3.2 se considera el tiempo de respuesta del cuestionario, y en el siguiente se lleva a cabo una exposición de posibles factores intervinientes.

Influencia del orden de administración de las opciones de respuesta y de la estructura de la pregunta

Recordando lo dicho en el epígrafe anterior las respuestas objeto de esta investigación son la respuesta no definida –o central– en variables con opciones de respuesta impares, no responder alegando ‘no saber’, y manifestaciones explícitas de no responder (no respuesta).

Respuesta no definida o central

Respecto a la respuesta no definida (hipótesis 1), 12 de las 16 variables estudiadas presentaban las opciones ‘regular’/’ni satisfecho ni insatisfecho’/’ni acuerdo ni desacuerdo’ 11; opciones que no eran ofrecidas al entrevistado, y que fueron recogidas únicamente cuando éste las expresaba de forma espontánea. En ningún momento los entrevistadores trataron de que el entrevistado se definiera, únicamente anotaron esta respuesta cuando era manifestada.

Para conocer la frecuencia de esta situación se ha elaborado un índice que recoge el número de ocasiones en que se elige la respuesta central, cuyos valores oscilan entre 0 y 11 12, obteniendo una media de 3,01 elecciones en la categoría central (tabla 3). Considerar la totalidad de este tipo de respuestas presenta diferencias significativas en el orden de administración de las categorías: medias de 2,85 y 3,18, diferencia de 0,33 que es significativa al 95%, en línea con lo planteado por la primera hipótesis, que apuntaba a que colocar primero las opciones favorables reduce el número de preguntas no definidas. Esta diferencia aumenta notablemente cuando se considera la estructura de la pregunta (2,53 y 3,49); presentando las preguntas descompuestas un número superior de respuestas no definidas13.

Ahora bien, la interpretación del número medio de variables es compleja porque el lector debe considerar siempre que se está trabajando con 12 variables, por lo que a partir de este momento se utilizarán porcentajes en lugar de cantidades promedio, tal y como se ha procedido en trabajos similares (entre otros, Holbrook et al., 2007; Bishop y Smith, 2001). Su interpretación es más sencilla al indicar que el porcentaje medio de respuestas no definidas es del 25,1% (tabla 3), cifra que asciende al 26,5% cuando se presenta como primera respuesta la opción desfavorable (invertida). En definitiva, y siguiendo lo propuesto por la primera hipótesis, la administración comenzando por las opciones favorables/positivas en una pregunta logra un menor número de respuestas no definidas).

Ahora bien, el promedio del 25,1% (parte superior de la tabla 3) llega al 29,1% cuando se utilizan dos preguntas. Esto nos lleva a considerar lo postulado por la segunda hipótesis, que alude a la magnitud de influencia de las dos situaciones experimentales en el número de respuestas no definidas. Obsérvese que esta respuesta está más condicionada por la estructura de la pregunta: con una diferencia de 8 puntos porcentuales (21,1-29,1), frente a los 2,8 puntos (23,7-26,5) del orden de administración.

Constatada la influencia de la descomposición de las preguntas, un escaso número de respuestas en la categoría central debería generar una mayor respuesta en las categorías extremas (tercera hipótesis), si bien la situación detectada no es tan evidente.

De hecho, cuando se recogen las respuestas obtenidas en las opciones primera, segunda, cuarta y quinta, en las preguntas descompuestas se producen más respuestas extremas en la primera y segunda categoría. El incremento en la quinta categoría es muy reducido, lejos de ser digno de reseñar. Por tanto, solo dos –de los cuatro términos– presentan diferencias significativas (tabla 4), lo que nos impide aceptar la tercera hipótesis.

Tabla 3. Número medio de respuestas no definidas (y % respecto a las 12 variables objeto de la experimentación)

Fuente: elaboración propia.

Tabla 4. Número medio de respuestas extremas

Fuente: elaboración propia.

No responder por desconocimiento: respuesta ‘no sabe’

Para conocer el impacto en el número de respuestas ‘no sabe’ se ha procedido de la misma forma que en el caso de las respuestas no definidas, elaborando un índice con el número de veces en las que los entrevistados han elegido cada una (tabla 5). La variable ‘no sabe’ oscila entre 0 y 11 (nadie deja más de 11 variables sin responder), con una media de 1,05 preguntas sin respuesta; lo que implica que el porcentaje medio de variables con respuesta ‘no sabe’ es 6,5% 14, más del doble que las preguntas sin respuesta (1,05 y 0,5 respectivamente, parte superior tabla 5).

El análisis comparativo considerando las situaciones experimentales de la tabla 5 desvela un menor número de ‘no sabe’ en el cuestionario que comienza con respuestas favorables, donde el número de preguntas no respondidas es casi la mitad que en el cuestionario invertido/desfavorable” (4,7% vs. 8,4%), constatando así lo planteado por la cuarta hipótesis.

Tabla 5. Número medio de no respuestas (y % respecto al total)

Fuente: elaboración propia.

Al analizar la estructura de la pregunta se observan importantes diferencias significativas. La utilización de una pregunta genera un importante incremento del ‘no sabe’, presentando un “desconocimiento” medio en 1,44 preguntas. La cifra se reduce a 0,66 cuando las preguntas se descomponen en dos. Esta diferencia (0,78), comparada con la diferencia del orden de administración (0,75-1.34, 0,6), no permite aceptar la quinta hipótesis que planteaba, donde a pesar de que el número de respuestas no sabe está condicionado por las dos situaciones experimentales, la influencia de la estructura de la pregunta es superior al orden de administración. La diferencia entre ambas es escasa, es decir, ambas influyen de igual forma.

Manifestaciones explícitas de no responder: no respuesta

Elaborado el índice con el número de veces en las que los entrevistados han optado por no responder, se procedió con la influencia del orden de presentación de las categorías de respuesta. El rechazo a responder es mayor en la secuencia favorable que cuando se invierten las categorías (0,81 y 0,20 respectivamente).

En la sección anterior se señaló que la estructura de la pregunta presenta diferencias significativas tanto en ‘no sabe’, como en ‘no responde’. Ahora bien, en este último se produce una situación opuesta al ‘no sabe’, aumentando cuando se emplean dos preguntas, en línea con lo detectado en otros contextos (entre otros, Debell et al., 2021) y planteado en la sexta hipótesis. Al igual que en la anterior, las diferencias son escasas, lo que implica que ambas condiciones experimentales influyen de forma similar.

Se ha observado un interés menor por parte del entrevistado a la hora de responder el cuestionario formado por preguntas descompuestas, en el que se ha duplicado el número de preguntas, pasando de 16 a 32, planteando dos veces una pregunta relativamente “similar”. Es posible que el entrevistado, aturdido por una pregunta que cree que ya ha respondido, opte por declinar responder (de nuevo).

La situación combinada, que se muestra en la parte inferior de la tabla 5, acentúa las tendencias detectadas, con un mayor número de respuestas ‘no sabe’ en el orden invertido sin preguntas descompuestas, y una disminución de estas respuestas en la situación opuesta (orden favorable y pregunta dividida en dos). Las ‘no respuestas’ aumentan notablemente en la situación opuesta, –hasta el 8%– cuando se utiliza el orden favorable con dos preguntas. Esta no respuesta prácticamente desaparece en la situación categorías invertidas-única pregunta (0,8%).

Estructura de la pregunta, orden de administración y tiempo de respuesta

Respecto a la séptima hipótesis, centrada en la duración del cuestionario, debe tenerse en cuenta que se trata de un cuestionario de 48 variables, donde un 33% ha cambiado el orden de administración y la estructura, y un 66% no ha experimentado ningún cambio. Podría suponerse que las variaciones en el tiempo de respuesta del cuestionario deberán estar producidas por el cambio de las preguntas objeto de la investigación. La séptima hipótesis postulaba que se producirá un aumento del tiempo de respuesta en cuestionarios que comienzan por respuestas desfavorables y que tienen el doble de preguntas, aunque más sencillas.

El análisis marginal de filas de la tabla 6 desvela que los cuestionarios administrados de forma invertida precisan de 26 segundos más para ser respondidos, diferencia que no llega a ser significativa. Algo similar sucede respecto a la estructura de las preguntas: se tarda más en responder el cuestionario en dos preguntas, aunque los 36 segundos de diferencia distan mucho de ser significativos. El análisis del interior de la tabla 6 desvela que las mayores diferencias se producen en la administración invertida con preguntas descompuestas, con un aumento de 97 segundos respecto a la administración convencional. La diferencia, respecto a la administración favorable, es de 88 segundos. Estos son los únicos elementos significativos, lo que supone una aceptación de la séptima hipótesis.

Tabla 6. Tiempo utilizado en responder el cuestionario (en minutos)

Estructura Orden	No descompuesta (convencional) (Cuestionario B1)	Descompuesta en dos preguntas (Cuestionario B2)	Total
Cuestionario A1: administración favorable	12,17	11,91	12,04
Cuestionario A2: administración invertida	11,82	12,79	12,30
Total	11,99	12,35	12,17

Fuente: elaboración propia.

Posibles factores intervinientes

Ante la sospecha de que la situación descrita en los epígrafes anteriores se debiera a diferencias sociodemográficas (octava hipótesis) se llevaron a cabo tres regresiones considerando como variables dependientes el número de elecciones de ‘respuestas no definidas’, ‘no sabe’ y ‘no responde’ (tabla 7). Las variables independientes son el sexo, edad, nivel educativo, relación con la actividad, así como la interacción orden de categorías y estructura de las preguntas. Todas las variables, excepto la relación con la actividad, influyen en los términos dependientes tal y como se aprecia en la tabla 7.

Cuando se elimina la influencia del resto de variables la elección de respuestas no definidas únicamente presenta relación con la estructura y el orden de administración. Ambos coeficientes indican que el número de estas respuestas aumenta tanto en la administración invertida como en la descomposición en dos preguntas, aunque es mayor en esta última. Las respuestas no definidas aumentan 1,28 veces más en preguntas descompuestas, y un 1,167 en la administración favorable. Ninguna de las variables sociodemográficas del modelo presenta relación significativa. Ahora bien, la baja capacidad explicativa del modelo (Pseudo R de 0,055) indica que ese aspecto, en concreto, no resulta ser un buen factor explicativo de ese tipo de respuestas.

En cuanto al número de respuestas ‘no sabe’, el signo positivo del orden de administración indica que el desconocimiento aumenta cuando se cambia el orden de administración de favorable a invertida. El desconocimiento aumenta 1,17 veces en la administración invertida, en línea con la hipótesis de Holbrook et al. (2000; 2007) y Smyth et al. (2019) propuestas en la primera parte de este trabajo. El formato en dos preguntas –frente a la respuesta de una– genera una importante disminución de respuestas ‘no sabe’ (un 86,2% menos), tal y como se señaló anteriormente (tabla 3). Ahora bien, la magnitud de los coeficientes de cada una desvela una mayor influencia de la descomposición de las preguntas que del orden de administración, y esto sucede tanto en ‘no sabe’ (-1,978 vs. 0,160) como en ‘no responde’ (1,532 vs. -0,898).

La interacción orden de administración y formato es el segundo coeficiente más alto de todo el modelo, indicando que el número de respuestas ‘no sabe’ en la administración invertida, respecto a la favorable, es 5,125 veces mayor cuando se utilizan dos preguntas.

El nivel de estudios es la segunda variable con mayores coeficientes, observando un mayor número de respuestas ‘no sabe’ en las personas con bajos estudios, así como en aquellos cuyos máximos estudios son de ESO o primarios. Altos índices de ‘no sabe’ ha obtenido el colectivo de entre 31 y 50 años, y el colectivo más joven. Esta situación se invierte (reducción del ‘no sabe’) en el colectivo de entrevistados de entre 31 y 50 años que solo ha terminado estudios primarios y de ESO.

Respecto a la declaración específica de no desear responder la pregunta, (50% de las respuestas ‘no sabe’) la tendencia es muy diferente a la mostrada en los dos párrafos anteriores: disminuye de ‘no respuesta’ en la administración invertida, y aumenta en los cuestionarios con preguntas descompuestas. La interacción de ambas condiciones experimentales apenas es significativa, lo que indica reducción del ‘no responde’ en la administración invertida con preguntas descompuestas.

Del resto de variables independientes tan solo dos términos muestran influencia significativa. Los colectivos con menores estudios y con estudios de Bachiller y FP son los que más utilizan la opción de no responde, opción que aumenta notablemente en los entrevistados que han terminado los estudios de ESO y tienen menos de 30 años. En ambas situaciones de no respuesta los hombres producen menos no respuestas que las mujeres.

Tabla 7. Modelo de regresión (binomial negativa) de la influencia de las situaciones experimentales y rasgos sociodemográficos en el número de respuestas no sustantivas y no específicas

Fuente: elaboración propia.