Encuestas en internet: cuidado con los sesgos y márgenes de error

por Luis Navarro Ardoy

Las redes sociales han traído en cuestión de poco tiempo una profunda transformación social que también ha impactado, y mucho, en la forma de hacer investigación social basada en encuestas. Con su llegada se han modificado nuestros hábitos de vida, de consumo y de compra, tres cuestiones cuyo análisis siempre ha interesado a las empresas demoscópicas.

Cada vez hay más encuestas online, especialmente las que se realizan a través de las redes sociales. Pero la relativa facilidad para encontrar un amplio universo (número de personas participantes) no debe hacernos olvidar otros muchos factores a tener en cuenta para valorar su precisión.

Hay dos cuestiones capitales a la hora de valorar los resultados de una encuesta: el modo de preguntar y su ficha técnica. En cuando a lo primero, no es lo mismo hacer una pregunta de manera imparcial que hacerlo incitando a una determinada respuesta. En cuanto a lo segundo, no es lo mismo preguntar a 51 personas que a 10 000, ni que la muestra contenga un nivel de error despreciable o grueso como el culo de una botella.

Es fundamental dar a conocer, siempre que se publiquen datos de una encuesta, la ficha técnica y el literal de la pregunta. Es un ejercicio indispensable de transparencia.

El diablo está en la pregunta

El cuestionario es el instrumento de medida en los estudios basados en encuestas. En él están las preguntas que se le hacen a la población objeto de estudio para conocer su opinión y comportamiento con respecto a distintas cuestiones, desde la valoración de su estado de salud y de la pandemia actual a sus hábitos de compra y consumo de alcohol, por ejemplo.

Las preguntas suelen ser cortas y las opciones de respuesta cerradas. Esto último significa que hay que responder alguna de las opciones de respuesta que están prefijadas (sí, no, mucho, poco, nada) y que no hay espacio ni para la divagación ni para explayarse.

El problema mayor está en la formulación de las preguntas. Así, por ejemplo, si hoy leo en un periódico que el 70% de ciudadanos valora bien la gestión del Gobierno de España sobre la pandemia, es justo reconocer que ese titular debe ir acompañado en algún momento del literal de la pregunta (es decir, de la pregunta tal y como se formuló a los encuestados) para saber cómo se ha preguntado a la ciudadanía.

Ejemplo 1. En general, ¿podría decirme cómo valora la gestión del Gobierno en España con respecto a la pandemia actual? ¿Muy bien, bien, regular, mal o muy mal?

Ejemplo 2. En general, sabiendo que estamos en una situación muy complicada a nivel mundial, ¿cree que el Gobierno de España está gestionando bien la pandemia actual? ¿Sí o No?

Aunque en los dos ejemplos se trata de una pregunta de gestión del Gobierno, las respuestas serán distintas dependiendo de si utilizamos la pregunta del ejemplo 1 o de la 2. El añadido al inicio del enunciado en la pregunta del ejemplo 2 aporta información extra con la intención de obtener de la ciudadanía respuestas positivas a la buena gestión sobre la pandemia del Gobierno.

La ficha técnica

En el entramado técnico de una encuesta se recoge lo que se conoce como “ficha técnica”. Debe contener información básica acerca de cómo ha sido diseñada la encuesta, y sobre el trabajo de campo. Como mínimo, fechas de realización de la encuesta, nivel de error y tamaño de la muestra o número de personas encuestadas. No solo es importante saber si se preguntó a 500 personas o a 1 000. También es relevante si se hizo en horario de mañana o durante los fines de semana.

De la misma manera que dudaríamos a la hora de comprar un coche de segunda mano si el vendedor nos lo entrega sin su ficha técnica, o lo entrega sin información del número de kilómetros ni de la fecha de compra, en el caso de una encuesta debemos dudar de los resultados si lo que se publica no va acompañado de su correspondiente ficha técnica.

Cantidad no es calidad

Los estudios basados en encuestas online suelen enviar de forma masiva los cuestionarios a través de anuncios en páginas web y redes sociales o a través de listas de direcciones electrónicas, con un coste relativamente bajo. En ocasiones, esto permite obtener un amplio número de respuestas, justificando con este único criterio la calidad y la representatividad de los datos.

Esto no debería ser así, y hay evidencias que lo demuestran. Como mencionan trabajos recientes en este campo, esta estrategia puede conllevar un sesgo de selección que comprometa notablemente los resultados obtenidos.

Estos autores diseñaron un cuestionario y lo aplicaron en una encuesta online y en otra telefónica. Ambos cuestionarios eran idénticos y el tema era la opinión sobre la eutanasia y el suicidio asistido y su regulación. El cuestionario podía ser cumplimentado en la misma llamada telefónica u online.

La primera gran diferencia fue que en la encuesta online, el porcentaje de personas que finalmente respondió fue muy reducido, del 10,4%, frente al 87,8% en la encuesta telefónica.

La segunda diferencia fue que en la encuesta online, frente a la telefónica, se obtuvieron con mayor frecuencia opiniones en contra de la regulación de la eutanasia. En concreto, hubo un 14,9% de personas que respondieron estar en contra de la regulación de la eutanasia, frente al 10,1% que manifestaron esa opinión en la encuesta telefónica. Además, la estrategia online describe un menor porcentaje de personas que no se posiciona o no tiene una opinión definida en el caso del suicidio asistido. En la encuesta telefónica, el 5,4% manifiesta no saber o no tener una opinión definida, frente al 1,9% en el caso online.

Este estudio muestra que la estrategia de muestreo online puede generar sesgos en los resultados. En concreto, sobrestima el porcentaje de personas contrarias a la regulación de la eutanasia, así como el de personas con opiniones extremas. Por el contrario, infraestima el peso de las personas indecisas o con opiniones más intermedias.

Este hecho puede atribuirse a que las personas con opiniones más definidas y extremas pueden mostrarse más proclives a contestar una encuesta online que las personas con opiniones menos extremas o menos definidas, a las que el cuestionario online puede generar menos interés.

Los sesgos, malos compañeros

Un ejemplo reciente lo tenemos el pasado 12 de octubre cuando se publicaron los resultados de una encuesta online sobre la monarquía en España financiada a través de crowdfuding. Un esfuerzo independiente por pulsar la opinión pública respecto a un asunto, la monarquía en España, sobre el que el CIS dejó de preguntar hace cinco años.

En un bloque de “cosas que la gente dice sobre la monarquía” se incluían una serie de proposiciones sobre las que el encuestado debía elegir una de estas tres opciones: “No lo sé”, “Más bien de acuerdo” o “Más bien en desacuerdo”.

Sin embargo, algunas de estas proposiciones tenían un sesgo: de la manera en que estaban formuladas, tendían a forzar respuestas positivas por parte de los encuestados. En estos casos, hacia el “más bien de acuerdo”:

La monarquía es una institución de otros tiempos: no tiene sentido en una democracia.

Para lo que aporta, el coste de la monarquía es desproporcionado.

Otras maneras de introducir sesgos pueden ser ocultar parte de las preguntas o presentar un diseño incorrecto que no permite visualizar el texto en la pantalla del teléfono móvil.

En suma, aunque es de agradecer el esfuerzo para contribuir en el análisis de cuestiones de actualidad, y desde un escrupuloso respeto, hay que advertir que, si se continúa con los usos inadecuados de medición, se va a producir una auténtica masacre de quienes nos dedicamos a la investigación mediante encuesta.

Lamentablemente, los resultados de muchas encuestas online están basados en respuestas que no son representativas de la población porque no han seguido ningún criterio para la selección de las personas a encuestar. En ellas parece prevalecer la urgencia de datos y da igual si quienes responden representan o no a quienes tienen que hacerlo, que es a una muestra representativa de la población objeto de estudio.

The Conversation