Encuestas, encuestas y más encuestas

En este capítulo

Comprender las repercusiones de las encuestas y sondeos

Saber diseñar y llevar a cabo encuestas y sondeos

Detectar resultados sesgados e inexactos

En la explosión informativa actual, las encuestas hacen furor. Todo el mundo quiere saber cuál es la opinión del público en general sobre todo tipo de cuestiones, desde el precio de los medicamentos hasta los métodos de impartir disciplina a los niños, pasando por el índice de aprobación del presidente y los índices de audiencia de los programas de televisión. Las encuestas y los sondeos forman parte de nuestra vida; son un vehículo con el que rápidamente obtienes información sobre cómo te sientes, qué piensas y cómo vives tu vida, y son un medio para difundir información sobre temas importantes en muy poco tiempo. Las encuestas ponen de relieve cuestiones controvertidas, sacuden conciencias, difunden puntos de vista, señalan la importancia de un determinado aspecto, y educan o persuaden al público en general.

Los resultados de las encuestas pueden tener una gran repercusión, porque cuando muchas personas oyen decir que un determinado porcentaje de los ciudadanos hacen tal cosa o tal otra, aceptan esos resultados como la verdad, y luego toman decisiones y se forman opiniones basadas en esa información. Sin embargo, la verdad es que muchas encuestas no proporcionan información correcta ni completa, y a veces ni siquiera imparcial.

En este capítulo comento la repercusión de las encuestas y para qué se utilizan, y te doy un paseo entre bastidores para que veas cómo se diseñan y realizan, con el fin de que sepas analizar críticamente sus resultados y aprendas a hacer tú mismo una encuesta de manera correcta. Asimismo, explico cómo interpretar los resultados de las encuestas y cómo detectar información sesgada e inexacta, para que tú mismo puedas determinar qué resultados son fiables y cuáles deben descartarse.

Comprender la importancia de las encuestas

Una encuesta es un instrumento que recopila datos por medio de preguntas y respuestas. Se utiliza para obtener información sobre las opiniones, conductas, perfiles demográficos, estilos de vida y otras características reseñables de la población de interés.

¿Cuál es la diferencia entre un sondeo y una encuesta? Los estadísticos no establecen una distinción clara entre ambas, pero yo diría que un sondeo suele ser una encuesta breve que contiene pocas preguntas (a lo mejor así los investigadores consiguen que responda más gente, diciéndoles que es un sondeo en lugar de una encuesta). En cualquier caso, a todos los efectos las encuestas y los sondeos son la misma cosa.

Todos los días entramos en contacto con las encuestas y con sus resultados. En comparación con otros tipos de estudios, por ejemplo, los experimentos médicos, algunas encuestas son relativamente fáciles de realizar. Proporcionan resultados rápidos que a menudo generan titulares interesantes o reportajes atractivos para periódicos y revistas. Casi todos quedamos convencidos por las encuestas porque tenemos la sensación de que los resultados reflejan las opiniones de personas iguales a nosotros (aunque quizá nunca hayamos participado en una). Además, mucha gente disfruta sabiendo lo que otras personas sienten, qué hacen, adónde van y qué les preocupa. Al ver los resultados de una encuesta, la gente siente que de algún modo forma parte de un grupo más grande. Con eso precisamente cuentan los encuestadores (las personas que realizan encuestas), y por eso invierten tanto tiempo en hacer encuestas y sondeos y en comunicar los resultados de sus investigaciones.

Llegar hasta la fuente

¿Quién hace encuestas hoy en día? Pues cualquiera que tenga algo que preguntar. Entre los grupos y entidades que realizan o encargan encuestas y comunican los resultados se encuentran los siguientes:

Agencias de noticias.

Partidos políticos, gobierno y ministerios.

El Instituto Nacional de Estadística (INE), el Eurostat y los institutos y servicios estadísticos de las Comunidades autónomas.

Empresas profesionales que realizan sondeos de opinión (por ejemplo la organización Gallup, el Centro de Investigaciones Sociológicas
[CIS], Metroscopia, Sigma Dos y Nielsen).

Periódicos y revistas, programas de televisión y programas de radio.

Órganos consultivos (Consejo Superior de Estadística, Comisión Interministerial de Estadística y Comité Interterritorial de Estadística).

Grupos con intereses especiales (por ejemplo, el Banco de España, la Organización de Consumidores y Usuarios, los gremios y colegios
profesionales, etc.).

Los peores coches del milenio
En Estados Unidos hay un programa de radio muy popular llamado Car Talk que se emite los sábados por la mañana por l aemisora
National Public Radio. Está presentado por Click y Clack dos hermanos de Cambridge, Massachusetts, que en un tono distendido ofrecen
consejos a los oyentes que llaman para preguntar por extrañas averías. De vez en cuando, en el sitio web del programa cuelgan encuestas
sobre todo tipo de temas divertidos relacionados con los coches, por ejemplo: “¿Qué dice la pegatina que llevas en el parachoques?”. Una
de las encuestas formuló la siguiente pregunta: “¿Cuál crees que fue el peor coche del milenio?”. Miles y miles de personas respondieron
con sus votos, aunque, naturalmente, esas personas no representan a todos los estadounidenses que tienen coche. Únicamente
representan a los que oyen ese programa de radio, entraron en el sitio web y contestaron a la pregunta de la encuesta. Para que no te
quedes en ascuas (sé que te mueres por saberlo), los resultados de la encuesta figuran en la tabla siguiente. Aunque quizá no tengas edad
suficiente para recordar algunos de estos vehículos, en Internet encontrarás montones de imágenes y reseñas sobre todos ellos (pero no
olvides que estos resultados tan sólo representan las opiniones de los oyentes de Car Talk que se tomaron la molestia de visitar el sitio web
y contestar la encuesta). Los porcentajes no suman cien porque los resultados de la tabla representan únicamente los diez modelos que
recibieron más votos.

Investigadores académicos.

El gobierno.

Cualquier hijo de vecino (hoy en día no cuesta nada hacer una encuesta a través de Internet).

Algunas encuestas son sólo para echarse unas risas, mientras que otras tienen un propósito más serio. Si te piden participar en una encuesta seria o te dan sus resultados, pregunta siempre cuál es la fuente. Los grupos que tengan un interés especial en los resultados deberían contratar a una organización independiente que se encargue de realizar (o al menos revisar) la encuesta, o bien deberían facilitar copias de las preguntas formuladas. Asimismo, estos grupos deberían dar a conocer el modo en que la encuesta fue diseñada y realizada, para que el público pueda tomar una decisión informada sobre la credibilidad de los resultados.

Preguntar sobre temas candentes

Muchas encuestas se refieren a temas de actualidad; al fin y al cabo la oportunidad y la relevancia para el público son dos de las cualidades más atractivas de una encuesta. Aquí tienes varios ejemplos de temas abordados por encuestas recientes, junto con los resultados que se han hecho públicos:

¿El activismo de los famosos influye en las opiniones políticas de los estadounidenses? (Más del 90% de los estadounidenses dicen que
no, según la cadena CBS News.)

¿Qué porcentaje de estadounidenses han tenido una relación amorosa con un compañero de trabajo? (Según un sitio web de contactos
profesionales, la cifra es el 40%.)

¿Cuántas personas aquejadas de alguna enfermedad o dolencia buscan información médica en Internet? (La respuesta es el 55%, según
una revista médica que se publica en Estados Unidos.)

Cuando lees estos resultados de encuestas, ¿piensas directamente en lo que significan para ti en lugar de preguntarte primero si las cifras son

realmente válidas? Algunos de los resultados anteriores son más válidos y precisos que otros, y antes de aceptarlos como dogma de fe deberías preguntarte si son fiables. Los organismos de investigación reconocidos, las empresas que realizan sondeos de opinión a gran escala y las revistas sometidas a revisiones inter pares (todos los artículos publicados en la revista han sido revisados por otros especialistas en la materia y cumplen ciertas normas) son fuentes fiables. Si no conoces el grupo que realiza la encuesta y los resultados son importantes para ti, averigua cuál es la fuente.

Repercusión sobre las personas

Si bien algunas encuestas son un mero entretenimiento, hay otras que pueden afectar directamente a tu vida personal o profesional. Estas encuestas relacionadas con cuestiones vitales deben analizarse con detenimiento antes de tomar ninguna medida o decisión importante. Las encuestas pueden hacer que los políticos modifiquen o promulguen nuevas leyes, motivar a los investigadores para que trabajen en problemas actuales, animar a los fabricantes a inventar nuevos productos o cambiar sus políticas y prácticas empresariales, e influir en el comportamiento y la forma de pensar de la gente. Aquí tienes, a modo de ejemplo, algunos resultados de encuestas que pueden influir en tu vida:

Deterioro de la atención sanitaria infantil. Según una encuesta a 400 pediatras realizada por el Centro Médico Infantil de
Washington, en Estados Unidos, los pediatras dedican una media de entre ocho y doce minutos a cada paciente.

Los adolescentes beben más. Según un estudio de seguimiento realizado en 2009 por la organización Partnership for a DrugFree
America (una entidad estadounidense sin ánimo de lucro que trabaja en programas de prevención de consumo de droga y alcohol
entre adolescentes y jóvenes), el número de adolescentes de entre catorce y diecisiete años que consumen alcohol ha aumentado el
4% (del 35% en 2008 al 39% en 2009), lo cual supone una inversión de la tendencia a la baja que venía registrándose durante los diez
años anteriores a la encuesta.

Fíjate siempre en cómo los investigadores definen los términos que utilizan para recopilar los datos. En el ejemplo anterior, ¿cómo
definen “consumo de alcohol”? ¿Vale con que el adolescente haya probado el alcohol una vez? ¿Significa que beben alcohol con cierta
frecuencia? Los resultados pueden ser engañosos si el alcance de lo que se está contando es demasiado grande. Preocúpate de
averiguar qué preguntas se formularon cuando se recopilaron los datos.

Delitos no denunciados. La encuesta nacional sobre víctimas de la delincuencia, realizada por la Oficina de Justicia de Estados
Unidos, concluye que tan sólo se denuncian a la policía el 49,4% de los delitos violentos. Las razones que aportan las víctimas para no
denunciar los delitos a la policía se indican en la tabla 161.

La razón que más veces se adujo para no haber denunciado un delito violento a la policía fue que la víctima lo consideró un asunto personal (19,2%). Observa que casi el 12% de las razones están relacionadas con la percepción del propio proceso de denuncia (por ejemplo, que llevaría demasiado tiempo o que la policía podría molestarse o no resolvería nada).

Por cierto, ¿te has fijado en lo grande que es la categoría “Otras razones”? Este porcentaje tan grande sin explicar indica que la encuesta podría haber sido más concreta o que pueden hacerse más indagaciones en torno a la razón de que las víctimas no denuncien los delitos. Puede que las propias víctimas no estén seguras.

Entre bastidores: los entresijos de las encuestas

Las encuestas y sus resultados forman parte de tu experiencia cotidiana, y esos resultados te ayudan a tomar decisiones importantes (algunas decisiones pueden incluso dar un giro radical a tu vida). Por eso es fundamental ver las encuestas de forma crítica. Antes de tomar alguna medida o decisión basada en los resultados de una encuesta, debes determinar si esos resultados son verosímiles y fiables. Una buena manera de comenzar a desarrollar estas habilidades detectivescas es meterse entre bastidores y conocer la forma de diseñar, desarrollar, llevar a cabo y analizar una encuesta.

El proceso de una encuesta consta de diez pasos:

1. Definir el propósito de la encuesta.
2. Definir la población objetivo.
3. Elegir el tipo de encuesta y el momento de su realización.
4. Diseñar la introducción atendiendo a criterios éticos.
5. Formular las preguntas.
6. Seleccionar la muestra.
7. Realizar la encuesta.
8. Insistir, insistir e insistir.
9. Organizar y analizar los datos.
10. Extraer conclusiones.

Cada paso entraña una serie de dificultades, pero todos ellos son de vital importancia para obtener unos resultados imparciales y exactos. Esta secuencia de pasos te ayudará a diseñar, planificar y llevar a cabo una encuesta, pero también puedes utilizarla para valorar de forma crítica la encuesta de otra persona, si esos resultados son importantes para ti.

Planificar y diseñar una encuesta

El propósito de una encuesta es responder a preguntas sobre una población objetivo. La población objetivo es el conjunto de personas sobre las cuales quieres extraer conclusiones. En la mayoría de las situaciones, preguntar a la población entera (es decir, realizar un censo en toda regla) es imposible porque para ello los investigadores tendrían que invertir demasiado tiempo o demasiado dinero. Generalmente lo mejor que puedes hacer es seleccionar una muestra de personas de la población objetivo, preguntar a esas personas y luego extraer conclusiones sobre la población entera a partir de los datos de esa muestra.

Parece fácil, ¿verdad? Pues no lo es. Una vez que te das cuenta de que no puedes preguntar a toda la población objetivo, empiezan a surgir los problemas. Después de seleccionar la muestra, muchos investigadores no están seguros de lo que deben hacer para obtener los datos que necesitan. Por desgracia, muchas encuestas se llevan a cabo sin haber pensado detenidamente en estas cuestiones, lo cual se traduce en errores, resultados engañosos y conclusiones erróneas. En los siguientes apartados encontrarás información más detallada sobre los cinco primeros pasos del proceso de encuesta.

Definir el propósito de la encuesta

Quizá esto te parezca una obviedad, pero la realidad es que se han diseñado y realizado muchas encuestas que luego no han cumplido su propósito, o que han cumplido sólo algunos de sus objetivos, pero no todos. Es fácil perderse entre las preguntas y olvidar lo que realmente quieres averiguar. Cuando formules el propósito de una encuesta, procura ser lo más concreto posible. Piensa en las conclusiones que querrías extraer si fueras a elaborar un informe, y guíate por eso para fijar tus objetivos.

A muchos investigadores los árboles no les dejan ver el bosque. Si el dueño de un restaurante quiere determinar el índice de satisfacción de sus clientes, previamente tendrá que pensar en qué tipo de comparaciones quiere realizar y qué información exacta quiere obtener. Tendrá que plantear preguntas referidas al momento en que los clientes entraron en el restaurante (fecha y hora), o incluso a la mesa donde se sentaron. Y si quiere comparar el índice de satisfacción de los adultos con el de los grupos familiares, por poner un ejemplo, tendrá que preguntar cuántas personas había en el grupo y cuántos eran niños. Pero si se limita a hacer un par de preguntas sobre el grado de satisfacción, o bien plantea todas las preguntas que se le ocurran sin pensar antes para qué necesita la información, puede que termine con más preguntas que respuestas.

Cuanto más concreto seas en cuanto al propósito de la encuesta, más fácil te resultará diseñar preguntas que cumplan tus objetivos, y mejor preparado estarás para redactar tu informe.

Definir la población objetivo

Imagina que quieres realizar una encuesta para determinar qué proporción de empleados utilizan el correo electrónico en el lugar de trabajo

para enviar y recibir mensajes personales. Quizá creas que la población objetivo son los empleados que utilizan el correo electrónico con fines profesionales. Sin embargo, lo que quieres saber es la proporción de empleados que lo utilizan para mensajes personales, de manera que no puedes preguntarles sólo a los que utilizan el correo electrónico para trabajar, porque entonces los resultados estarán sesgados contra las personas que no envían ni reciben mensajes de correo electrónico en el lugar de trabajo. Pero entonces, ¿deberías contar también con los trabajadores que no tienen siquiera acceso a un ordenador durante su jornada laboral? (ya ves lo rápido que se complican las cosas).

Yo diría que la población objetivo más adecuada en este caso son todas las personas que utilizan ordenadores conectados a Internet en el lugar de trabajo. Todos los integrantes de este grupo tienen al menos acceso al correo electrónico, aunque sólo algunos de ellos realmente lo utilicen con fines profesionales, y de estos, sólo algunos lo utilicen para enviar y recibir mensajes personales (y eso es justo lo que quieres averiguar, cuántos utilizan el correo electrónico para ese fin).

Tienes que definir claramente la población objetivo. Tu definición es lo que te ayudará a seleccionar una muestra adecuada y te orientará en tus conclusiones, para que no te excedas al extrapolar los resultados. Si el investigador no ha definido claramente la población objetivo, es probable que surjan otros problemas con la encuesta.

Elegir el tipo de encuesta y el momento de su realización

El siguiente paso consiste en decidir cuál es el tipo de encuesta más apropiado para la situación que tienes entre manos. Las encuestas se pueden hacer por teléfono, por correo, con entrevistas de puerta en puerta o a través de Internet. Sin embargo, no todos los tipos de encuestas son adecuados para todas las situaciones. Por ejemplo, pongamos que quieres determinar algunos de los factores que están relacionados con el analfabetismo en tu país. No puedes enviar una encuesta por correo porque entonces las personas que no sepan leer no podrán contestarla. En ese caso será más apropiado hacer una encuesta telefónica.

Elige el tipo de encuesta que sea más adecuado para la población objetivo, es decir, el que te permita obtener los datos más fidedignos y significativos que sea posible. Ten presente también tu presupuesto: las entrevistas de puerta en puerta son más caras que las encuestas telefónicas, por ejemplo. Cuando analices los resultados de una encuesta, comprueba si el tipo de encuesta utilizado es el más apropiado para la situación, teniendo en cuenta los límites del presupuesto.

A continuación, tienes que decidir cuándo realizar la encuesta. En la vida es fundamental elegir siempre el momento adecuado, y lo mismo ocurre con las encuestas. Los sucesos actuales influyen en las opiniones de la gente, y aunque algunos encuestadores intenten averiguar cuál es el sentir real de los encuestados, hay otros que se aprovechan de esos sucesos, especialmente de los negativos, y los utilizan como plataformas políticas o como carnaza para generar titulares y controversias. Por ejemplo, después de un tiroteo es habitual que surjan encuestas sobre el control de armas. Asimismo, hay que considerar otros acontecimientos que coincidan en el tiempo con la encuesta; por ejemplo, puede que la gente no quiera contestar el teléfono durante una retransmisión deportiva importante, el día de unas elecciones, durante los juegos olímpicos o en vacaciones. Elegir un mal momento puede ser una fuente de sesgo en los resultados.

Además de la fecha, la hora del día también es importante. Si realizas una encuesta telefónica para conocer la opinión de la gente sobre el estrés en el lugar de trabajo y llamas a una casa entre las nueve de la mañana y las cinco de la tarde, puedes estar seguro de que tus resultados estarán sesgados, porque ése es el horario en que la mayoría de las personas están trabajando (están ocupados estresándose).

Diseñar la introducción atendiendo a criterios éticos

Si bien esta regla no se aplica a las pequeñas encuestas que se publican en Internet y en las revistas, las encuestas serias deben proporcionar información relacionada con cuestiones éticas importantes. En primer lugar, deben tener lo que los encuestadores llaman un texto introductorio donde se indique el propósito de la encuesta, qué se hará con los datos, si la información facilitada por los encuestados será confidencial o anónima (lee el recuadro “Anonimato y confidencialidad” más adelante en este mismo capítulo), y que la participación es de agradecer pero no obligatoria. El texto introductorio también debe contener los datos de contacto del investigador para que los encuestados puedan dirigirse a él en caso de duda.

En la mayoría de los países existe una normativa específica que regula la realización de encuestas y los límites éticos de obtención y uso de los datos que de ellas se obtengan. Asegúrate también de que cumples todos los requisitos que exige la ley en cuanto a protección y almacenaje de datos en tu ámbito de estudio. Además, algunas organizaciones concretas tienen también su normativa interna, que deberás tener en cuenta.

Formular las preguntas

Cuando ya está claro el propósito, el tipo, el momento de realización y los aspectos éticos de la encuesta, el siguiente paso es formular las preguntas. El planteamiento de las preguntas puede suponer una enorme diferencia en cuanto a la calidad de los datos que se recopilen. Una fuente de sesgo muy habitual en las encuestas es la forma en que están redactadas las preguntas. Se ha comprobado que la redacción de las preguntas influye directamente en el resultado de la encuesta. Las preguntas capciosas, también llamadas preguntas tendenciosas, se diseñan con el propósito de favorecer una determinada respuesta por encima de otra. Estas preguntas pueden influir mucho en los encuestados, hasta el

punto de que sus respuestas quizá no reflejen lo que realmente piensan sobre una cuestión.

Por ejemplo, aquí tienes dos maneras de plantear una pregunta (las dos capciosas) acerca de la propuesta de subir los impuestos para financiar la construcción de nuevas escuelas:

• ¿No está usted de acuerdo en que un pequeño incremento porcentual en el IVA es una inversión que merece la pena para mejorar la calidad de la educación de nuestros hijos?
• ¿No cree usted que deberíamos frenar el incremento de la carga fiscal de los contribuyentes y abstenernos de pedir otra subida del IVA para recaudar fondos destinados a un sistema de enseñanza que despilfarra sus recursos?

Por la forma en que están redactadas estas dos preguntas tendenciosas puedes ver fácilmente qué quieren los encuestadores que respondas. Para empeorar las cosas, ninguna de las dos preguntas menciona a cuánto asciende exactamente la subida de impuestos propuesta, lo cual también es engañoso.

La redacción de la pregunta debe ser neutra, de modo que se proporcione al lector la información que necesita para tomar una decisión con conocimiento de causa. Por ejemplo, la pregunta sobre la subida de impuestos estaría mejor formulada de la manera siguiente:

El Ministerio de Educación propone incrementar el 0,01% el IVA con el fin de obtener fondos para construir 43 nuevas escuelas de primaria. ¿Qué opina sobre el impuesto que se propone? (Posibles respuestas: muy a favor, a favor, ni a favor ni en contra, en contra, muy en contra.)

Si el propósito de la encuesta es únicamente recopilar información, y no influir ni persuadir al encuestado, las preguntas deben formularse de manera neutra e informativa con el fin de reducir al mínimo el sesgo. El mejor modo de valorar la neutralidad de una pregunta consiste en preguntarte a ti mismo si sabes lo que el encuestador quiere que contestes. Si la respuesta es sí, la pregunta es capciosa y puede conducir a resultados engañosos.

Si los resultados de una encuesta son importantes para ti, pídele al investigador una copia de las preguntas utilizadas a fin de valorar su calidad. Si eres tú quien realiza la encuesta, haz que otras personas revisen las preguntas para estar seguro de que las has redactado de forma neutra e informativa.

Seleccionar la muestra

Una vez diseñada la encuesta, el siguiente paso es seleccionar las personas que van a participar en ella. Como generalmente no tienes tiempo ni dinero suficiente para realizar un censo (una encuesta de toda la población objetivo), tienes que seleccionar un subconjunto de la población, lo que se llama una muestra. La manera de seleccionar esta muestra puede influir enormemente en la precisión y la calidad de los resultados.

Existen tres criterios importantes para seleccionar una muestra válida, como verás en los siguientes apartados:

Una muestra válida representa a la población objetivo

Para que represente a la población objetivo, la muestra debe seleccionarse de dicha población objetivo, sin excluir ni añadir a otras personas. Supongamos que quieres averiguar cuántas horas diarias, en promedio, ven la televisión los habitantes de una ciudad. En este caso no bastaría con preguntar a los estudiantes de una residencia universitaria por sus hábitos televisivos, porque representan tan sólo a una parte de la población objetivo.

Por desgracia, muchas personas que hacen encuestas no dedican el tiempo ni el dinero necesario a seleccionar una muestra representativa de personas que participen en el estudio, de modo que terminan obteniendo resultados sesgados. Cuando caigan en tus manos los resultados de una encuesta, averigua cómo fue seleccionada la muestra y hasta qué punto dichos resultados coinciden con los de la población objetivo.

Una muestra válida se selecciona aleatoriamente

Una muestra aleatoria es aquella que tiene la misma probabilidad de ser seleccionada que cualquier otra muestra posible (de igual tamaño) de la población objetivo. La manera más fácil de entenderlo es imaginar un sombrero (o un cubo) lleno de tiras de papel, cada una con el nombre de una persona escrito sobre ella; si las tiras se mezclan bien antes de extraerlas de una en una, el resultado será una muestra aleatoria de la población objetivo (en este caso, la población de personas cuyos nombres están en el sombrero). Una muestra aleatoria elimina el sesgo en el proceso de muestreo.

Las empresas que realizan sondeos de opinión y son reconocidas por hacerlo bien, como por ejemplo Gallup, utilizan un procedimiento de marcación aleatoria de dígitos para llamar por teléfono a los integrantes de su muestra. Naturalmente, esto excluye a las personas que no tienen

teléfono, pero como hoy en día la inmensa mayoría de las viviendas tienen teléfono, el sesgo generado por la exclusión de las personas que no tienen teléfono es relativamente pequeño.

Mucho ojo con las encuestas que tienen una muestra muy grande pero que no se ha seleccionado de forma aleatoria. Las encuestas a través de Internet son un claro ejemplo. Si 50.000 personas visitan un sitio web y responden a una encuesta, el administrador de ese sitio conseguirá un montón de datos. Sin embargo, la información estará sesgada: se ha comprobado que las personas que responden a las encuestas suelen tener opiniones más tajantes que quienes no responden. Y si de entrada los participantes no se han seleccionado aleatoriamente, ya puedes imaginar hasta qué punto las opiniones de los encuestados serán tajantes (y estarán sesgadas). Si el diseñador de la encuesta tomara una muestra más pequeña pero aleatoria, los resultados de la encuesta serían más precisos.

Una muestra válida debe ser suficientemente grande para que los resultados sean precisos

Si tienes un tamaño muestral grande y además la muestra es representativa de la población objetivo y se ha seleccionado de forma aleatoria, puedes estar seguro de que la información obtenida será bastante precisa. El grado de precisión depende del tamaño muestral: cuanto más grande sea la muestra, más precisa será la información (siempre y cuando dicha información sea válida). La precisión de las preguntas de una encuesta se mide mediante un porcentaje. Este porcentaje, llamado margen de error, representa cuánto supone el investigador que los resultados podrían variar si repitiera la encuesta muchas veces utilizando diferentes muestras del mismo tamaño. Encontrarás más información al respecto en el capítulo 12.

Una manera rápida de conocer de forma aproximada la precisión mínima de una encuesta que maneje datos categóricos (por ejemplo el sexo o la filiación política) consiste en dividir 1 por la raíz cuadrada del tamaño muestral. Por ejemplo, una encuesta de 1.000 personas (seleccionadas aleatoriamente) tiene una precisión de ± 0,032, es decir, 3,2 puntos porcentuales. (En el capítulo 12 encontrarás la fórmula exacta para calcular la precisión de una encuesta.) En los casos en que no haya respondido todo el mundo, el tamaño muestral debe sustituirse por el número de personas que sí hayan respondido. (Más información en el apartado “Insistir, insistir e insistir”.) Recuerda que estas estimaciones de precisión son conservadoras. Si aplicas la fórmula, obtendrás un valor mucho más exacto. (Más información en el capítulo 13.)

Cuando la población es muy grande (del orden de varios miles, por ejemplo), lo que importa es el tamaño de la muestra, no el tamaño de la población. Por ejemplo, si la población es grande y seleccionas una muestra aleatoria de 1.000 personas, tu grado de precisión será de aproximadamente 3,2 puntos porcentuales, con independencia de si la muestra procede de un pueblo de 10.000 habitantes, de una provincia de 1.000.000 habitantes o de todo el país. Esto fue una de las cosas que más me sorprendió cuando empecé a estudiar estadística, y todavía hoy me produce estupefaccción: parece mentira que se pueda conseguir semejante precisión con un tamaño muestral comparativamente tan pequeño.

Sin embargo, cuando la población es pequeña es necesario aplicar otros métodos para determinar la precisión y el tamaño muestral. Por ejemplo, una muestra de 10 personas pertenecientes a una población de 100 representa una parte mayor del total que una muestra de 10 personas pertenecientes a una población de 10.000. Existen métodos más avanzados que incluyen una corrección para poblaciones finitas y que resuelven los problemas asociados a poblaciones pequeñas.

Realizar la encuesta

La fase de diseño ha concluido y los participantes han sido seleccionados. Ahora es el momento de llevar a cabo la encuesta, otro paso importante que puede dar lugar a muchos errores y sesgo.

Recopilar los datos

Durante la encuesta propiamente dicha puede ocurrir que los participantes no entiendan bien las preguntas, que den respuestas no incluidas entre las opciones disponibles (en el caso de preguntas de respuesta múltiple) o que decidan dar respuestas imprecisas o descaradamente falsas; esto último se llama sesgo de respuesta (como ejemplo de sesgo de respuesta, piensa en lo difícil que sería obtener respuestas sinceras al preguntar a la gente si alguna vez han hecho trampa en la declaración de la renta).

Algunos de los problemas potenciales asociados al proceso de recopilación de datos pueden reducirse al mínimo o evitarse por completo formando adecuadamente al personal encargado de llevar a cabo la encuesta. Con una formación adecuada es posible resolver de manera coherente y clara cualquier problema que surja durante la encuesta, y además se cometen menos errores al registrar los datos. Los problemas derivados de preguntas confusas o falta de opciones de respuesta pueden resolverse realizando un estudio preliminar con unos pocos participantes antes de la encuesta definitiva, para luego, a partir de los comentarios y sugerencias de esas personas, solucionar cualquier

problema que pueda haber en las preguntas.

Anonimato y confidencialidad

Si tuvieras que hacer una encuesta para determinar qué proporción de empleados utilizan el correo electrónico para mensajes personales
en el lugar de trabajo, la tasa de respuesta probablemente sería un problema, ya que muchas personas se mostrarían reacias a hablar
sobre esta cuestión, al menos de forma sincera. Una manera de animarlos a responder sería decirles que su privacidad estaría protegida
durante y después de la encuesta.

Cuando presentas los resultados de una encuesta, generalmente no vinculas la información recopilada a los nombres de los encuestados,
ya que eso sería una vulneración de su privacidad. Probablemente hayas oído hablar antes de los términos anónimo y confidencial, pero
quizá no tengas claro que estas dos palabras tienen un significado completamente diferente. Garantizar la confidencialidad significa que
podría relacionar tu información con tu nombre en mi informe, pero me comprometo a no hacerlo. Garantizar el anonimato significa que no
tengo manera de relacionar tu información con tu nombre en mi informe, aunque quisiera.

Si te piden que participes en una encuesta, entérate bien de lo que tienen previsto hacer los investigadores con tus respuestas y si tu
nombre podrá o no relacionarse con la encuesta (las buenas encuestas siempre te dejan este punto completamente claro). Luego decide si
todavía quieres participar.

El personal también puede aprender a crear un entorno en el que el encuestado se sienta suficientemente seguro como para decir la verdad. En este sentido, garantizar la protección de la privacidad hace que más gente se anime a responder. A fin de reducir al mínimo el sesgo, el entrevistador debe seguir un guión idéntico para todos los sujetos.

Cuidado con los conflictos de interés generados por las encuestas engañosas. Por ejemplo, si la persona que te ha atendido te pregunta por la calidad del servicio, es posible que no respondas con sinceridad. O si el último día de tratamiento, justo antes de irte, tu fisioterapeuta te pide que rellenes una encuesta “anónima” para conocer tu grado de satisfacción, puede que tenga problemas de sesgo.

Insistir, insistir e insistir

Cualquiera que alguna vez haya tirado una encuesta a la basura o se haya negado a responder “unas pocas preguntas” por teléfono sabe que conseguir que la gente participe en una encuesta no es tarea sencilla. Si el investigador quiere reducir el sesgo al mínimo, lo mejor es conseguir que participen tantas personas como sea posible, y para eso hay que insistir y ponerlo fácil. Ofrece dinero, cupones, sobres franqueados con la dirección ya escrita, posibilidad de ganar premios, etc. Todo ayuda.

Si únicamente contestan las personas sensibilizadas con el tema de la encuesta, el resultado es que tan sólo se tendrán en cuenta sus opiniones, ya que el resto de las personas a quienes no les preocupe demasiado el tema no habrán respondido, y los votos “me da lo mismo” no se habrán contabilizado. O puede que sí les importara pero no se tomaron la molestia de decírselo a nadie. En cualquier caso, su voto no se cuenta.

Por ejemplo, supongamos que 1.000 personas reciben una encuesta en la que se les pregunta si habría que cambiar el reglamento para que se pudiera sacar a pasear a los perros por el parque sin ponerles correa. Lo más probable es que sólo contestaran las personas que están muy a favor o muy en contra de la propuesta. Supongamos que contestan 200 personas, 100 en contra y 100 a favor. Eso significa que se han dejado de contabilizar 800 opiniones. Supongamos que a esas 800 personas les trae sin cuidado esta cuestión. Si pudieras contabilizar sus opiniones, los resultados serían 800/1.000=80% de no sabe/no contesta, 100/1.000=10% a favor del nuevo reglamento, y 100/1.000=10% en contra del nuevo reglamento. Pero sin los votos de esas 800 personas, los investigadores dirían lo siguiente: que de las personas que respondieron, el 50% votó a favor del nuevo reglamento y el 50% votó en contra. Como puedes ver, este resultado (totalmente sesgado) es muy diferente del que habrías obtenido si te hubieran respondido las 1.000 personas.

La tasa de respuesta de una encuesta es un porcentaje que se determina dividiendo el número de personas que han respondido por el número de personas cuya participación se ha solicitado. Naturalmente, siempre se busca la tasa de respuesta más alta que sea posible, pero ¿hasta dónde hay que llegar para reducir al mínimo el sesgo? Los estadísticos más puristas consideran que una buena tasa de respuesta debe estar por encima del 70%, pero yo creo que hay que ser un poco más realistas. Actualmente se hacen encuestas a troche y moche, y muchas tasas de respuesta, si no la mayoría, están muy por debajo del 70%. De hecho, es más probable que oscilen entre el 20 y el 30%, a menos que la encuesta la realice una organización profesional o te regalen un coche nuevo por participar.

Cuando examines los resultados de una encuesta, fíjate siempre en la tasa de respuesta. Si es muy baja (muy inferior al 50%), es probable que los resultados estén sesgados, en cuyo caso deben cogerse con pinzas o incluso descartarse.

No te dejes impresionar por el hecho de que una encuesta haya contado con un elevado número de participantes; si la tasa de respuesta es baja, por muchos que hayan respondido, habrá muchos más que fueron preguntados y no respondieron.

Las fórmulas estadísticas de este nivel (entre ellas las fórmulas que hay en este libro) presuponen que el tamaño muestral es igual al número de personas que responden. De esta forma, los estadísticos quieren hacerte ver hasta qué punto es importante insistir para no terminar con datos sesgados debido a una baja tasa de respuesta. No obstante, lo cierto es que los estadísticos saben perfectamente que, por mucho que te esfuerces, no siempre puedes conseguir que todo el mundo responda; de hecho, ni siquiera el censo nacional oficial tiene una tasa de respuesta del 100%. Una manera de combatir este problema después de haber recopilado los datos consiste en desglosarlos para ver hasta qué punto concuerdan con la población objetivo. Si la concordancia es bastante buena, el problema del sesgo es menos grave.

Entonces, ¿qué número hay que poner como n en todas esas fórmulas estadísticas tan utilizadas (como la media muestral del capítulo 5)? En lugar del tamaño muestral inicial (el número de personas con las que te has puesto en contacto), tienes que utilizar el tamaño muestral final (el número de personas que han respondido). En los medios de comunicación lo normal es que únicamente mencionen el número de participantes en la encuesta, pero ya has visto que para poder valorar los resultados de forma crítica necesitas conocer también la tasa de respuesta (o el número total de personas preguntadas).

En lo que se refiere a la calidad de los resultados, seleccionar un tamaño muestral inicial pequeño e insistir mucho para que participe el mayor número posible de personas es un planteamiento mucho mejor que seleccionar un grupo muy grande y luego obtener una tasa de respuesta baja, ya que en este segundo caso el sesgo será muy alto.

Interpretar los resultados y descubrir problemas

El propósito de una encuesta es obtener información sobre la población objetivo. Esta información puede incluir opiniones, perfiles demográficos, estilos de vida o comportamientos. Si la encuesta se ha diseñado y realizado de manera imparcial y exacta, y sin perder de vista sus objetivos, los datos recopilados deberían proporcionar información válida sobre la población objetivo (dentro del margen de error indicado; que explico en el capítulo 12). A continuación hay que organizar los datos para obtener una imagen clara de lo que está ocurriendo; realizar un análisis en busca de vínculos, diferencias u otras relaciones de interés; y por último extraer conclusiones basadas en los resultados.

Organizar y analizar

Tras haber realizado la encuesta, llega el momento de organizar los datos y analizarlos (en otras palabras: hacer unos cuantos cálculos y dibujar algunos gráficos). Existen muchas formas de representación gráfica y estadísticas resumidas que pueden crearse y calcularse a partir de los datos de una encuesta en función del tipo de información que se haya recopilado (los datos numéricos, por ejemplo los ingresos, poseen unas características particulares y generalmente se presentan de manera diferente a los datos categóricos, por ejemplo el sexo de la persona). En los capítulos 5 a 7 encontrarás más información sobre el modo de organizar y resumir los datos. En función de la pregunta que haya dado pie a la investigación, es posible realizar distintos tipos de análisis con los datos, entre ellos estimaciones de parámetros poblacionales, contrastes de hipótesis sobre la población o búsqueda de relaciones, por nombrar algunos. En los capítulos 13, 14, 15, 18 y 19 encontrarás más información sobre todos estos tipos de análisis.

Cuidado con las estadísticas y los gráficos engañosos. Los datos de las encuestas no siempre se organizan y analizan de forma imparcial y correcta. En el capítulo 3 puedes consultar por qué pueden estar equivocadas las estadísticas.

Extraer conclusiones

Las conclusiones son la mejor parte de cualquier encuesta, la razón última por la cual los investigadores hacen todo ese trabajo. Si la encuesta se ha diseñado y realizado de la forma debida (se ha seleccionado una muestra válida y los datos se han organizado y resumido correctamente), los resultados deberían representar de manera imparcial y exacta la realidad de la población objetivo. Sin embargo, no todas las encuestas se hacen bien. E incluso cuando una encuesta se hace correctamente, los investigadores pueden malinterpretar o exagerar los resultados, en cuyo caso acaban diciendo más de lo que deberían.

¿Conoces el dicho “ver para creer”? Algunos investigadores son culpables de lo contrario, que sería “creer para ver”. Dicho de otro modo, aseguran haber visto lo que querían creer sobre los resultados. Razón de más para que sepas dónde trazar la línea entre conclusiones razonables y resultados engañosos, y puedas ver cuándo otra persona ha cruzado esa línea.

Éstos son algunos errores comunes que se cometen al extraer conclusiones de encuestas:

Extrapolar los resultados a una población más grande que la representada realmente por el estudio.

Afirmar que existe una diferencia entre dos grupos cuando en realidad no existe. (Consulta el capítulo 15.)

Decir que los resultados no son científicos y luego presentarlos como si lo fueran.

Para evitar estos errores comunes al extraer conclusiones, haz lo siguiente:

1. Asegúrate de que la muestra se ha seleccionado correctamente y de que las conclusiones no van más allá de la población representada por esa muestra.
2. Lee las salvedades y aclaraciones sobre la encuesta, si las hay, antes de leer los resultados.

De este modo, si los resultados no están basados en una encuesta científica (una encuesta exacta y no sesgada), será menos probable
que te veas influido por ellos. Podrás juzgar por ti mismo si los resultados de la encuesta son fiables.

3. Ten cuidado con las conclusiones estadísticamente incorrectas.

Si, como parte de los resultados de una encuesta, alguien afirma que existe una diferencia entre dos grupos, asegúrate de que esa
diferencia es más grande que el margen de error. Si la diferencia está dentro del margen de error, cabe esperar que los resultados
muestrales varíen en esa medida por puro azar, y entonces esa supuesta “diferencia” no se puede extrapolar a toda la población.
(Encontrarás más información al respecto en el capítulo 14.)

Debes conocer las limitaciones inherentes a las encuestas y desconfiar de cualquier información procedente de una encuesta en la que no se hayan respetado dichas limitaciones. Las malas encuestas son baratas y fáciles de hacer, pero lo que te dan está acorde con su coste. De todos modos, tampoco te dejes impresionar por las encuestas grandes y caras, porque también pueden tener sesgo. Antes de examinar los resultados de una encuesta, aplica los criterios y consejos de este capítulo para averiguar cómo fue diseñada y realizada. Así podrás juzgar la calidad de los resultados y sabrás a ciencia cierta si se ha cometido algún error.