CoCISnando ENCUESTAS

Hacer encuestas es algo a medio camino entre ciencia y artesanía. Hoy, con el descrédito en el que han caído, muchos dudan de su capacidad para captar fielmente las opiniones. Pero lo cierto es que no estamos ante el primer desafío al que se han enfrentado. Reinando por décadas, su coronación fue un proceso complejo, prolongado. Por ello, es notable la celeridad con la que algunos afirman que ha llegado su fin.

Una mirada atenta al proceso de desarrollo de las encuestas como método de investigación podría tomar muchísimas más páginas de las que este texto pretende llenar. A fin de cuentas, vivimos los tiempos de la prontitud. Queremos que nuestro café esté listo lo antes posible, nos desesperamos ante la demora en el servicio de un restaurante, los meses parecen eternos (especialmente cuando se trata de enero). Sin embargo, basta con rascar un poco la superficie de muchas críticas para encontrar la falta de fundamentos para muchas de ellas.

La discusión básica sobre las encuestas y su validez nos lleva a sus inicios. Siendo un método revolucionario, se apalancó en criterios estadísticos de muestreo y probabilidad. En principio, una muestra (n) sobre poblaciones (N) tiene que superar primero el problema de la magnitud. No se habla tanto del tamaño de la población, dado que, estadísticamente hablando, las poblaciones que superan cierta cantidad tienen parámetros de comportamiento que no implican un incremento obligatorio de una muestra.

Esto quiere decir que una muestra, alcanzado cierto tamaño, no experimentará grandes cambios por más grande que termine siendo la población estimada. Sucede lo contrario con poblaciones pequeñas, dado que el número de encuestas tenderá a achicarse conforme la población total sea menor. Así, el primer escollo reside en entender que la elaboración de una buena muestra debe responder a la teoría del muestreo. Esta es la explicación para las diferencias marginales entre muestras, para poblaciones muy grandes. Simplificando, la n de una N no variará significativamente cuando la N >100.000.

Ahora bien, si se asume que las poblaciones grandes no inciden fuertemente en el tamaño de la muestra, ¿qué lo hace? El famoso Margen de Error (σ² al que denominaremos para simplificar como MdE).

Cuando hablamos de MdE nos referimos a una estadística que expresa la cantidad de error de muestreo. Suele expresarse, como hemos visto como σ². ¿Por qué al cuadrado? Debido a que, en una distribución normal, el margen de error se divide entre los extremos de distribución. A medida en que n sea mayor, el σ² tenderá a aminorarse.

¿Pero qué tiene que ver esto con las encuestas? Precisamente que esta teoría es la que nutre la elaboración de la gran mayoría de las investigaciones. Toda elaboración de una muestra que pretenda ser verdaderamente representativa tiene que asumir estos principios. De lo contrario, la muestra será de baja calidad. De esta manera, una de las primeras lecturas que debe hacerse a toda encuesta es la de cuánto margen de error está asumiendo.

En 2016 el mundo político gritó al cielo por la sorpresa de Trump ante Clinton. Lo que no se suele contar es que muchas de las encuestas sobre las que se asentaron las afirmaciones del triunfo cómodo de Clinton, tenían márgenes de error que superaban el 6% (algunas incluso llegaban al 12%), cuando la diferencia entre ambos candidatos no superaba el 4%. Sería interesante consultar si alguien confiaría en una encuesta que puede variar en unos porcentajes tan amplios. Por eso, es clave que ante cualquier propuesta de encuesta o lectura de algún estudio/barómetro/sondeo, lo primero que se lea sea la Ficha Técnica de la misma.

Ahora bien, supongamos que hay una n bien definida, con un MdE que parece sensato. Lo siguiente para elaborar una encuesta es su calibrado. ¿Qué es el calibrar una encuesta? Básicamente desagregarla y convertirla en un microcosmos representativo de la población que se va a estudiar. Si se quiere encuesta a la gente de un municipio que tiene un 70% de población urbana y un 30% de población rural, la encuesta se repartirá consecuentemente. De igual forma se hará con aspectos demográficos clásicos como sexo y edades. Lo normal es que una muestra bien elaborada pueda considerar estos aspectos para hacerse aún más representativa.

Pero encuestar no es solo una buena muestra, el cuestionario a aplicar es clave. Quienes han sido encuestados alguna vez en su vida puede que hayan sentido que algunas preguntas eran reiterativas, o incluso que se repetían. Esto puede deberse a la construcción de los cuestionarios. Resulta clave mantener una correcta formulación, que evada los sesgos. Por ejemplo, si en una encuesta se pregunta: “Está Ud. ¿De acuerdo con la paz? Lo más normal será obtener porcentajes altísimos de respuestas afirmativas. Si consultáramos a las personas con un “Está Ud. ¿De acuerdo con aceptar la paz, sin importar el precio?” La forma en que se planteen las preguntas es fundamental.

Otro tanto podemos decir sobre la importancia del “campo”. Por “campo” se entenderá propiamente la aplicación del instrumento de la encuesta, sea en entrevistas autoadministradas o con entrevistador. En este punto será fundamental contar con un equipo adecuadamente preparado. Si se trata de una encuesta telefónica, se ha de preparar a los entrevistadores con un guion. También en el tono de voz, las palabras, manejo de los tiempos, e incluso cómo afrontar el rechazo sin caer en el desánimo. Asimismo, se debe supervisar a encuestadores para evitar cualquier fallo o incumplimiento.

Hoy, hablar de la codificación y procesamiento es recordar cómo se realizaba hace 2 décadas y compararlo con el presente. Unos años atrás, los cuestionarios eran codificados y transcritos en sistemas de procesamiento. Ahora, con el uso de dispositivos tecnológicos de última generación, cada registro de encuesta completada es trasladado automáticamente a una base de datos que puede conectarse al procesador de datos. De esta manera, el proceso de empadronamiento y análisis se acorta, por lo que es posible alcanzar un nivel de inmediatez impresionante.

Ahora bien, algunas empresas, casas encuestadoras, o institutos oficiales de demoscopia entran en el terreno movedizo de la “cocina de datos”. ¿Qué quiere decir esto? Si nos enfocamos en la relación de las personas con el hecho de ser consultados sobre información que pueden considerar muy personal como las preferencias políticas, es posible que el encuestador se halle frente a una ocultación consciente o inconsciente de información.

Todo el mundo tiene sesgos, así como tampoco estamos igual de dispuestos a aportar datos que consideramos de carácter personal. La cocina es la respuesta de los investigadores a este problema. El proceso es sencillo, pero requiere un trabajo muy profundo de comprensión de la data. Así, por poner el ejemplo más polémico de todos, se pueden realizar estimaciones de voto “corrigiendo” la intención de voto directa -aquello que la persona afirma directamente que votará- al añadir datos como simpatía por partidos políticos, recuerdo de voto, identificación ideológica, e incluso variables de carácter demográfico como nivel educativo, edad, y sexo del entrevistado.

Todavía no existe un acuerdo general sobre la mejor forma de hacerlo y cada “cocinero” puede tener su “receta”. Lo cierto es que la única manera de comprobarlo es contrastar la efectividad de la estimación en pretérito. Esto no quiere decir que carezcan de utilidad, una buena encuesta permite hacerse ideas claras, especialmente cuando existen indicios de tendencias claras en la opinión pública.

Finalmente, los resultados se procesan y analizan, buscando maximizar la visibilidad, así como la sencillez. Hoy contamos con herramientas que nos permiten darle el toque final a la información, facilitando a los lectores la comprensión de los hallazgos. Ante todo, se debe privilegiar la legibilidad de la información, porque se puede desaprovechar el trabajo realizado en cada una de las etapas anteriores. Estas visualizaciones se acompañan de descripciones y análisis que constituyen un documento que hace las veces de reporte. Una fotografía del momento.

¿Me estás diciendo que se puede manipular una encuesta?

Ahora, todo este proceso, delicado como cualquier investigación, puede ser vulnerable en distintos momentos. Dado que las encuestas constituyen un método que puede influir en la población, es normal que algunas personas intenten adulterarlas, por no hablar de esos casos de encuestadoras “de maletín”, que siempre aparecen de la nada. A continuación, se resumen los principales momentos en los que se puede manipular una encuesta, por más irrisorios que parezcan.

1. Con una muestra no representativa: sea por acción intencional o por omisión que, dado el caso haría de la encuesta una pérdida de recursos, si una muestra no es representativa, todo el proceso pierde sentido. Un interventor interesado podría exigir la construcción de una muestra cuya composición sobre represente públicos en los que tradicionalmente obtiene mejores resultados la propuesta, el partido o candidato interesado.
2. Con manipulación de los empadronadores: algo casi evidente es que se trataría de una acción tan costosa como innecesaria. Sin embargo, podría incidir, sobornar, o incorporar encuestadores falsos en los equipos. Aunque este caso sería poco atractivo, los otros son más económicos y discretos.
3. Con la elaboración o exigencia de preguntas sesgadas en el cuestionario: esto ya entra dentro de cosas que pueden suceder. Un cliente exige que se incluyan alternativas sesgadas o cambios en el planteamiento de las preguntas del cuestionario. De esta forma, consigue influenciar las respuestas para obtener resultados manipulados y difundir información falsa.
4. Manipulación de los resultados: al final, el cliente o encuestador interesado puede echar por tierra todo y optar por colocar los datos de la manera que considere más adecuada. Esto es una posibilidad clara cuando se da esa relación simbiótica de partidos-encuestadoras-medios-gobiernos. Se paga o impone la modificación de los resultados obtenidos, maquillando diferencias, redondeando, añadiendo decimales, etc. En este caso puede desarrollarse un cálculo propio que sobreestime alguna variable beneficiosa, omita alguna perjudicial.
5. Compra de informes falsos: existe una posibilidad, aunque remota, de que cliente y proveedor se arriesguen a acordar la forja de un documento o informe completamente falseado. Esta es la forma más descarnada de todas, se paga por un resultado favorecedor inventado. Sencillo y directo, el papel aguanta todo, aunque no todo es vendible.

Estos son 5 posibles acciones que pueden adulterar una encuesta. Si bien algunos casos son más realistas que otros, es indudable que quien tenga la capacidad y el interés por tergiversar la realidad, sin pagar coste alguno, tendrá todos los incentivos para hacerlo. Incluso, el desarrollo de programas de procesamiento de datos permite construir modelos que, automáticamente, procesarían la información que se va recibiendo para arrojar los resultados deseados.

Dicho esto, parecería injusto terminar sin aclarar que la mera discrepancia entre nuestra realidad percibida y los datos que señala una encuesta no les invalidad. Ambos procesos necesitan contrastarse ante una situación o resultados que es más difícil de prever de lo que parece. Por ello, algunos estudios muy interesantes se enfocan en el error de cada casa encuestadora respecto a resultados electorales que supuestamente predecían. En un contexto caracterizado por esa “guerra de encuestas” la mejor elección es no depositar la confianza ciega en ninguna, mantener espíritu crítico, y saber discernir entre información y trabajos de calidad frente a las estafas.

Elaborado por | Eduardo Castillo, Master en Asesoramiento e Imagen Política