VADENUEVO DE COLECCIÓN: DEL N° 74 (NOVIEMBRE DE 2014). LAS FALLAS DE LOS SONDEOS DE OPINIÓN

En todas partes se cocinan habas (y encuestas); y por aquí… ¡a calderadas!

EL CASO ARGENTINO

A confesión de parte relevo de prueba. Unos meses atrás el propietario de una conocida empresa encuestadora, el sociólogo Artemio López, reveló que no le interesaban las encuestas para la internas argentinas de 2015 ya que, a falta de más de un año y medio, la única razón de las encuestas era la necesidad de hacer trascender cifras y nombres para “operar e instalar candidatos”.

El diario Clarín tituló el resumen de seis encuestas hechas en el mismo mes por otras tantas encuestadoras como “Cualquier semejanza con la realidad es pura coincidencia”. En tres gana Massa, en dos Scioli y en una Macri.

LOS BRASILEÑOS NO FUERON EN ZAGA

Dijo la BBC de Londres: “Cuando los sondeos dieron el papel de favorita a Marina Silva por delante de la presidenta Dilma Rousseff, los índices bursátiles se dispararon en muy poco tiempo. Era la preferida de los mercados. Tras la muerte de Eduardo Campos, la política evangelista tuvo un salto espectacular en los sondeos: del 20% que tenía su partido, el Partido Socialista Brasileño (PSB), subió hasta más de 35% en solo unas semanas. Sin embargo, en los últimos días, la burbuja Silva comenzó a desinflarse”.

Obviamente las encuestas hicieron su papel, pero fue tan grosera su diferencia con la realidad, que meras comparaciones numéricas son más contundentes que cualquier juicio que sobre ellas pudiera realizarse.

   

Y URUGUAY NO PUDO SER MENOS QUE SUS VECINOS

A las consultoras uruguayas las cosas no les rodaron bien desde el principio del proceso. En las primarias empezaron sus desaciertos; mejor dicho, en las únicas que hubo real enfrentamiento, las del Partido Nacional, los resultados proyectados por cinco de ellas fueron absolutamente errados respecto de la realidad y solamente una (Grupo Radar) pronosticó en forma acertada. (En realidad veremos que el término adecuado es “le embocó”).

Factum, Cifra, Interconsult y Equipos Mori proyectaron erróneamente en sus adelantos de abril y mayo.

En mayo aparecen resultados de Radar que son los únicos que aciertan la supremacía de Lacalle sobre Larrañaga, aunque con una metodología (llamados a teléfonos móviles al azar) tan poco estricta y endeble que en lugar de acierto da la impresión de que se trata de una “embocada”.

 

En las Nacionales del 26 de octubre el resultado no fue mejor.

 

Las cifras que tienen fondo amarillo coinciden con los resultados.

 

UN MASAZO PROVIDENCIAL

No, no se trata de un error ortográfico pues no se hace referencia a un golpe dado con una maza, sino a la manifestación previa a la veda, llevada a cabo por las masas frenteamplistas, decenas de miles de personas que con su fe partidaria procuraron comunicar al resto de la opinión pública que los augures de las encuestas no tenían razón al anunciar una futura “debacle” de la fuerza política que gobierna el país.

Esta gente repletó el inmenso espacio que va desde más allá de la Rambla y Bulevar Artigas, hacia el este, hasta las Canteras del Parque Rodó, quedando buena parte de ella sin poder llegar al lugar, desplegada más allá del espacio previsto para el acto; fue una multitud imposible de cuantificar. Podría hablarse de actos proporcionalmente aun mayores en el interior.

Es que muchos venían atragantados con las encuestas, que primero mes a mes, luego quincena a quincena y al final semanalmente, iban goteando presuntas “bajas performances” de ciertos candidatos y ascensos de otros. La edad, ciertas actitudes “no positivas” y algunas faltas de tacto o desconocimiento de las “buenas costumbres” parecían estar minando sus posibilidades (al menos eso explicaban los encuestadores), perdiendo posiciones ganadas antes los logros económicos y sociales de los últimos dos gobiernos. Todo expresado en encuestas cuyo grado de razonabilidad no era claramente percibido, pese a las torrenciales argumentaciones con que se pretendía respaldar las conclusiones. Máxime que el mero gráfico de las mismas encuestas desde 3 o 4 años atrás tenía en los tres partidos mayoritarios una curiosa regularidad, mostrando tres líneas más o menos paralelas y horizontales, es decir que las distancias entre los partidos era constante, tan constante como los guarismos de cada uno.

Pese a esa manifiesta estabilidad la mayoría de los encuestadores nos hablaban de lo que habían cambiado esos números y de lo que podrían mutar en el corto lapso que faltaba para la Elección, dada la “altísima potencialidad de cambio” que evidenciaba el ámbito político.

Es que las encuestas venían de mal en peor, con muy bajas performances en anteriores Elecciones; la última fue la grandísima falla al pronosticar que Jorge Larrañaga ganaría con facilidad la interna a Luis Lacalle Pou. Diferencia que por lo amplia hizo que aquel se descuidara y terminara perdiendo la posibilidad de presentarse como alternativa a Tabaré Vázquez y eventualmente llegara a la Presidencia de la República.

Así las cosas: baja variabilidad de hechos y situaciones y, por lo tanto, alta probabilidad de determinadas ocurrencias sin necesidad de análisis sofisticados y riesgosos, y antecedentes técnicos muy deteriorados por imperio de los errores cometidos por varias firmas en las últimas Elecciones, reclamaban, en interés de las empresas encuestadoras, mayor atención y cuidado en las respuestas.

GRUESOS ERRORES TÉCNICOS

La apreciación por parte de la gente común de que las proyecciones de las encuestadoras no se correspondían con la realidad, fue reafirmada por diversos técnicos en estadística y ramas afines; quien más clara y crudamente expuso sus análisis críticos técnicos fue el ingeniero Daniel Mordecki, docente no vinculado a la corporación de encuestadores y politólogos, núcleo que, en general, eludió la autocrítica o la encaró superficial y benévolamente. Así lo hizo en el programa radial “Efecto Mariposa” en la estatal CX 26 Radio Uruguay y en el Portal Montevideo que citaremos a continuación.

Cabe señalar que el reportaje radial fue hecho en conjunto a Mordecki y al politólogo Daniel Chasquetti, quien no profundizó en ninguna acotación al duro razonamiento técnico expuesto, el que culminó con el reclamo de una ley de control de encuestas con obligación de transparencia, porque -según el técnico- “la transparencia y la democracia van de la mano”.

Mordecki expresó claramente que: "Como las empresas encuestadoras van a volver a chocar con la realidad dentro de cinco años, la gente se olvida. La población no piensa en la metodología que utilizan las empresas. (…) Es necesario que muestren sus datos para ver cómo llegaron a ellos".

Quienes contamos con conocimientos estadísticos básicos, sabemos que las muestras, sus intervalos de confianza y error posible refieren a sucesos documentados, en definitiva existentes, que por su volumen no se pueden conocer directamente y, por lo tanto, se recurre a cantidades más pequeñas que, debidamente seleccionadas, reflejen la estructura del todo con un aceptable margen de error.

También advertimos que estas encuestas de opinión tienen una carga de subjetividad intrínseca muy grande, puesto que cada individuo puede cambiar su opinión y, por lo tanto, una encuesta es un insumo más. Como consecuencia, es inexacto y acientífico expresar que las opiniones recabadas tienen tal intervalo de confianza y tal margen de error.

Mordecki advierte específicamente sobre la especie con precisiones técnicas. Dice: "Una encuesta tiene dos partes: Tiene una sociológica, sobre cómo se hace y si van casa por casa o por teléfono. Y luego hay un tema estadístico y matemático puro. El argumento es que las encuestas en Uruguay, no solamente en esta elección, no siguen esos parámetros estadísticos. La probabilidad que se den los resultados que pronostican es bajísima. En el boliche dirían que 'tocan las cifras'".

Luego refiere a las declaraciones (en realidad presuntos descargos) de un encuestador que venía estimando las preferencias por el Frente Amplio en un determinado porcentaje y, como en las últimas mediciones le daba otro muy superior, fue “matizando” (bajando) el aumento en función de su razonamiento, pero sin otro asidero científico que su propia opinión.

Culmina Mordecki: “Algunos (encuestadores) con estimaciones, otros con ponderaciones, etcétera. Pero todos de alguna manera modifican los datos que le dan las encuestas. Los datos que ves en la televisión no son los que dan la suma aritmética en base a lo que responde la gente".

"El crecimiento de los partidos tradicionales en las encuestas fue una realidad inventada por los dueños de las encuestadoras. Eso tiene que estar prohibido. Tiene que estar prohibido que digan lo que les parece y tienen que estar obligados a que se publiquen los datos verdaderos”.

“La magia de las encuestas es que son estadística pura y no interviene la mano del encuestador. Las encuestas durante cinco años no tienen contra qué comprobarse y por eso derivan todas juntas. Es la explicación del porqué y no de los motivos. Hay muchos de los encuestadores que si les inyectaras suero de la verdad se dejarían matar jurando que son mecanismos científicos. Ahora se disculpan, pero en realidad en las Elecciones pasadas dieron los mismos resultados y le erraron igual”.

MARGEN DE ERROR E INTERVALO DE CONFIANZA

Agrega Mordecki: “En la ficha técnica de cualquier encuesta podemos encontrar una frase como esta: ‘Margen de error de +/-3% con un 95% de intervalo de confianza’. Esto quiere decir que si al resultado de la encuesta le sumamos 3% y le restamos 3%, la probabilidad de que el valor real caiga en ese rango es de 95%. Lo natural es que los resultados rodeen el punto, unos en más y otros en menos, de alguna manera compensándose entre ellos. Pero en el caso uruguayo no se da así, todas las encuestadoras dan valores menores y muy parecidos entre sí, lo que estaría evidenciando o que hubo copias mutuas de resultados o que hubo una concertación de resultados. El agravante es que esos resultados fueron muy diferentes a la realidad y entonces se autoinvalidaron”.

Una vez que conocemos el resultado de la Corte Electoral, podemos calcular el intervalo de confianza real para cada tamaño muestral y porcentaje de error. Es contestar a la pregunta, con la encuesta que hicieron: ¿qué probabilidad tenían de acertar? Estos son los valores calculados por Mordecki:

 

“Es decir, con los tamaños muestrales y errores declarados por cada encuestadora, ¿qué probabilidad tienen los resultados expuestos? Una en 62.4 millones, algo así como ganar la lotería dos veces seguidas. Pero esto no queda ahí, porque también para la interna colorada las encuestadoras, lejos de dispersarse en torno al valor real (73,3% para Pedro Bordaberry y 25,8% para José Amorín Batlle), se concentraron en un rango que no contiene estos valores. Todas por encima para Bordaberry (75% - 84%) y todas por debajo para Amorín (14% - 24%). Otra vez nos preguntamos qué probabilidad hay de que con los tamaños muestrales y errores declarados suceda algo así. Una en 664 millones”, finaliza Mordecki.