Relación de ideas: el problema de las encuestas y una propuesta
Ahora que es un lugar común quejarse de las encuestas y acusar a los encuestadores de los mil males, mi espíritu contrera me lleva a matizar un poco y, no exactamente defenderlos, pero sí tratar de precisar qué le puede pedir hoy uno a una encuesta y qué es exactamente lo que están ofreciendo.

Tengo por las estadísticas el cariño que siento por las cosas que a lo largo de mi vida me han dado diversión y estímulo intelectual. La idea de resumir en algunos números un fenómeno en apariencia inabarcable me parece una conquista del ser humano digna de estar en lo más alto. Es parte del proceso de abstracción, de poder salir de la percepción inmediata a una generalización razonable, de la impresión al pensamiento. Se aplica a las encuestas de intención de voto y a las de opinión, pero también a otro tipo de resúmenes numéricos: la cantidad de goles que hizo Messi de tiro libre (muchos) o de cabeza (pocos), cuántas películas vi en el año y cuántas de esas eran argentinas, la gente que aporta dinero y cuánto aporta en promedio, etc.

No es que todas las estadísticas sean necesariamente interesantes. Ahora, en la manía numérica no siempre bien enfocada de las transmisiones de fútbol, antes de cada córner ponen en pantalla el porcentaje de veces que la tiraron a cada zona del área. No conozco a un solo futbolero que le preste atención al dato: el cerebro lo acomoda en el lugar de las cosas inútiles; el mismo lugar dónde va la información de los banners que nos tapan el lateral de la parte de debajo de la pantalla. Lo mismo pasa con los penales, pero uno podría imaginar que esa información es un poco más relevante. Mas no: lo único que el espectador espera es que saquen ese cartel y pateen el maldito penal.

Entre las estadísticas interesantes aplicadas a la política la más apasionante, sin dudas, es el conteo de votos después de una elección, desde los números más generales, que dicen quién ganó y quién perdió, hasta los análisis desagregados por región. El interés intelectual del resultado político se une al espíritu deportivo cuando los resultados van apareciendo de a poco a lo largo de la noche y en las redes todos somos politólogos con estudios demográficos: “falta cargar Gran Rawson que vota distinto”, “ya no tiene forma de descontar”, “ojo con el voto en blanco”.

Sin embargo, el día de la verdad expresada por las elecciones está precedido por las encuestas que tratan de anticipar los resultados. Nos choca que los resultados finales difieran en mucho de lo que predecían los sondeos pero tratemos de entender algo: lo que le estamos pidiendo a una encuesta, por ejemplo, es que preguntándole a 1500 personas de todo el país (ya una tarea ímproba) sepamos qué es lo que van a votar en otra fecha 34 millones de personas. Es un milagro que alguna vez funcione, pero eventualmente sucede.

El secreto de ese posible milagro se llama muestreo. Si uno quiere hacer una evaluación de las características de una población, no es indispensable relevar a cada miembro de ésta; bajo ciertas condiciones podrá tomar como representante del total a una parte de la población. Si esa porción es representativa del total, las características relevadas se presentarán en las proporciones anticipadas por la muestra.

 

El principio en que se basa no es muy distinto del mecanismo usado cuando uno se hace un análisis de sangre. Si uno quiere saber cómo tiene el colesterol no necesita sacarse los cinco litros de sangre que tiene para examinarla, bastará con algunos centímetros cúbicos. ¿Por qué? Porque al ser la sangre relativamente homogénea, las proporciones en esa parte serán representativas del todo. Las proporciones que se observan en la muestra se replican en la totalidad del cuerpo.

En una encuesta de opinión o de intención de voto eso no sucede: la gente vota u opina distinto dependiendo de algunos factores sociodemográficos o hasta meramente geográficos. Por eso es por lo que en estos casos la calidad de la muestra es muy importante: tienen que estar representados en las debidas proporciones todas las características que son relevantes para el voto.

Es sabido que, desde hace unos años, las encuestas están siendo muy cuestionadas porque su poder anticipatorio ha menguado enormemente. La experiencia de la inesperada victoria de Trump o la falla del método en las elecciones británicas sobre el Brexit, ambos eventos en 2016, llamaron la atención. En Argentina, en 2019, las encuestas para las elecciones primarias fueron incapaces de anticipar la holgura con la que el candidato peronista iba a tener sobre el entonces presidente Macri. Ahora, en este momento, provincia por provincia, las encuestas muestran sus limitaciones como predictores del momento de la elección.

¿Qué es lo que está pasando? Habitualmente, en nuestro país, en las redes sociales, todo error se interpreta como corrupción. No es que falten motivos, pero creo que, como suele suceder, se atribuye a la mala fe lo que simplemente es falta de calidad. Desde ya que muchos de los encuestadores trabajan suministrando insumos que simulan ser información pero que son parte de la campaña. A veces, muestran datos que hacen quedar bien a su empleador, a veces trabajan con una determinada audiencia a la que le dicen lo que ese público quiere escuchar. Sin embargo, nuestro análisis descarta esos sesgos por demasiado evidente y se concentra en los estudios hechos de buena fe, que son la mayoría de los que circulan.

Lo que está fallando, entonces, es que hay un problema con las muestras. Lo que se toma como parte no es representativo del total. ¿Por qué? Obviamente hay que estudiarlo de una manera mucho más detallada pero el golpe de gracia -por lo menos por un tiempo­- a las encuestas se lo dio la revolución de las comunicaciones que pasó de tener un teléfono por cada hogar a un teléfono para cada persona. Previos al cambio radical que se produjo con las comunicaciones, cada vivienda tenía una sola línea telefónica. La característica del número asignado tenía relación con su zona geográfica. El 83 correspondía a Barrio Norte y el 781 a Belgrano: esas son las que me acuerdo de memoria, pero era así en todos los casos. Esto es importante porque cuando los encuestadores llamaban a un hogar para hacerlos parte de la muestra sabían aproximadamente su ubicación y, por lo tanto, con un grado de aproximación muy alto, su nivel socioeconómico. Diseñar una muestra con todas las complejidades sociodemográficas necesarias a partir de la guía telefónica era una tarea relativamente sencilla.

Desde hace unos años, el teléfono personal ha reemplazado al teléfono de línea y no hay manera de llamar a una persona teniendo ya datos previos sobre su condición social. El diseño muestral pasa a ser posterior a la captura de datos y no antes, lo cual complica enormemente la tarea.

 

El llamado ya no es impersonal, a un hogar, sino a una persona. La sensación de invasión que siente alguien cuando lo llaman directamente conspira contra la posibilidad de respuesta. El ritmo de vida se ha acelerado y el teléfono se ha convertido en una computadora con miles de usos. Es muy difícil que alguien le dedique algunos minutos a una encuesta. Para conseguir un tamaño de muestra apreciable hay que hacer una cantidad de llamados enorme. Luego hay que conseguir que esa muestra sea representativa, algo mucho más complicado todavía. Por otra parte, parece estar descubriéndose un sesgo en esta toma de datos y es que el que finalmente está dispuesto a contestar es una persona más politizada e informada. Estas características están asociadas con un voto hacia los sectores más extremos de la política, los más confrontativos. Es algo que se comprobará al momento de llegar finalmente a las elecciones, pero de confirmarse sugeriría una diferencia enorme entre encuestas telefónicas o por internet, por un lado, y presenciales, por el otro.

Las encuestas presenciales, por su parte, son enormemente costosas, difíciles de financiar. Se trata de ir planilla en mano, en persona, cubriendo diversas zonas del país de diferentes estratos sociodemográficos. En general, las encuestadoras por sí mismas no pueden costear esos costos.

No hay elemento de medición que no tenga asociado un nivel de error. En general, esos instrumentos se van perfeccionando técnicamente, minimizando el margen de error. En el caso de las encuestas, las novedades tecnológicas han ido en contra de sus resultados, haciéndolas menos precisas. Sin embargo, las encuestadores, incluso de buena fe, siguen vendiendo sus servicios y publicando sus resultados como si no hubiera pasado nada en los últimos años. Creo sinceramente que con el error que tiene hoy la metodología, el nivel de datos sobre lo cual se puede dar cierta certidumbre es el orden en el que pueden quedar los principales candidatos y estimar, con menos precisión, si las brechas entre ellos pueden ser grandes o estrechas.

En las elecciones del último domingo en la provincia de Santa Fe, por ejemplo, la mayoría de las consultoras anticipó que los candidatos de Juntos por el Cambio superaban ampliamente a los del peronismo y que el resto de los candidatos quedaba muy lejos. También que dentro de la interna cambiemita la lista de Pullaro estaba por arriba de la de Losada, aunque por un margen estrecho. Como se ve, se acertó con el orden en que quedaron los candidatos y se falló en el tamaño de la brecha interna. Cuanto mayor es la desagregación, menos precisa es la medición. A nivel general, creo que las encuestas cumplieron con esta nueva, más modesta, perspectiva. El problema es que las consultoras muestran sus datos de manera numérica ¡y hasta con decimales!, lo que sugiere un precisión imposible.

Mi propuesta, realizada desde el lugar del aficionado al que le gusta mirar números y comparar predicciones con resultados finales, es que las consultoras admitan que están trabajando con un instrumento más imperfecto hoy que hace una década y que una forma de adaptarse a eso es presentar los datos con la humildad correspondiente y el escaso nivel de detalle que se puede inferir. Claro, al admitir la falta de precisión en sus mediciones tendrían que cobrar menos por su trabajo. He aquí el problema.