24 julio, 2021
En años impares proliferan las mediciones, pero no todas tienen la misma rigurosidad. Los indicadores que pueden develar qué tan confiable es el estudio.
Por Francisco Llorens
Mediciones de imagen, preferencias electorales, expectativas económicas, principales preocupaciones. Desde hace décadas existen las encuestas, pero en los últimos años proliferan cada vez más en los años en los que hay elecciones. Incluso se han convertido en herramientas políticas: mediante encuestas se han dirimido candidaturas internamente y se busca influenciar para mejorar la ubicación en las listas o en las alianzas electorales.
Pero, está claro, no todas son igual de válidas ni tienen el mismo nivel de profesionalismo. A continuación, ocho indicadores a observar cuando se lee una encuesta:
Todas las encuestas tienen -o deberían tener- una ficha técnica, en la que se detallan las cuestiones metodológicas. «Es la guía, el esqueleto de la encuesta. Tenemos que ver en qué momento fue realizada, entender la geografía, la cantidad de casos y el margen de error, que es el porcentaje que se agrega o elimina en los datos que recibimos», sostiene Florencia Filadoro, directora de Reyes Filadoro y presidenta de la Asociación Argentina de Consultores Políticos.
Lucas Romero, director de Synopsis coincide en que «para saber si una encuesta está bien hecha, la ficha técnica puede ser una referencia, ya que puede describir la metodología». Sin embargo, agrega que eso no asegura la confiabilidad, ya que «supone que se respeta un procedimiento, y eso no se puede saber. Entonces influye el prestigio de quien presenta los resultados».
Dentro de la ficha técnica hay una cuestión que se destaca especialmente, según sostiene Celia Kleiman, directora General de Polldata Consultores. «El factor más importante a tener en cuenta es que toda encuesta debe ser representativa de la población en estudio. O sea, si es nacional, debe incluir no solo todas las provincias, sino también las distintas localidades», considera.
Pero no solo se trata de una cuestión geográfica, sino que la representatividad debe existir también «en género y nivel socioeconómico. Si falta alguno de esos parámetros, la encuesta no sirve».
Al analizar una encuesta y observar la ficha técnica, hay un dato que muchas veces se impone por sobre el resto: la cantidad de casos relevados. Sin embargo, como detallan los especialistas, no se trata de una cuestión definitoria, ya que un mal estudio puede tener muchos casos y uno bueno, no tantos.
«Hay un mito con el tamaño de la muestra. Una de 1000 casos puede ser diez veces mejor que una de 5000 casos según el procedimiento, si respetó las cuotas y la distribución geográfica», explica Romero. En este sentido, ejemplifica que «con 400 casos puedo tener una muestra representativa de la población de China, según dice la estadística, con grado de confianza y margen de error tolerables». Para que esto suceda, igualmente, remarca que el proceso de recolección de esos casos tiene que haber cumplido las condiciones probabilísticas.
«No es lo más importante el número de casos: 800 bien levantados son mejores que 5000 mal tomados. La cantidad de casos es menos relevante que otras cuestiones de la metodología», advierte Ana Iparraguirre, directora de Dynamis Consulting. En este punto, aclara que «el tamaño de la muestra no depende del tamaño de la población sino de cuán heterogénea es esa población. Cuanto más heterogénea, más grande tiene que ser la muestra».
Kleiman, por su parte, repara en que «la cantidad de casos es relevante: si vemos una encuesta nacional de 800 casos indica que los relevamientos no han sido lo suficientemente amplios como para abarcar a la totalidad de la población en estudio». En este sentido, agrega que al bajar la cantidad de casos aumenta el margen de error.
Sergio Berensztein, analista político y presidente de la consultora homónima, concuerda en que pocos casos incrementan el margen de error, pero advierte que «muchos casos tampoco lo reducen a veces. Hay un punto en el que es irrelevante si tenés 3000 o 4500, no varía mucho el margen de error». Una muestra grande, igualmente, permite segmentar y hacer análisis por determinados grupos, ya sea etarios o geográficos.
Existen distintas maneras de obtener los datos: de forma presencial, por teléfono -ya sea de forma automática o con una persona-, por internet. Cada una cuenta con ventajas y desventajas.
«El mejor método es el presencial. Es el más caro y el que lleva más tiempo, pero el nivel de precisión es incomparable, ya que permite llegar a todos. La peor de todas es la que busca respuestas por redes sociales» asevera Kleiman.
Filadoro coincide en que es el mejor método. Ejemplifica que «si bien uno puede mentir, es difícil dar respuestas inconsistentes cuando el encuestador se da cuenta. Puede repreguntar o dejarlo como observación, los controles de calidad son mayores». Igualmente, reconoce que es el método más caro.
Otro problema es que tampoco es cierto que se puede llegar a absolutamente todos. «A barrios cerrados o a lugares peligrosos no pueden ir los encuestadores, todos los métodos tienen pros y contras», reconoce Berensztein.
Romero coincide en que la presencial reduce márgenes de error, pero aclara que sus costos solo pueden ser cubiertos en grandes campañas. Sobre los otros métodos enumera las telefónicas, que «han perdido terreno porque la gente tiene cada vez menos línea fija». Las realizadas a celulares tienen otro problema, que radica en que las compañías no pueden proveer información a consultoras. «Es necesario tener el universo de teléfonos móviles de la población que estoy estudiando, entonces en un punto son ilegales», añade. De esta forma, observa que la online «es la que más ha crecido, la gente está más conectada».
Iparraguirre reconoce que «la metodología está cambiando mucho y nadie ha resuelto esta cuestión, ni en Argentina ni en Estados Unidos, que están más avanzados». En este punto, abre la posibilidad de las metodologías multivariables, en las que se combinan diferentes estrategias -telefónica y online, por ejemplo-, para llegar a distintos segmentos. Igualmente, explica que «el desafío es que no sabés qué proporción hacer de cada metodología. Y que se puede violar una regla básica del muestreo: todos deben tener la misma probabilidad de ser encuestados».
Los especialistas reconocen lo evidente: que muchos relevamientos buscan influir políticamente, ya sea puertas adentro de un espacio político o en la opinión pública general. Hay varias pistas para tratar de dilucidar esta cuestión.
Además de la metodología, según Iparraguirre, «hay que mirar cuál es la pregunta que se hace y cómo está formulada. No es lo mismo preguntar si se pondría una vacuna contra el Covid-19 o si se pondría una vacuna contra el Covid-19 que le podría salvar la vida, por ejemplo».
Kleiman coincide en que no siempre es fácil detectar la intencionalidad. Incluso agrega que es más difícil saber «si está financiada por algún candidato o partido ya que, a pesar de que la norma es transparentarlo, suele mentirse al respecto». Igualmente, coincide en que es clave prestar atención a cómo están formuladas las preguntas, ya que «en ocasiones se formula la pregunta induciendo de alguna manera la respuesta que se quiere obtener. Hay formas muy sutiles y otras que no lo son tanto».
Existen algunos otros indicadores para tratar de dilucidar las posibles intenciones de una encuesta. Berensztein asegura que «la mejor manera de entender si una encuesta puede estar financiada políticamente o tener alguna intención es ver cuándo se publica».
Según su visión, cuando se hace un relevamiento de intención de voto muy alejado de la fecha de los comicios implica un riesgo, ya que «hay un número enorme de gente que tiene otras preocupaciones». En esta línea, por más que pueda haber sido realizada correctamente a nivel metodológico, «la interpretación puede ser sesgada. No por el encuestador, sino por quién y cómo lo publica».
Filadoro agrega otra cuestión, para que la que hay que prestar atención al estudio en su conjunto. Sostiene que debe haber «consistencia interna en las respuestas. Por ejemplo, si el presidente tiene una imagen negativa, se esperaría que el nivel de aceptación de su gobierno sea más bien negativo».
De una forma u otra, la trayectoria y el prestigio de quienes realizan los estudios tienen su peso. Pero como no siempre es fácil conocerlo si no se pertenece a ese círculo, existe un factor que puede colaborar. «A partir de la reforma política se creó un registro de encuestadoras. Está en la Cámara Nacional Electoral, que en tiempos de campaña solicita a todas las encuestadoras que hagan públicos los resultados de sus estudios, que informen las características técnicas y quién financió el estudio».
Sobre este punto, considera «si hay encuestadoras que no publican su ficha técnica allí, empezá a sospechar de si hay alguna intencionalidad en la publicación de esos resultados». Igualmente, matiza en que no soluciona el tema, ya que se trata de una declaración jurada.
Son incontables los casos en los que las encuestas indicaban un resultado electoral que luego no se correspondió con lo que sucedió en las urnas. No hay un consenso en torno a si este tipo de investigaciones necesariamente deben ser efectivas en este punto. Los consultores, sin embargo, aseguran que no es lo que ellos privilegian.
«Lo último que nos interesa de las encuestas es si predicen resultados. En general las usamos para entender el contexto: dónde o cómo se están desenvolviendo los candidatos con los que trabajamos en las campañas y tratando de entender qué pasa alrededor», cuenta Filadoro. Sobre esta cuestión, agrega que es distinto al enfoque «de los medios, más apuntado a una especie de carrera de caballos».
Berensztein es tajante en considerar que «el método no sirve para predecir resultados con precisión. En todo el mundo las encuestas han tendido a fracasar para predecir el resultado de las elecciones». En este punto, explica que cuando surgió la metodología, en la década del 50, las preferencias eran estables y no había variabilidad en las preferencias de los votantes. «Hoy vivimos en sociedades inestables, fragmentadas, con identidades múltiples y muy impredecibles. Entonces intentar predecir resultados electorales es cada vez más difícil».
De esta forma, cree que las encuestas sirven para tener diagnósticos, entender fortalezas y debilidades de candidatos o apoyo a identidades políticas, pero no para predecir resultados.
