Después del resultado de la segunda vuelta del 2022 el Semáforo de las encuestadoras de La Silla Vacía se actualiza nuevamente. La versión inicial ya lo había hecho con los resultados de las consultas, y la primera vuelta.
Invamer y Guarumo ahora son las encuestadoras mejor calificadas.
¿Qué es el Semáforo de las encuestadoras?
El semáforo de La Silla Vacía le da un puntaje a las empresas que hacen encuestas de intención de voto a nivel nacional en las elecciones presidenciales de 2022. Busca separar las encuestas confiables y acertadas, las regulares y las dudosas, según un modelo de dos criterios que les otorga un puntaje global.
El primer criterio es el de desempeño. El modelo contrasta las últimas encuestas publicadas con los resultados de las elecciones del 2018 (primera y segunda vuelta) y las de 2022 (consultas y las dos vueltas). En esta actualización del Semáforo dimos nuevos pesos a estos resultados, privilegiando los más recientes del 2022 (20% para 2018 y 80% para 2022). Este puntaje de desempeño tiene un peso de 75% en la puntuación global.
El segundo criterio saca un puntaje de metodología y transparencia de las encuestas, a partir de varios criterios detallados en la nota metodológica. El puntaje de metodología y transparencia tiene peso de 25% en el puntaje global de las casas encuestadoras.
La escala de 1 a 10 que el modelo le otorga a cada encuestadora es una calificación relativa. La mejor encuesta tiene 10, lo que no implica que sus resultados sean perfectos.
El semáforo no predice qué va a pasar ni se queda quieto. Se seguirá alimentando de las encuestas hechas en los ciclos electorales del futuro, por lo que la posición de las encuestadoras puede variar.
El Semáforo alimentó el Ponderador de La Silla Vacía, que fue uno de los más acertados para la primera vuelta de varios ejercicios similares de promediadores de encuestas, según el cálculo que hizo el blog Recetas Electorales. También es utilizado como insumo en el ponderador del diario de El País de España, elaborado por Jorge Galindo.
Los detalles completos del modelo están disponibles en la nota metodológica.
NOTA METODOLÓGICA
Metodología
El semáforo busca informar la interpretación de encuestas con argumentos objetivos y subjetivos claros. Tomamos ideas de otros modelos de evaluación de encuestas, específicamente de FivethirtyEight.com en Estados Unidos. También tuvimos retroalimentación de los expertos Miguel García (Universidad de Los Andes), Jorge Galindo (El País de España), Tomás González (Experto en opinión pública para políticas gubernamentales) y Javier Restrepo (ex Ipsos Napoleón Franco). Rafael Unda asesoró a La Silla en la construcción de la base de datos y los cálculos. La responsabilidad del semáforo es de La Silla Vacía, no de ellos.
La base de datos
El semáforo refleja un modelo con dos puntajes, uno para desempeño y otros para metodología y transparencia. Se construyó a partir de una base de datos que compila la información reportada por las encuestadoras en la ficha técnica de cada medición. El conjunto son las encuestas públicas de intención de voto en las elecciones presidenciales de 2018 y de 2022, que pretenden representar un universo nacional. Eso excluye a algunas con estudios regionales.
La información que usamos está disponible en el Consejo Nacional Electoral (CNE) en el caso de las encuestadoras que están inscritas ante esa entidad como lo requiere la ley. Otras, que circulan de manera informal en este ciclo, también fueron incluidas y están en la base de datos del semáforo de las encuestadoras.
Esto quiere decir que el semáforo parte de un principio de buena fe, que asume que lo reportado por los encuestadores es real.
Puntaje al desempeño
El puntaje al desempeño refleja qué tan cerca estuvo la última medición de una encuestadora frente al resultado electoral. Toma los resultados de la primera y segunda vuelta del 2018 y de las consultas presidenciales de marzo y las elecciones presidenciales de 2022. Para evaluar los resultados de las consultas, tomamos el porcentaje obtenido por cada candidato dentro de su coalición, el voto en blanco y los resultados de la participación en cada consulta. Los porcentajes de votantes indecisos se excluyen, y se calcula una nueva base de porcentajes.
Dentro del puntaje de desempeño, las mediciones de primera y segunda vuelta de 2022 tuvieron el 60 por ciento del peso, seguidas por las consultas presidenciales de 2022 que pesan el 20% y las mediciones de primera y segunda vuelta de 2018 valen juntas el 20% restante.
Tomamos las encuestas hechas como máximo 3 semanas antes de las elecciones y calculamos el efecto del margen de error para medir qué tan cerca estuvo su medición del resultado en las urnas. Calculamos la diferencia entre el resultado final de la elección y el valor más cercano del intervalo estimado por la encuesta de acuerdo con el margen de error reportado.
El modelo premia a las casas encuestadoras que publican encuestas cerca a las elecciones y castiga a las que no lo hacen. Consideramos que el mejor termómetro del desempeño de las encuestas son las elecciones reales, y publicar encuestas cerca a esa fecha es la mejor manera de someter su metodología al escrutinio público.
Al puntaje global de desempeño le otorgamos un mayor peso en el puntaje final (75%) porque es un dato objetivo y cuantificable. Además, si bien las encuestas electorales no son predictivas, sí buscan reflejar lo mejor posible la intención de voto, que solo se puede comprobar con la votación real.
Puntaje a la metodología y transparencia
El puntaje a la metodología y transparencia de cada encuestadora tiene un peso menor en el puntaje global (de 25%) y refleja seis componentes que, según el grupo de expertos consultados, sumaban elementos de una buena encuesta.
- Número de mediciones: mide cuántas encuestas de intención de voto ha hecho para las elecciones presidenciales desde el ciclo 2017-2018. A más encuestas más puntaje, pues refleja que la encuestadora dedica recursos y pone más en juego su prestigio en estas mediciones.
- Técnica de recolección: este criterio cualitativo puntúa el método de recolección (presencial en hogares, presencial, telefónico en hogares, celular, o digital). Le da mayor valor a las encuestas presenciales que a las remotas. El método mixto, que combina encuestas presenciales y telefónicas, es el mejor calificado.
- Si está inscrita en el CNE: por exigencia legal, las encuestadoras que hagan mediciones electorales deben estar inscritas ante ese organismo y cumplir unos requisitos. Se penaliza no estar inscrita pues señala baja adherencia a las reglas.
- Número de municipios en los que se encuestó: permite cuantificar lo abarcadora de una encuesta y qué tanto refleja la inversión de recursos para encontrar un universo nacional.
- Días de trabajo de campo: permite cuantificar qué tan rápido “tomó la fotografía” la encuestadora. Entre más rápido mejor, pues refleja un momento puntual de la opinión (las de muchos días pueden mezclar momentos diferentes de la opinión) y la capacidad de desplegar un trabajo de campo robusto.
- Filtro de votantes: esta medida cualitativa le dio un mayor puntaje a las encuestas que hicieron un filtro para encuestar a las personas tienen la intención de hacerlo, lo que permite interpretar mejor la opinión de los posibles votantes.
El puntaje global de metodología y transparencia penaliza a las encuestas que no publicaron información sobre alguno de los seis criterios y le otorga distintos pesos a cada uno de los seis, con mayor peso a la técnica de recolección, el número de municipios y el filtro de votantes. A las categorías cualitativas se les da un puntaje numérico para poder calcular un puntaje general.
Cálculo del puntaje global
El puntaje global de la casa encuestadora combina los puntajes de desempeño y de metodología y transparencia con sus pesos relativos (75% vs. 25%). Cada categoría arrojó un puntaje numérico que fue traducido luego, para mayor claridad, a una escala de 0 a 10. La mejor encuesta en cada categoría tuvo 10, lo que no implica que haya sido una encuesta perfecta, sino que fue la mejor de todas. Las demás se ubicaron en la escala según su distancia con la mejor.
Para calcular la ubicación de la casa encuestadora en el semáforo de tres colores se tuvo en cuenta su desempeño en este ciclo electoral:
- Confiable (verde): De 10 a 7,5
- Regular (amarillo): De 7,5 a 5
- Dudosa (rojo): de 5 a 0.
