Los encuestadores se equivocaron en las elecciones de 2016. Ahora quieren otra oportunidad.

Hay una nueva multitud de aspirantes a oráculos, decididos a no repetir los errores de sus predecesores. Por

• Robar Arturo página de archivo

14 de febrero de 2020

Karsten Petrat

En la noche del 8 de noviembre de 2016, Charles Franklin, al igual que millones de estadounidenses, vio llegar los resultados de las elecciones presidenciales con lo que describió como un sentimiento de hundimiento. Pero franklin , un encuestador de Wisconsin y profesor de leyes y políticas públicas en la Universidad de Marquette, no estaba angustiado por sus preferencias políticas personales; tenía su reputación en juego. Solo una semana antes, su propia encuesta había mostrado a Hillary Clinton seis puntos arriba en Wisconsin. En cambio, aquí estaba ella, perdiendo por siete décimas de punto.

Franklin estaba de servicio en la mesa de decisiones de ABC, un miembro de un equipo experto detrás de escena responsable de llamar a los estados para Clinton o Donald Trump a medida que llegaban los recuentos. Mientras observaba cómo se acumulaban los resultados hasta las cuatro de la mañana, se convirtió en claro que su encuesta estaba mal.

Esta historia fue parte de nuestra edición de marzo de 2020

• Ver el resto del número
• Suscribir

Nadie quiere equivocarse, dice, mirando hacia atrás. Así que en ese sentido fue muy deprimente.

No fue el único encuestador que malinterpretó las elecciones. Según RealClearPolitics , todas y cada una de las más de 30 encuestas en Wisconsin en los meses previos a las elecciones tenían a Clinton ganando el estado por márgenes que oscilaban entre 2 y 16 puntos. Y estos errores se amplificaron aún más porque luego se usaron como combustible para algoritmos informáticos que predijeron una victoria general de Clinton.

Después de que Donald Trump pronunció su discurso de victoria y se despejó el polvo, todos comenzaron a admitir sus errores.

Me destrozó darme cuenta de que me había equivocado, escribió Natalie Jackson, científica de datos del Huffington Post, que le había dado a Clinton un 98% de posibilidades de ganar.

Los medios, incluidos muchos medios cuyos propios pronósticos le habían dado a Clinton una fuerte probabilidad de victoria, comenzaron a denunciar la falla de los algoritmos de predicción. Algunos críticos fueron más circunspectos que otros y reconocieron que algunos pronosticadores habían descrito con precisión que una victoria de Trump era simplemente improbable. Pero muchos ponen en duda la idea de predecir elecciones. Algunos incluso usaron la elección como munición para atacar todo el campo de la ciencia de datos.

Sin embargo, casi cuatro años después, y con otro concurso a la vista, los meteorólogos están comenzando a emitir predicciones tempranas para 2020. La reacción violenta a 2016 no los ha disuadido; de hecho, ahora hay una multitud completamente nueva de aspirantes a oráculos, decididos a no hacerlo. replicar los errores de sus predecesores.

Qué salió mal

Un cóctel de problemas condujo a las encuestas fallidas de 2016. Algunas encuestas no lograron contactar a suficientes votantes blancos con menos educación, mientras que algunos partidarios de Trump se negaron a admitir de qué manera votarían. La estrategia poco convencional de Trump también resultó en más ciudadanos en condados rurales fuertemente republicanos. Los encuestadores asumieron incorrectamente que estas personas se mantendrían alejadas como lo habían hecho en elecciones anteriores, lo que hizo que la base de Trump pareciera más pequeña de lo que realmente era.

Pero si bien los encuestadores recibieron la mayor parte de la culpa, tal vez deberían haber recaído más condenas sobre los meteorólogos, que convierten los datos de los encuestadores en predicciones.

Dos importantes pronosticadores tenían a Hillary Clinton al 99% para ganar, dice G. Elliott Morris, periodista de datos de The Economist que trabaja en pronósticos electorales. Cuando no lo hizo, muchos de ellos simplemente culparon a los encuestadores, porque es fácil para ellos.

Hubo al menos dos errores importantes cometidos por algunos de los científicos de datos que ayudaron a diseñar los algoritmos de predicción. En primer lugar, asumieron que si las probabilidades de equivocarse por casi siete puntos en Wisconsin eran bajas, las probabilidades de un error comparable en otros estados críticos como Michigan y Pensilvania eran mínimas. De hecho, los problemas de votación en un estado se correlacionaron con errores en otros estados similares. Asumir que las encuestas eran completamente independientes entre sí, en lugar de reflejar las mismas reacciones a los mismos temas, produjo un exceso de confianza en la ventaja de Clinton.

En segundo lugar, los algoritmos de predicción no lograron registrar el número récord de votantes indecisos como señal de advertencia. Debido a que tantos votantes estaban indecisos hasta el día de las elecciones, y terminarían rompiendo fuertemente con Trump, los márgenes de Clinton eran mucho menos seguros de lo que parecían.

Karsten Petrat

Nos estaba mirando directamente a la cara, dice Rachel Bitecofer , profesor de ciencias políticas en la Universidad Christopher Newport. Si hubiera habido más encuestas en los estados muy disputados justo antes del día de las elecciones, sugiere, los analistas podrían haberse dado cuenta de la cantidad inusualmente alta de votantes que decidieron asistir en el último momento.

Sin embargo, no fue solo culpa de los meteorólogos. Incluso cuando sus probabilidades para cada candidato eran precisas, el público parecía tener problemas para comprender el significado de esos números.

Durante los días de cierre de la campaña electoral, estaba trabajando en FiveThirtyEight, uno de los medios más destacados que hacen predicciones. Mi trabajo no involucraba la carrera presidencial: en cambio, estaba cubriendo la Serie Mundial de béisbol. Cuando los Cachorros de Chicago perdían tres juegos a uno en la serie de siete juegos contra los Indios de Cleveland, noté que sus probabilidades de ganar, alrededor de uno en seis, estaban un poco por debajo de las posibilidades de Trump de tomar la Casa Blanca. Seis equipos lo habían hecho antes en los 113 años de historia de la Serie Mundial, y otros siete lo habían logrado en otras rondas de playoffs, por lo que definitivamente era posible, pero no era lo típico. Posteriormente, cuando tanto los Cachorros como Trump ganaron contra viento y marea, recibí una avalancha de tuits llenos de odio que me culpaban por haber creado de alguna manera dos posibles giros del destino.

Si escucha que habrá un 20% de probabilidad de lluvia, no traiga su paraguas. Y luego llueve y te enojas y probablemente sea tu culpa, dice Steven Shepard, editor y pronosticador electoral de Politico. Pero ese 20% de ocurrencia no es necesariamente tan improbable.

Muchas personas parecían mirar qué candidato se proyectaba para ganar (generalmente Clinton) sin considerar qué tan seguros estaban los pronosticadores. Un 70% de posibilidades de que Clinton gane ciertamente favoreció a los demócratas, pero debería haber sido visto de manera muy diferente a un 99% de posibilidades.

Aún así, algunos dijeron que el 99%, y sin duda fueron demasiado agresivos. Sam Wang, del Consorcio Electoral de Princeton, estimó que las posibilidades de Trump son inferiores al 1 % e incluso se comprometió a comerse un error si Trump obtenía más de 240 votos electorales.

Cuando se conoció el resultado de las elecciones, Wang se mantuvo fiel a su palabra. Una semana después del día de las elecciones, él apareció en CNN con una lata de grillos gourmet (gourmet desde el punto de vista de una mascota, aclaró) y denunció el espectáculo que había causado su apuesta. Espero que podamos volver a los datos y pensar detenidamente en la política y los problemas, dijo antes de sumergir un grillo en miel y, con una expresión de dolor, tragarse el insecto.

triple amenaza

No todos los pronósticos estaban tan lejos como los de Wang. Algunos incluso anticiparon una victoria para Trump. Para comprender por qué llegaron de manera tan diferente, es valioso observar la gama de enfoques, que se dividen en tres clases amplias.

Los primeros pronósticos en cada ciclo electoral provienen de lo que se denominan modelos fundamentales. Por lo general, se construyen a partir de índices de aprobación presidencial, estadísticas económicas e indicadores demográficos. Una economía fuerte presagia la victoria para el partido del titular, al igual que un alto índice de aprobación para el titular. La composición demográfica de un estado también se puede usar para predecir el resultado; por ejemplo, los votantes blancos sin educación universitaria tendieron a votar por Trump en 2016, por lo que es más probable que los estados con muchos de ellos sigan su camino en 2020 como bien.

Debido a que estos factores son relativamente estables, se pueden hacer predicciones fundamentales confiables mucho antes que la mayoría de los otros tipos de pronósticos. Modelos como este parecen demasiado simples para capturar todas las peculiaridades y escándalos de la campaña moderna de dos años. Pero se desempeñaron sorprendentemente bien en 2016: seis de cada 10 predijeron el voto popular final con una diferencia de un punto porcentual.

Sin embargo, la presidencia no se elige por voto popular nacional directo, y esa es una limitación clave de los enfoques fundamentales: pocos predicen los resultados finales del Colegio Electoral.

Los modelos de fundamentos tienen otra debilidad. Si surgen noticias de última hora, como un escándalo al final de la carrera o un cambio repentino en la economía (la crisis financiera de 2008 es un buen ejemplo), entonces estos pronósticos estables pueden volverse lamentablemente obsoletos. Para compensar esto, hace aproximadamente una década, los estadísticos comenzaron a popularizar nuevos tipos de modelos cuantitativos que no son tan vulnerables a estas sorpresas de octubre. Procesan los datos de las encuestas a medida que salen y producen una estimación día a día de quién ganará, para que puedan responder si la opinión pública cambia.

RealClearPolicies y el El resultado del New York Times ambos tienen modelos cuantitativos bien considerados, pero ningún modelo tiene más fama, o, posiblemente, un mejor historial, que el pronóstico FiveThirtyEight de Nate Silver, llamado así por el número total de votos en el Colegio Electoral. El algoritmo de FiveThirtyEight viene en varias variaciones, pero todas tienen cuidado de ajustar las encuestas de acuerdo con la confiabilidad de la organización de encuestas y si sus resultados tienden a inclinarse constantemente por los demócratas o republicanos. La ingestión cuidadosa de los datos de las encuestas y la atención que Silver presta a la incertidumbre tradicionalmente lo han diferenciado de otros pronósticos. FiveThirtyEight es el estándar de oro, me dijo Bitecofer.

De las principales predicciones electorales cuantitativas, la de FiveThirtyEight fue la más conservador , asignando a Clinton un 71,4% de posibilidades de ganar en vísperas de las elecciones. Eso suena ahora en retrospectiva, dice Charles Franklin: la victoria de Trump fue un resultado poco probable, pero no imposible.

Por último, existen predictores que evitan los enfoques matemáticos por completo y confían en cambio en una combinación de intuición, encuestas y el resultado de todos los demás tipos de modelos juntos. Estas predicciones cualitativas se ejecutan en uno de los motores computacionales más sofisticados y, sin embargo, propensos a errores que conocemos: el cerebro humano.

En lugar de estimaciones numéricas precisas, los pronosticadores cualitativos generalmente agrupan las carreras en una de cuatro categorías en una escala que va desde segura hasta arrojada.

Tirar significa que no hay favorito: una especie de lanzamiento de moneda, dice kyle kondik , un pronosticador cualitativo del boletín de análisis político Crystal Ball de la Universidad de Virginia. Lean, dice, es una pequeña ventaja para un lado o para el otro. Probablemente es un borde más grande para un lado o el otro. Y seguro, dice, significa que nos sorprenderíamos si esa fiesta perdiera. Algunos predictores cualitativos argumentan que estas agrupaciones verbales ayudan a los lectores a comprender las probabilidades relativas mejor que los números más exactos que se ofrecen en otros lugares.

Si bien estas predicciones pueden parecer menos científicas que las basadas en números, algunas cuentan con un impresionante nivel de precisión. En los exámenes parciales de 2018, según una evaluación de terceros de varios pronósticos profesionales , fue Crystal Ball, acertadamente llamado Crystal Ball, lo que mejor funcionó, no el algoritmo estadístico de FiveThirtyEight. Sin embargo, el rendimiento tiende a fluctuar de un ciclo a otro: la mejor práctica, según encuestadores y académicos, es consumir una amplia variedad de pronósticos: cualitativos, cuantitativos y fundamentales.

¿Qué sigue?

Casi todos los pronosticadores con los que hablé habían recibido correos de odio vitriólico después de los resultados de 2016. Sin embargo, docenas de nuevos modeladores han lanzado sus sombreros al ring para 2020.

Lanzarán sus predicciones por primera vez este año y tienen la intención de evitar errores de ciclos electorales anteriores. Morris, el pronosticador de The Economist, es uno de los que ingresan al campo. Ha llamado a las predicciones anteriores, propensas a errores, mentir a las personas y negligencia editorial. Debemos aprender de eso, dice.

The Economist construirá su algoritmo utilizando encuestas publicadas por organizaciones externas, pero también realizará sus propias encuestas para reforzar los resultados en estados y razas ambiguas, lo que Morris espera que pueda conducir a una mayor precisión.

El Washington Post también está apostando por primera vez a las predicciones, pero tomando una ruta diferente. Se mantiene fuera del juego de pronóstico hasta que los resultados comiencen a llegar. Solo una vez que los primeros precintos comiencen a anunciar los totales de votos el día de las elecciones, el Post implementará su modelo analítico para juzgar la probabilidad de que candidatos específicos tomen el estado o distrito para el que están. compitiendo Al esperar hasta que se cuenten las primeras boletas, los científicos de datos del Post planean reducir drásticamente el error al predecir el resto de los votos, aunque a costa de no poder publicar una proyección temprana.

Los pronosticadores y encuestadores experimentados tampoco están sentados en sus manos. Los constructores de modelos fundamentales están comenzando a asumir el desafío de predecir el Colegio Electoral en lugar de solo el voto popular. Bitecofer diseñó un modelo basado principalmente en la demografía que ya predice una estrecha victoria electoral para el retador demócrata, quienquiera que sea.

Los diseñadores de esos problemáticos algoritmos cuantitativos parecen haber aprendido la lección sobre los errores correlacionados entre estados. El Huffington Post emitió un mea culpa por su predicción del 98% de una victoria de Clinton. Wang, el profesor de Princeton que come insectos, se comprometió a actualizar su algoritmo para que sea mucho menos seguro en 2020. admitiendo en su blog que su modelo anterior era un error.

SE CREE QUE LAS ENCUESTAS DE CARRERA DE CABALLOS AUMENTAN EL CINISMO... HACE QUE LAS PERSONAS VEAN LA POLÍTICA COMO UN JUEGO, DONDE SALEN Y APOYAN A SU EQUIPO.

Mientras tanto, los pronosticadores cualitativos aprendieron una variedad de lecciones de 2016. Hay muchas cosas diferentes en las que, en retrospectiva, desearía que tal vez nos hubiéramos centrado un poco más, pero diría que los modelos basados ​​en los fundamentos fueron los mejores en esa elección, dice Kondik de la Universidad de Virginia. Ojalá todos les prestáramos más atención.

Kondik y otros enfatizan la necesidad de ser cautelosos con cualquier predicción dada la histórica impopularidad del presidente en ejercicio, que debería disminuir sus posibilidades, y la economía fuerte, que debería aumentarlas. Esos factores en duelo significan que la carrera es incierta hasta el día de las elecciones.

Karsten Petrat

En otros lugares, las organizaciones de medios también han comenzado a proporcionar sus estimaciones de manera que están diseñadas para brindar al lector una comprensión mejor y más intuitiva de lo que significan las probabilidades. En lugar de escribir que los demócratas tenían un 87,9% de posibilidades de tomar la Cámara durante las elecciones de mitad de período de 2018, por ejemplo, FiveThirtyEight enfatizó que podrían haber esperado ganar siete de ocho veces.

Los psicólogos han descubierto que las personas comprenden mejor este tipo de [números], escribió Yphtach Lelkes, profesor de comunicaciones en la Universidad de Pensilvania.

Finalmente, los encuestadores también están mejorando su juego. La Asociación Estadounidense para la Investigación de la Opinión Pública (AAPOR) publicó una retrospectiva de 2016 con lecciones para futuras elecciones. Los consejos incluyen el uso de trucos estadísticos para garantizar que las muestras de población sean más representativas del estado que se está encuestando y la realización de más encuestas en los últimos días de la campaña para capturar las inclinaciones de los votantes tardíos, que resultaron ser tan críticos para la victoria de Trump.

Franklin, el encuestador de Wisconsin, fue uno de los autores de la autopsia de AAPOR. El fracaso sistemático de docenas de encuestas en varios estados sugiere que el error de su encuesta se debió a un cambio real en los últimos días de la carrera, y no a un error anterior más fundamental. Aún así, se pregunta qué podría haber sido: ¿Qué hubiera pasado si hubiéramos votado durante el fin de semana antes de las elecciones? ¿Habríamos capturado el giro hacia Trump en esos datos?

Sondeo cuántico

Pero si bien los errores de hace cuatro años pueden corregirse, también pueden surgir nuevas dificultades para el ciclo 2020. Algunos incluso pueden estar impulsados ​​por la propia previsión. Algunos expertos argumentan que las predicciones electorales pueden estar influyendo en los mismos resultados que intentan predecir.

LOS ESTUDIOS SUGEREN QUE CUANDO LA GENTE CREE QUE EL RESULTADO DE UNA ELECCIÓN ES SEGURO, ES MENOS PROBABLE DE VOTAR.

De acuerdo a un estudio reciente , una audiencia abrumadoramente liberal sintonizó esos pronósticos cuantitativos demasiado confiados en 2016. Estudios publicados anteriormente sugieren que cuando las personas creen que el resultado de una elección es seguro, es menos probable que voten, especialmente si la certeza se acumula a favor de su elegido. candidato. Entonces, en un giro en lo que se conoce como el efecto del observador, en el que el mero hecho de mirar algo cambia el resultado, alimentar a una audiencia fuertemente demócrata con una dieta constante de encuestas con exceso de confianza como la de Wang podría haber reducido la participación significativamente. Dado que la carrera se decidió esencialmente por solo 107,000 votos en tres estados, cualquier reducción podría haber sido importante.

Clinton perdió por tan pocos votos que ciertamente es posible que los pronósticos probabilísticos hicieran que suficientes demócratas se quedaran en casa como para afectar el resultado, escribió Lelkes. Clinton misma lo sugirió. No sé cómo calcularemos alguna vez cuántas personas pensaron que estaba en la bolsa, porque los porcentajes seguían arrojándose a la gente: '¡Oh, tiene un 88 por ciento de posibilidades de ganar!', Dijo en una entrevista en New revista york.

Incluso si el pronóstico de las elecciones no cambiara el resultado en 2016, podría tener un mayor impacto en futuras campañas.

Se cree que las encuestas de carreras de caballos aumentan el cinismo político, afectan la participación, aumentan la polarización y probablemente suplantan la información sobre temas sustantivos, escribió Lelkes. Hace que las personas vean la política como un juego, en el que salen y alientan a su equipo, en lugar de apoyar a los candidatos en función de sus posiciones políticas. Y si estos efectos son reales, es probable que se vuelvan más poderosos a medida que ocurran más pronósticos.

Algunos meteorólogos, como Silver, han descartado esta preocupación. Argumentan que no es su trabajo decirle a la gente si vota o no, o decirle a los medios qué cubrir. Otros, sin embargo, están tomando más en serio el consejo de Lelkes y sus colegas.

Estamos experimentando con formas de transmitir incertidumbre que no alejarán a la gente [de votar], dice Morris de The Economist. Pero creo que sigue siendo un problema que van a tener los meteorólogos... No sé cómo solucionamos algunas de las implicaciones sociales de nuestro trabajo.

Rob Arthur es un periodista independiente y consultor de ciencia de datos con sede en Chicago.

esconder