Kenneth Thue: Meningsmålinger handler ikke om tro, men om videnskab

KLUMME: Efter det amerikanske valg er meningsmålinger kommet i modvind. Valgforsker Kenneth Thue ser målingerne efter i sømmene og giver fire gode råd om brug af målinger.  

Det er en slags nationalsport i Danmark, at politikere og kommentatorer gør grin med meningsmålinger. Især når målingerne tager fejl. Og det gør hver 20. måling statistisk set.

Men dem, der ikke tror på meningsmålinger, tror ikke på videnskab. Hovedforklaringerne på meningsmålingernes dårlige ry er bl.a. fortolkernes uvidenhed, fortolkernes egne fordomme samt det uendelige mediepres for nye historier.

Hvor meget er 29 procent?
Prøv lige at bruge fem sekunder på at tænke over, om du synes, at 29 % er meget eller lidt?

Hvis der var 29 procents sandsynlighed for, at dit sommerhus ville blive oversvømmet i en kommende storm, hvad ville du så gøre? Ville du satse på, at det ikke skete? Eller ville du tage et smut forbi sommerhuset og flytte tingene væk fra gulvet?

Eller hvad med en tur i byen? Hvis der var 29 % sandsynlighed for at få en på snuden, hvis du gik i byen, ville du så ignorere det og feste løs? Eller ville du betragte tæv som en reel risiko? Og tænk, hvis du vandt i lotto. Hvis der var 29 % sandsynlighed for at vinde en million, ville du så ikke købe en kupon?

Det er selvsagt individuelt og kontekstafhængigt, hvor meget man vurderer 29 % til at være. Men det ligger fast, at hvis der er 29 % sandsynlighed for, at noget sker – så er det i hvert fald ikke helt usandsynligt.  

Casen Trump
I perioden fra 1. til 8. november 2016 svingede sandsynligheden for Trump som præsident mellem 28,6 % og 35,4 % hos den amerikanske statistikguru Nate Silver. Hvis vi forestillede os, at man afholdt det seneste præsidentvalg i USA et uendeligt antal gange under præcis samme forhold, så ville Trump faktisk vinde omkring tre ud af ti valg ifølge Silvers tal. Det var det klare og ganske stabile billede i ugen op til præsidentvalget.

Spørg så dig selv, om dækningen af det amerikanske præsidentvalg i dine øjne afspejlede den vindersandsynlighed for Trump.

Jeg synes hverken, at mediernes dækning eller stemningen i befolkningen afspejlede det forhold, at statistikkerne faktisk viste en fair chance for, at Trump ville vinde.

Måske var det vores fordomme over for Trump, der gjorde os tal-blinde. Jeg rækker gerne hånden op som den første og siger, at jeg selv negligerede de 29 % sandsynlighed for sejr til Trump. Mine egne fordomme vandt over min rationalitet, for jeg vidste jo, at de ikke ville vælge ham som præsident. Men det ændrer ikke ved, at Nate Silver i ugen op til valget konsekvent forudsagde en vindersandsynlighed for Trump på rundt regnet 30 %.

Statistikken fortalte os, at der trods alt var en pæn sandsynlighed for, at Trump ville vinde.

Øjebliksbillede
Meningsmålinger er et øjebliksbillede. De beskriver verden, som den er lige nu og her. Og når de videnskabelige metoder er i orden, giver det ikke mening at angribe meningsmålinger. Der påhviler imidlertid et stort ansvar på dem, der bestiller meningsmålinger, og dem, der tolker på dem.

Hvis vi dagen efter december-stormen Urd havde gennemført en meningsmåling og spurgt danskerne, om de synes, at Danmark generelt er godt nok sikret mod storme, så tror jeg, at en stor del af danskerne ville svare nej.

Men hvis vi gennemførte samme måling efter en varm og vindstille sommermåned, er jeg overbevist om, at en langt mindre andel ville svare nej.

Jeg vil ikke gøre mig til dommer over, hvilket tidspunkt det er mest korrekt at gennemføre en sådan måling på. Men jeg vil påpege, at verden kommer til at se mere spektakulær ud, end den er, hvis vi konsekvent laver meningsmålinger, når respondenterne er stærkt påvirkede af aktuelle begivenheder.     

Hver tyvende måling er forkert
Meningsmålinger tager nogle gange fejl. Faktisk kan vi statistik set forvente, at hver 20. meningsmåling er forkert.

Det skyldes, at det inden for samfundsvidenskaberne er kutyme at operere med et såkaldt signifikansniveau på 95 %. Med andre ord: Vi vil være 95 % sikre på, at det, vi konkluderer på baggrund af en måling, er korrekt. Derfor er der 5 % af tilfældene, hvor målingerne ikke holder vand – svarende til hver 20.

I den medicinske verden er kriterierne heldigvis anderledes, og forskningen er derfor også meget mere bekostelig. Her opereres med langt højere signifikansniveauer. Det er vel trods alt kun et fåtal af os, som ville spise en pille, som vi kun kan være 95 % sikre på, ikke giver alvorlige bivirkninger.

Når vi fortolker meningsmålinger om partivalg og politiske holdninger, må vi således udvise den fornødne respekt, vel vidende at hver 20. gang, vi udlægger teksten, så udlægger vi noget, der ikke passer. Desuden skal vi i langt højere grad medtænke den kontekst, meningsmålingen gennemføres i. Når offentligheden intenst diskuterer licensfinansieret hestetransport, så er det ikke et velvalgt tidspunkt at spørge danskerne, om de generelt synes, at DR forvalter licensmidlerne på en forsvarlig måde.

Meningsmålingerne tog fejl
Tilbage til det amerikanske valg: En systematisk gennemgang af Nate Silvers[i] forudsigelser i samtlige 51 stater viser følgende: Modellerne holdt sig inden for de statistiske usikkerheder i 32 stater, når vi ser på prognoserne for opbakningen til Clinton. Der var således 19 stater, hvor prognoserne var uden for det interval, som vi normalt accepterer.

Ser vi på tværs af alle stater, så var Clinton gennemsnitligt set overvurderet med 1 %.

Når vi fokuserer på Trump, så klarede prognoserne sig imidlertid langt ringere. Kun i 20 stater holdt Silvers prognoser sig inden for de gængse statistiske usikkerheder, mens prognoserne i 31 stater var uden for skiven. Og gennemsnitligt set var Trump undervurderet med hele 2,7 % pr. stat[ii].

I en lang række af de stater, hvor målingerne skød forkert, var konsekvenserne meget små. For om Clinton eller Trump vandt en stat med 55 % eller 65 % af stemmerne, betyder intet i forhold til fordelingen af valgmænd.

Imidlertid var der seks stater, hvor prognoserne forudsagde én vinder, mens valgresultatet viste en anden vinder. Det var Arizona, Florida, Michigan, North Carolina, Pennsylvania samt Wisconsin. Fejlene i prognoserne i de seks stater er årsagen til den store forskel mellem forudsigelse og resultat: Forudsigelsen var, at Trump ville få 235 valgmænd. Resultatet blev, at han vandt 306 valgmænd.

Hvorfor tog målingerne fejl?
Der er angiveligt flere forklaringer i spil, når vi skal forstå, hvorfor meningsmålingerne tog fejl i USA.

En af forklaringerne kender vi også fra Danmark i forbindelse med folketingsvalget i 1998. Da Nyrup udskrev valget, havde han og støttepartierne opbakning fra omkring 47,5 % af vælgerne, mens oppositionen havde opbakning fra omkring 52 % af vælgerne.

Valgresultatet blev imidlertid, at Nyrup og støttepartierne vandt valget med 50,1 % af stemmerne, mens Uffe Ellemann-Jensen og oppositionen fik opbakning fra 49,5 % af vælgerne. Efterfølgende analyser har vist, at Socialdemokratiet i valgkampens slutspurt formåede at mobilisere et betydeligt antal stemmer. Og sådan et late swing har meningsmålingerne selvsagt meget svært ved at indfange.

Det seneste præsidentvalg i USA har kendetegn, som minder om folketingsvalget i Danmark i 1998. Ser vi eksempelvis på meningsmålingerne fra RealClearPolitics.com[iii], viste to ud af de tre meningsmålinger, der blev offentliggjort på selve valgdagen, at Trump ville vinde præsidentvalget. Det tyder altså på, at der var en sen mobilisering af Trump-vælgere, som dag-gamle meningsmålinger ikke kunne indfange.

En anden mulig fejlkilde fra det amerikanske præsidentvalg kender vi ligeledes fra Danmark. Ved en række danske folketingsvalg har Dansk Folkeparti systematisk været undervurderet i meningsmålingerne. Hovedforklaringen har efter alt at dømme været, at vælgerne ikke har villet indrømme, at de stemte på partiet. Det samme har været diskuteret i USA: Trump fik i løbet af valgkampen sagt så mange kontroversielle ting, at nogle vælgere ikke ville indrømme, de stemte på ham.

Bedre end deres rygte
Meningsmålinger tager nogle gange fejl. Det kan være - som vi så ovenfor - fordi større vælgergrupper skifter holdninger i sidste øjeblik.

Eller det kan være fordi respondenterne lyver om, hvad de vil stemme. Men ofte lærer vi nyt, når vi finder ud af, at målingerne har taget fejl. Og ofte lykkedes det at finde teknikker til at undgå gentagelser af tidligere fejl.

Generelt er meningsmålinger langt bedre end deres rygte. Det har forskere ved flere lejligheder vist [iv].

Herfra skal lyde fire opfordringer, når vi arbejder med målinger.

For det første skal vi respektere tallene, som de er: Når modellerne gav en vindersandsynlighed på 29 % til Trump, ja så kunne manden jo faktisk godt vinde.

For det andet: Vi bør undgå at lave meningsmålinger om højaktuelle emner, som virkelig bringer sindene i kog. Sådanne målinger er ikke forkerte al den stund, at de repræsenterer et øjebliksbillede, der kan være relevant. Men hvis vi konsekvent laver målinger, når folkestemninger er pisket op, risikerer vi at tegne et billede af en befolkning, der virker mere polariseret, end den i virkeligheden er.

For det tredje skal vi være bevidste om egne fordomme, når vi tolker tallene – ellers risikerer vi at stirre os blinde på det, vi helst vil læse ud af målingerne.

Og for det fjerde skal vi acceptere, at mange meningsmålinger bare giver almindelige, kendte og småkedelige resultater.   

... 

Noter: 
[i] Nate Silver er en amerikansk statistiker, som driver hjemmesiden FiveThirtyEight
[ii] Silvers prognoser kan ses her.
[iii] Hjemmesiden handler om politiske nyheder og meningsmålinger. De omtalte prognoser kan ses her
[iv] Se eksempelvis Søren Risbjerg Thomsens artikel i Politica fra 1998 om ”Meningsmålingernes troværdighed” eller ph.d.-stipendiat Martin Vinæs Larsens paper fra 2016 ”Gennemsnit af meningsmålinger forudsiger valgresultatet”.

...

Kenneth Thue Nielsen er ejer af analysevirksomheden methods.dk. Han er ekspert i statistik og tidligere valgforsker. Han har arbejdet for blandt andre LO, DR og Socialdemokraterne. Han skriver klummen ”Politik & statistik” på Altinget. Klummen er alene udtryk for skribentens egne holdninger.

Forrige artikel Kenneth Thue: Danskernes foretrukne statsminister Kenneth Thue: Danskernes foretrukne statsminister Næste artikel Kenneth Thue: Grønne Uffes vælgere er røde Kenneth Thue: Grønne Uffes vælgere er røde