Debat

YouGov svarer på kritik: Vores målinger er ikke misvisende

DEBAT: YouGovs målinger er blevet kritiseret for systematisk at overvurdere opbakningen til Nye Borgerlige. Men kritikken af webpanelundersøgelser og repræsentativ data er forældet, skriver Tove Keldsen.

Erik Gahner Larsens påstand om, at YouGov systematisk overvurderer Nye Borgerlige, må jeg stille mig undrende til, skriver Tove Keldsen fra YouGov.
Erik Gahner Larsens påstand om, at YouGov systematisk overvurderer Nye Borgerlige, må jeg stille mig undrende til, skriver Tove Keldsen fra YouGov. Foto: /ritzau/Anders Brohus
Dette indlæg er alene udtryk for skribentens egen holdning. Alle indlæg hos Altinget skal overholde de presseetiske regler.

Af Tove Keldsen
Head of marketing Norden, YouGov

Erik Gahner Larsen fremlægger i sit debatindlæg til Altinget mandag 22. juni, at Nye Borgerliges opbakning i YouGov-målingerne er problematisk.

Erik Gahner Larsens kritik går på, at YouGov giver en systematisk højere opbakning til Nye Borgerlige, og at vores metode og anvendelse af webpaneler har udfordringer med at frembringe repræsentative data.

Lad mig begynde med det sidste kritikpunkt først, da diskussionen om den tilfældige stikprøve eller repræsentative data har kørt i mange år og på flere måder er forældet.

Fakta
Dette indlæg er alene udtryk for skribentens egen holdning. 

Alle indlæg hos Altinget skal overholde de presseetiske regler.

Debatindlæg kan sendes til debat@altinget.dk.

Vi kan ikke få fat i alle
Uanset om dataindsamlingen er webbaseret (CAWI) som vores, telefonisk (CATI), postalt eller en blanding, så står alle analyseinstitutter med den udfordring, at de får synspunkterne fra de personer, som de kan få fat i.

Der kan findes en række årsager til, at virksomheder, der benytter telefoniske undersøgelser, har vanskeligt ved at opnå en virkeligt repræsentativ stikprøve. De får som regel fat i personer, der er mest villige til at tale med fremmede.

Når undersøgelser berører politisk følsomme emner, kan den kontakt hvori spørgsmålet stilles via telefon eller web være afgørende.

Tove Keldsen, Head of marketing Norden, YouGov

Det er mindre sandsynligt, at de får fat i personer, der er meget væk hjemmefra, eller som ofte bruger telefonsvareren til at gennemgå de indkommende opkald, eller som ikke bryder sig om at tale med fremmede.

Webpaneler er mere præcise
Der er en meget stor frafaldsprocent i telefonundersøgelser. De danske analyseinstitutter offentliggør desværre ikke frafaldet i deres undersøgelser, men i Sverige har analyseinstituttet Ipsos været prisværdigt åbne omkring deres metoder og oplyst, at svarprocenten i telefonundersøgelserne typisk lå mellem 11 procent og 13 procent. Jeg tænker, at Danmark og Sverige er sammenlignelige.

Frafaldet er naturligvis ikke i sig selv problematisk, hvis det er helt tilfældigt, hvem der tager telefonen, når et ukendt eller hemmeligt nummer ringer. Det er der imidlertid bare ikke noget, der tyder på, at det er.

I 2013 satte en gruppe forskere ved Göteborgs Universitet sig for at teste, hvorvidt webpaneler som YouGovs adskilte sig fra andre typer af stikprøver (eksempelvis telefon og postale udsendelser).

Resultatet var tydeligt: Resultaterne fra webpanelerne viste sig at være mest præcise.

Rekrutterer aktivt
YouGov anvender webpaneler, og det er rigtigt, at alle kan tilmelde sig. Størstedelen af vores panel, har vi dog selv aktivt rekrutteret gennem forskellige kanaler og metoder for at sikre et bredt panel. Ligesom vi anvender mange ressourcer på løbende kvalitetskontroller.

Resultatet er, at vi i dag har et stort panel på mere end 100 000 borgere, og vi kan nemt nå ud til et tilstrækkeligt antal af både kvinder og mænd, personer over 60 og under 30 samt folk med indtægter både over og under gennemsnittet, personer der læser Information, såvel som personer der læser Ekstra Bladet.

Selvom alle kan tilmelde sig, vælger de ikke selv, hvilke undersøgelser, de vil svare på, og det er sjældent, at en YouGov-respondent får stillet det samme spørgsmål eller et lignende spørgsmål (for eksempel om hvem de vil stemme på næste gang).

Læs også

Vi stoler ikke bare på hukommelsen
Når vi ønsker at høre, hvad befolkningen som helhed mener, udvælger vi de respondenter, vi ønsker at spørge. Kun de udvalgte kan besvare spørgeskemaet. Når vi sender vores e-mail til dem, fortæller vi dem heller ikke, hvad emnet for undersøgelsen er.

Vores valgundersøgelser til BT er repræsentative på køn, alder, geografi, samt stemmeafgivelse ved valget 5. juni 2019 præcis som telefonmålinger.

En væsentlig forskel er dog, at vi ved, hvad de stemte ved sidste valg, fordi vi spurgte dem lige efter valget, eller da de meldte sig ind i panelet. Vi skal altså ikke stole på deres hukommelse.

Kritik vækker undren
Erik Gahner Larsens påstand om, at YouGov systematisk overvurderer Nye Borgerlige, må jeg stille mig undrende til. De fleste analyseinstitutter måler i dag tilslutningen til Nye Borgerlige højere end valgresultatet.

Ved seneste måling vurderede både Epinion og Gallup tilslutningen til Nye Borgerlige til 5,8 procent af stemmerne, mens vi vurderede dem til 7,7 procent. Målingerne er alle forbundet med statistisk usikkerhed, og der er således ikke en signifikant forskel på disse resultaterne.

Voxmeter målte Nye Borgerlige til 3,4 procent, og Erik Gahner Larsens kunne altså med lige så stor ret have skrevet et debatindlæg, hvor han fremlægger, at de undervurderer Nye Borgerlige. Det vil jeg nu ikke foreslå, at Erik Gahner Larsen gør.

En stor gruppe af tvivlere
Der kan være flere metodiske grunde til, at vores resultater adskiller sig fra hinanden.

Den vigtigste er måske, hvordan vi behandler gruppen af tvivlere. Når en respondent bliver spurgt, hvem de vil stemme på næste gang, og svarer ”ved ikke”, vælger vi ikke at gøre mere, mens andre institutter spørger flere gange eksempelvis ”hvem hælder du mest til” og ”hvem er det mindst ringe alternativ”.

Vi har derfor et ret stor tvivler-gruppe mellem valg, og det vil spille ind på de samlede resultater.

Kritikken, som Erik Gahner Larsen fremlægger, er ikke ny for os. Tidligere fik vi kritik for at overvurdere Dansk Folkeparti, men til og med valget i 2015 var vi bedst til at vurdere deres størrelse.

Det kan der være flere årsager til, men når undersøgelser berører politisk følsomme emner, kan den kontakt hvori spørgsmålet stilles via telefon eller web være afgørende.

Politik har aldrig været vigtigere

Få GRATIS nyheder fra Danmarks største politiske redaktion