• Hoofd
  • Nieuws
  • 5 belangrijke dingen die u moet weten over de foutenmarge in verkiezingsonderzoeken

5 belangrijke dingen die u moet weten over de foutenmarge in verkiezingsonderzoeken

Bij presidentsverkiezingen lijken zelfs de kleinste veranderingen in de resultaten van de paardenrennen een diepe betekenis te krijgen. Maar ze worden vaak overdreven. Enquêteurs geven een foutenmarge aan, zodat consumenten kunnen begrijpen hoeveel precisie ze redelijkerwijs kunnen verwachten. Maar koelbloedige rapportage over opiniepeilingen is moeilijker dan het lijkt, omdat sommige van de bekendere statistische vuistregels waarvan een slimme consument denkt dat ze van toepassing zijn, genuanceerder zijn dan ze lijken. Met andere woorden, zoals zo vaak het geval is in het leven, is het ingewikkeld.

Hier zijn enkele tips om na te denken over de foutenmarge van een peiling en wat dit betekent voor de verschillende soorten dingen die we vaak proberen te leren van enquêtegegevens.

1Wat is de foutmarge eigenlijk?

Omdat enquêtes alleen spreken met een steekproef van de populatie, weten we dat het resultaat waarschijnlijk niet exact overeenkomt met het 'echte' resultaat dat we zouden krijgen als we iedereen in de populatie zouden interviewen. De marge van steekproeffout beschrijft hoe dichtbij we redelijkerwijs kunnen verwachten dat een enquêteresultaat daalt ten opzichte van de werkelijke populatiewaarde. Een foutmarge van plus of min 3 procentpunten bij een betrouwbaarheidsniveau van 95% betekent dat als we dezelfde enquête 100 keer zouden uitvoeren, we zouden verwachten dat het resultaat binnen 3 procentpunten van de werkelijke populatiewaarde 95 van die keren zou liggen.

De foutenmarge die opiniepeilers gewoonlijk rapporteren, beschrijft de hoeveelheid variabiliteit die we kunnen verwachten rond het ondersteuningsniveau van een individuele kandidaat. In de begeleidende afbeelding toont een hypothetische peiling A bijvoorbeeld de Republikeinse kandidaat met 48% steun. Een foutmarge van plus of min 3 procentpunt zou betekenen dat 48% Republikeinse steun binnen het bereik ligt van wat we zouden verwachten als het werkelijke ondersteuningsniveau voor de volledige bevolking ergens 3 punten in beide richtingen ligt - dat wil zeggen, tussen 45% en 51%.

2Hoe weet ik of de lead van een kandidaat ‘buiten de foutmarge’ valt?



Nieuwsberichten over peilingen zullen vaak zeggen dat de voorsprong van een kandidaat 'buiten de foutmarge' is om aan te geven dat de voorsprong van een kandidaat groter is dan wat we zouden verwachten van een steekproeffout, of dat een race 'een statistische gelijkspel' is als deze te dichtbij is bellen. Het is niet voldoende dat één kandidaat meer voorloopt dan de foutmarge die voor individuele kandidaten wordt gerapporteerd (d.w.z. in ons voorbeeld met meer dan 3 punten voorsprong). Om te bepalen of de race te dichtbij is om te callen, moeten we een nieuwe foutmarge berekenen voor deverschiltussen de ondersteuningsniveaus van de twee kandidaten. De grootte van deze marge is over het algemeen ongeveer twee keer zo groot als de marge voor een individuele kandidaat. De grotere foutenmarge is te wijten aan het feit dat als het Republikeinse aandeel per ongeluk te hoog is, daaruit volgt dat het Democratische aandeel waarschijnlijk te laag is, en vice versa.

Voor Poll A wordt de foutmarge van 3 procentpunten voor elke kandidaat afzonderlijk ongeveer een foutmarge van 6 punten voor het verschil tussen de twee. Dit betekent dat hoewel we een voorsprong van 5 punten voor de Republikein hebben vastgesteld, we redelijkerwijs konden verwachten dat hun ware positie ten opzichte van de Democraat ergens tussen de -1 en +11 procentpunten zou liggen. De Republikein zou 6 procentpunten of meer voor moeten staan ​​om er zeker van te zijn dat de voorsprong niet alleen het resultaat is van een steekproeffout.

In peiling B, die ook een foutmarge van 3 punten heeft voor elke individuele kandidaat en een marge van 6 punten voor het verschil, is de Republikeinse voorsprong van 8 procentpunten groot genoeg dat het onwaarschijnlijk is dat dit alleen te wijten is aan een steekproeffout.

3Hoe weet ik of er een wijziging in de race heeft plaatsgevonden?

Met dagelijks nieuwe peilingscijfers, is het gebruikelijk om mediaberichten te zien waarin wordt beschreven dat de voorsprong van een kandidaat groeit of krimpt van peiling tot peiling. Maar hoe kunnen we echte verandering onderscheiden van statistische ruis? Net als bij het verschil tussen twee kandidaten, kan de foutmarge voor het verschil tussen twee peilingen groter zijn dan u denkt.

In het voorbeeld in onze afbeelding gaat de Republikeinse kandidaat van een voorsprong van 5 procentpunten in peiling A naar een voorsprong van 8 punten in peiling B, voor een nettoverandering van +3 procentpunten. Maar rekening houdend met de variabiliteit van de steekproef, is de foutmarge voor die verschuiving van 3 punten plus of min 8 procentpunten. Met andere woorden, de verschuiving die we hebben waargenomen, is statistisch consistent met alles van een daling van 5 punten tot een stijging van 11 punten van de positie van de Republikein ten opzichte van de Democraat. Dit wil niet zeggen dat dergelijke grote verschuivingen waarschijnlijk daadwerkelijk hebben plaatsgevonden (of dat er geen verandering heeft plaatsgevonden), maar eerder dat we op basis van alleen deze twee onderzoeken geen betrouwbaar onderscheid kunnen maken tussen echte verandering en ruis. Het niveau van de waargenomen verandering van de ene peiling naar de andere zou behoorlijk groot moeten zijn om met vertrouwen te kunnen zeggen dat een verandering in de paardenrace-marge te wijten is aan meer dan steekproefvariabiliteit.

Zelfs als we grote schommelingen zien ter ondersteuning van de ene peiling naar de andere, moet men voorzichtig zijn door ze voor de eerste keer te accepteren. Van 1 januari 2012 tot en met de verkiezingen in november maakte Huffpost Pollster een lijst van 590 nationale peilingen over de presidentiële wedstrijd tussen Barack Obama en Mitt Romney. Als we de traditionele drempel van 95% gebruiken, zouden we verwachten dat 5% (ongeveer 30) van die peilingen schattingen opleveren die meer dan de foutmarge verschillen van de werkelijke populatiewaarde. Sommige hiervan zijn misschien behoorlijk ver van de waarheid.

Toch krijgen deze uitbijterpeilingen vaak veel aandacht omdat ze een grote verandering in de toestand van de race impliceren en een dramatisch verhaal vertellen. Wanneer u wordt geconfronteerd met een bijzonder verrassend of dramatisch resultaat, is het altijd het beste om geduldig te zijn en te kijken of het wordt gerepliceerd in volgende onderzoeken. Een resultaat dat niet consistent is met andere peilingen, is niet per se verkeerd, maar echte veranderingen in de staat van een campagne zouden ook in andere onderzoeken moeten verschijnen.

De mate van precisie die kan worden verwacht voor vergelijkingen tussen twee peilingen hangt af van de details van de specifieke peilingen die worden vergeleken. In de praktijk zullen bijna elke twee peilingen alleen onvoldoende blijken om een ​​verandering in de paardenrace betrouwbaar te meten. Maar een reeks peilingen die een geleidelijke toename van de voorsprong van een kandidaat laten zien, kan vaak worden beschouwd als bewijs voor een echte trend, zelfs als het verschil tussen individuele enquêtes binnen de foutmarge valt. Als algemene regel geldt dat kijken naar trends en patronen die uit een aantal verschillende peilingen naar voren komen, meer vertrouwen kan geven dan alleen naar een of twee peilingen kijken.

4Hoe is de foutmarge van toepassing op subgroepen?

Over het algemeen is de gerapporteerde foutmarge voor een peiling van toepassing op schattingen die de hele steekproef gebruiken (bijv. Alle volwassenen, alle geregistreerde kiezers of alle waarschijnlijke kiezers die werden ondervraagd). Maar peilingen rapporteren vaak over subgroepen, zoals jongeren, blanke mannen of Iberiërs. Omdat schattingen van enquêtes over subgroepen van de bevolking minder gevallen hebben, zijn hun foutenmarges - in sommige gevallen - groterveelgroter.

Een eenvoudige willekeurige steekproef van 1067 gevallen heeft een foutenmarge van plus of min 3 procentpunten voor schattingen van de algehele steun voor individuele kandidaten. Voor een subgroep zoals Hispanics, die ongeveer 15% van de Amerikaanse volwassen bevolking uitmaken, zou de steekproefomvang ongeveer 160 gevallen zijn, indien proportioneel vertegenwoordigd. Dit zou een foutmarge van plus of min 8 procentpunten betekenen voor individuele kandidaten en een foutenmarge van plus of min 16 procentpunten voor het verschil tussen twee kandidaten. In de praktijk zullen sommige demografische subgroepen, zoals minderheden en jongeren, minder snel reageren op enquêtes en moeten ze worden 'gewogen', wat betekent dat schattingen voor deze groepen vaak uitgaan van nog kleinere steekproeven. Sommige opiniepeilingsorganisaties, waaronder Pew Research Center, rapporteren foutmarges voor subgroepen of stellen deze op verzoek beschikbaar.

5Wat bepaalt de hoeveelheid fouten in schattingen van enquêtes?

Veel poll watchers weten dat de foutmarge voor een enquête voornamelijk wordt bepaald door de steekproefomvang. Maar er zijn nog andere factoren die de variabiliteit van schattingen beïnvloeden. Voor opiniepeilingen is een bijzonder belangrijke bijdragerweging. Zonder aanpassing hebben opiniepeilingen de neiging om mensen die gemakkelijker te bereiken zijn oververtegenwoordigd te zijn en die typen mensen die moeilijker te interviewen zijn ondervertegenwoordigd. Om hun resultaten representatiever te maken, wegen de enquêteurs hun gegevens zodat ze passen bij de populatie - meestal op basis van een aantal demografische metingen. Weging is een cruciale stap om vertekende resultaten te vermijden, maar het heeft ook tot gevolg dat de foutmarge groter wordt. Statistici noemen deze toename in variabiliteit deontwerp effect.

Het is belangrijk dat enquêteurs rekening houden met het ontwerpeffect wanneer ze de foutenmarge voor een enquête rapporteren. Als ze dat niet doen, claimen ze meer precisie dan hun onderzoek eigenlijk rechtvaardigt. Leden van het Transparency Initiative van de American Association for Public Opinion Research (inclusief Pew Research Center) zijn verplicht om bekend te maken hoe hun weging werd uitgevoerd en of de gerapporteerde foutmarge al dan niet het ontwerpeffect verklaart.

Het is ook belangrijk om in gedachten te houden dat de steekproefvariabiliteit die wordt beschreven door de foutmarge slechts een van de vele mogelijke bronnen van fouten is die de schattingen van enquêtes kunnen beïnvloeden. Verschillende onderzoeksbureaus gebruiken verschillende procedures of vragenformuleringen die de resultaten kunnen beïnvloeden. Bij bepaalde soorten respondenten is de kans kleiner dat ze worden bemonsterd of op sommige enquêtes reageren (mensen zonder internettoegang kunnen bijvoorbeeld geen online enquêtes invullen). Respondenten zijn misschien niet openhartig over controversiële meningen wanneer ze met een interviewer aan de telefoon praten, of antwoorden op een manier die zichzelf in een gunstig daglicht stelt (zoals beweren te zijn geregistreerd om te stemmen als ze dat niet zijn).

Vooral voor verkiezingsenquêtes zijn schattingen die naar 'waarschijnlijke kiezers' kijken, gebaseerd op modellen en voorspellingen over wie er gaat stemmen, wat ook tot fouten kan leiden. In tegenstelling tot steekproeffouten, die kunnen worden berekend, zijn deze andere soorten fouten veel moeilijker te kwantificeren en worden ze zelden gerapporteerd. Maar ze zijn er niettemin, en opiniepeilende consumenten moeten ze in gedachten houden bij het interpreteren van enquêteresultaten.

Facebook   twitter