Twijfel aan online panels

Een enquête is een letterlijk en figuurlijk goedkope manier om data te verzamelen met negen van de tien keer voorspelbare uitkomsten.
Maar vooral de betrouwbaarheid is een probleem. Zeker bij online panels, blijkt nu uit onderzoek van de Markt Onderzoek Associatie.

Deze club, met een respectabele ledenlijst heeft afgelopen donderdag resultaten gepresenteerd van onderzoek.

Of was het een enquête? Beide.

Zo valt te lezen in het hoofdstuk Hoe reageren panelleden op een vragenlijst? dat veel panelleden in 'de baas z'n tijd' een enquête invullen, en dat ruim 40 procent zegt voor het geld mee te doen. Bij de snelste panels blijken de panelleden gemiddeld van 5,3 panels lid te zijn.

Een persoon die van één panel lid is doet gemiddeld 13,5 minuten over het invullen, een persoon die van 11 of meer (!) panels lid is neemt er ruim 11 minuten de tijd voor.
Dat valt nog mee. Maar, het ironische in de conclusies: "Respondenten doen hun naam eer aan. Ze zijn intensieve vragenlijstinvullers."

Problemen vormen degene die snel willen doorklikken en zo veel mogelijk 'weet niet' of 'wil niet zeggen' invullen, of steeds het eerste antwoord.
Bij 'open vragen' kunnen rampzalige toestanden ontstaan: één op de acht respondenten vult een paar woorden in, maar sommigen hele epistels. En Ineke Stoop van het SCP: "Hoge response hoeft niet tot betere resultaten te leiden. Zeker niet als alle 'moeilijke gevallen' bij voorbaat worden uitgesloten."

Het beste panellid is een vrouw van boven de 50 jaar en hoger opgeleid, luidt één van de conclusies. En ook: "Responshoogte is niet langer een indicator voor kwaliteit van de steekproef maar een indicator voor het economisch rendement van het panel."

iedereen met een slechte kwaliteit moet uit het panel worden verwijderd. Panelonderzoek is minder geschikt voor penetratieonderzoek, meer voor trendmetingen en conceptonderzoek.

Maar leest u zelf verder, of bezoek het congres over online enquêtes, zie Dans.knaw.nl.