7 valkuilen bij het analyseren van onderzoeksuitkomsten

Door Marten Vamberský*

Eén van de weinige zekerheden die we hebben in het leven wordt onomstotelijk duidelijk gemaakt door de bekende quote van de econoom John Maynard Keynes “In the long run we’re all dead”. Er zijn vele manieren waarop we kunnen de kans op een langer, gezonder en gelukkiger leven kunnen vergroten. Wetenschappelijke studies hebben de positieve effecten van onder andere meer bewegen, minder alcohol, meer fruit, niet roken, minder verzadigde vetten en regelmatig vette vis aangetoond, maar garanties zijn er niet.

Superfoods
In hun zoektocht naar een beter leven blijken veel mensen erg goedgelovig. Denk bijvoorbeeld aan de recente hype van de superfoods. Maar geclaimde gezondheidseffecten van superfoods zijn over het algemeen niet voldoende wetenschappelijk onderbouwd. Superfoods blijken vooral goed voor de portemonnee van de verkopende partijen. Het Voedingscentrum is van mening dat er geen superfoods bestaan. Niet één voedingsmiddel kan alle essentiële voedingstoffen leveren die het lichaam nodig heeft. Gevarieerd eten volgens de schijf van vijf is de beste manier om alle belangrijke voedingsstoffen binnen te krijgen. Zoals bij de meeste hypes blijken de superfoods vooral gebaseerd op een knap stukje marketing.

In mijn vorige blog heb ik betoogd dat een marketeer van de concurrentie zal verliezen als hij geen Fact Based Marketing toepast. Deze stelling moet echter nog iets genuanceerd worden, het is namelijk essentieel dat Fact Based Marketing goed wordt toegepast. Interpretatie van data en onderzoeksresultaten is namelijk niet eenvoudig. Net als bij de superfoods hype kan ook een marketeer eenvoudig misleid worden door wenselijke resultaten of mooie plaatjes.

Sociaal wenselijk
Zodra een artikel, presentatie of stelling wordt onderbouwd door cijfers, lijkt het waarheidsgehalte toe te nemen. Interessant in deze, is de rubriek “Factcheck” in het NRC Handelsblad waarin beweringen op hun waarheidsgehalte beoordeeld worden. Zo blijkt de bewering van het Europees Parlement dat een Europeaan 200 plastic tasjes per jaar gebruikt niet checken is. Het aangehaalde onderzoek blijkt te gaan over vijf jaar oude cijfers, waarin nogal wat aannames gedaan worden, omdat (betrouwbare) data over plasticgebruik uit veel EU-landen ontbreken. De bewering van de NOS dat 95% van de Nederlanders stil is tijdens Dodenherdenking is niet waar. De bron is simpelweg verkeerd weergegeven. Het blijkt dat 90% van de respondenten stilstaat bij 4 mei en van deze 90% neemt 95% daadwerkelijk 2 minuten stilte in acht. Daarmee kom je op 86%. Nog twee kritische noten bij dit “stilte” onderzoek, er was een non-response van ruim 37% en sociaal wenselijke antwoorden lijken ook een rol te spelen. Oftewel, wees kritisch naar uitkomsten.

Hieronder een aantal eenvoudig te vermijden valkuilen bij het evalueren van data en het opstellen van onderzoeksuitkomsten:

• (Eigen) observaties en interviews zijn gevoelig voor overschatting. Denk aan de marketing manager die dagelijks langs zijn eigen billboard rijdt.
• Onderzoek moet representatief zijn voor de doelgroep. Rapporteer niet over de mening van de Nederlander als u bedoelt: de mening van de bezoekers van de website van de SP.
• Manipulatie van data. Zeker als uitkomsten van toepassing zijn de resultaten van het gevoerde marketingbeleid, zal het maken van een 'Stapeltje'** extra verleidelijk zijn
• Onderzoeksperiode met wenselijke resultaten. Voorafgaand aan elke beurscrisis lijkt de beurs alleen maar omhoog te kunnen, zeker als je alleen de grafiek vanaf het moment van herstel van de vorige crisis toont.
• Sturen op verwachte waarden zonder betrouwbaarheid vast te stellen. De mogelijkheid dat een steekproef gemiddelde onbetrouwbaar is omdat deze gebaseerd is op onvoldoende gegevens is altijd aanwezig. Een statistische check op betrouwbaarheid lijkt dus relevant voordat de waarde als uitgangspunt voor beslissingen genomen wordt.
• Hou rekening met ontwikkelingen in de tijd. In ons project om de effecten van radio- en TV reclame om webverkeer te meten, zien we dat data, door veranderingen in bijvoorbeeld programmering, slechts voor een beperkte periode bruikbaar zijn. Meer meetpunten vergroten hier dus niet per definitie de betrouwbaarheid.
• Non-response kan leiden tot resultaten die niet zonder meer representatief voor de hele populatie. Als respondenten zelf mogen bepalen of ze meedoen met onderzoek reageren vooral mensen met uitgesproken meningen.

Net als in het echte leven, is een Fact Based marketeer vooral bezig met het vergroten van kansen. Het toepassen van statistisch verantwoorde methodieken is hierbij essentieel. Helaas is ook in het professionele leven een vergrote kans helaas geen garantie voor succes. Maar feit blijft, dat de verwachte resultaten van de Fact Based marketeer 'in the long run' altijd hoger zullen zijn dan de verwachte resultaten van de marketeer die de beschikbare data op straat laat liggen.

(** Een “Stapeltje” verwijst naar de onderzoeksfraude van de hoogleraar sociale psychologie Diederik Stapel)

* Marten Vamberský is mede-oprichter van MediaMetrics.