Het menselijke brein is een merkwaardig ding. Neem bijvoorbeeld het ‘Florida-effect’. Een beroemd psychologisch experiment liet zien dat als je mensen een puzzeltje laat oplossen waarin woorden voorkwamen die worden geassocieerd met oudere mensen, zoals ‘Florida’, ‘oud’, en ‘grijs’, deze mensen langzamer gingen lopen. Bizar!
Maar wie dit experiment, dat in zo’n beetje alle studieboeken sociale psychologie staat beschreven, herhaalt, heeft grote kans géén langzamer lopende proefpersonen te vinden. Verschillende onderzoekers hebben dit namelijk geprobeerd; sommigen vonden het effect wel—maar alleen onder zeer specifieke omstandigheden—anderen vinden het effect helemaal niet.
Crisis
Bovenstaand verhaal is geen losse flodder, want de lijst van niet-replicerende studies blijkt lang. Kunt u het experiment nog herinneren waarin shoppers niet meer konden kiezen als het assortiment jammetjes te groot was? Staat ook op deze lijst. De beroemde priming experimenten die onze eigen Ap Dijksterhuis in Het slimme onbewuste beschrijft? Ook lastig te repliceren, zo blijkt…
Zo ook deze week: je wordt toch niet gelukkiger van glimlachen, iets dat psycholoog Fritz Strack in 1988 beweerde op basis van onderzoek.
Recentelijk heeft een team van 250 wetenschappers 100 wetenschappelijke studies uit drie gerenommeerde psychologie tijdschriften opnieuw gedaan. In slechts 39 van de 100 onderzoeken waren dezelfde conclusies geoorloofd als bij het originele onderzoek. De omvang van de gevonden effecten was bovendien gemiddeld de helft van de originele studies…
De geloofwaardigheid van de sociale wetenschappen had na de frauduleuze praktijken van Diederik Stapel al een flinke dreun gekregen. Maar het besef dat veel van de gedocumenteerde ‘kennis’ niet opnieuw geproduceerd kan worden heeft geleid tot een nieuwe crisis.
Realiseer je dat we het hebben over een vakgebied waarbinnen de methodologische, statische en procesmatige criteria strak zijn geformaliseerd. Hoe zit dat dan bij de zoektocht naar kennis onze eigen vakgebied waar we het doorgaans een stuk minder nauw nemen met de methodologische zuiverheid?
Ik zie een paar belangrijke lessen:
1. Onderzoek is niet meer dan een bouwsteen
Ten eerste: we zijn zeer snel onder de indruk van ‘onderzoek heeft uitgewezen dat…’. Ik heb tijdens mijn studie psychologie nooit getwijfeld aan het bestaan van het Florida-effect. Als student is mij ook nooit geleerd te twijfelen aan de resultaten van gepubliceerd onderzoek. Terwijl dat in het licht van de replicatiecrisis eigenlijk een belangrijke vaardigheid blijkt te zijn.
Want als er één heldere conclusie valt te trekken uit de wetenschappelijke crisis, is dat kennis niet ontstaat door het doen van een onderzoek. Kennis bouwen we doordat verschillende mensen onder verschillende omstandigheden experimenteren. Pas als je begrijpt onder welke omstandigheden bepaalde dingen gebeuren (en onder welke omstandigheden niet) ontstaat er kennis.
2. Cijfers zijn vaak boterzacht
De replicatiestudie liet zien dat het merendeel van de gepubliceerde cijfers uit de originele onderzoeken boterzacht bleken te zijn. De meeste effecten bleken minder sterk te zijn of zelfs in het geheel te verdwijnen toen ze overnieuw werden gedaan.
Ook in commerciële setting nemen we vaak aan dat de cijfers die we in onze dashboards en PowerPoints tegenkomen hard zijn. Wat we ons vaak niet beseffen is dat elk cijfer onderhevig is aan registratiefouten, meetfouten, coderingsfouten, procesfouten of simpelweg toeval. Meestal zijn we ons van deze onbetrouwbaarheid niet eens bewust. Wie zich er wél bewust van is zwijgt er liever over, want stel je voor dat je baas gaat twijfelen aan ‘jouw’ cijfers…
3. Significant, maar triviaal
Eén van de redenen waarom onderzoeken vaak iets anders opleveren als je ze herhaalt, is dat het gerapporteerde effect sowieso al bescheiden was. Het is dus zaak om het kaf van het koren te onderscheiden. Zowel wetenschappers als marktonderzoekers hanteren hiervoor bijna altijd ‘statistische significantie’ als criterium. En als dit criterium ergens hopeloos in faalt, is het wel het kaf van het koren onderscheiden… (zie bijvoorbeeld hier en hier).
Een van de belangrijkste nadelen van de significantie test is dat het volstrekt ongevoelig is voor hoe groot een verschil is. De ervaring leert dat het merendeel van de verschillen die je in marktonderzoek vindt bescheiden is. En zo’n bescheiden effect vertaald naar marketingactiviteiten zal in de meeste gevallen geen niet of nauwelijks effect sorteren. Wie te veel op het significantie criterium leunt zal zich dan ook vooral met triviale zaken bezig houden.
Meten ≠ weten
De replicatiecrisis maakt duidelijk dat onze ‘meten is weten’ mantra een illusie is; wie met data aan de slag gaat maar zich niet bewust is van alle valkuilen die constant op de loer liggen zal zichzelf voor de gek houden. Marketeers zullen dus niet alleen objectief cijfers moeten kunnen interpreteren, maar óók het proces achter die cijfers moeten kunnen duiden. Een vaardigheid die weinig marketingprofessionals van nature hebben. Maar met een groeiende nadruk op accountability en een groeiend palet aan databronnen steeds meer een voorwaarde voor het maken van zinvolle keuzes. Wellicht op termijn ook een voorwaarde voor de geloofwaardigheid van marketing…
Plaats als eerste een reactie
Ook een reactie plaatsen? Word lid van Adformatie!