'Hoe voelt het om zwart en arm te zijn?'

Daar stond hij dan met zijn stapel vragenlijstjes te midden van opgefokte gangsters met getrokken messen en doorgeladen pistolen. Hij heeft tijdens zijn studie het een en ander geleerd over het gevaar van non-response en interview bias, maar deze situatie was hij in zijn studieboeken niet nog niet tegengekomen. Sudhir realiseerde zich dat hij één kans had om het juiste te zeggen wilde hij blijven leven. Het enige dat hij kon uitbrengen was de zorgvuldig ingestudeerde eerste vraag van zijn vragenlijst: “How does it feel to be black and poor?”

Hilarisch anekdote uit de bestseller Freakonomics, met ook een duidelijke moraal. Sudhir ging in al zijn naïviteit met een vragenlijst op stap. Hij deed precies wat marketeers tot op de dag van vandaag doen: als je wat wilt leren over mensen, dan ga je het gewoon aan ze vragen.

Steeds méér vragen

Vragen stellen is in de commerciële wereld al decennia een vanzelfsprekendheid. Wereldwijd besteden bedrijven jaarlijks zo’n 36 miljard euro aan marktonderzoek. Volgens ESOMAR gaat 86 procent van dit budget op aan traditioneel kwalitatief of kwantitatief marktonderzoek. Met alle technologische ontwikkelingen wordt het palet van beschikbare onderzoekstechnieken met het jaar groter. Desondanks bestaat het merendeel van de nieuwere technieken nog steeds uit het stellen van vragen.

Een trend die je eigenlijk niet zou verwachten. Ten eerste is er al jarenlang een groeiend besef dat het onbewuste en emotionele deel van het brein domineert bij het nemen van beslissingen, terwijl het bewuste en rationele deel deze beslissingen vooral zit te post-rationaliseren. Of, in de termen van Daniel Kahneman: van het waarom achter de beslissingen van (het onbewuste) systeem 1 heeft (het bewuste) systeem 2 nauwelijks weet.

Ten tweede pleiten een aantal grote respondentenleveranciers al jaren voor kortere vragenlijsten omdat dit simpelweg de kwaliteit van data verhoogt (zie bijvoorbeeld hier en hier). Maar conventies zijn hardnekkig. Zo liet SSI—een van de grootste spelers in deze markt—in een recente studie zien dat de gemiddelde vragenlijstduur juist is toegenomen.

We worden dus, tegen beter weten in, alleen maar méér afhankelijk van vragen stellen.

Klakkeloos

De survey is een laagdrempelig, snel en kostenefficiënt instrument. Dat is prettig, maar heeft tot gevolg dat het niet alleen vaak, maar ook klakkeloos wordt ingezet.

Zo zie ik bijvoorbeeld te weinig marketeers en onderzoekers zichzelf de vraag stellen of een vragenlijst überhaupt het geschikte instrument is om antwoord te krijgen op de (business) vraag. Consumenten komkommers laten aanbevelen is een recent en schrijnend voorbeeld van wat er kan gebeuren als je hier niet over nadenkt.

Consumenten worden nog steeds doorgezaagd met eindeloze stellingen over verzekeringen, potgroenten of tandpasta’s. Blijkbaar is het lastig om door een consumentenbril naar vragenlijsten te kijken en kritische vragen te stellen zoals: ‘hebben mensen wel een mening over dit onderwerp?’ Of: ‘kan iemand wel zijn aandacht houden bij zo veel vragen?’

Businesscases worden tot één cijfer achter de komma nauwkeurig uitgerekend op basis van vraag & antwoord. Dat is ronduit naïef; de discrepantie tussen geclaimd en daadwerkelijk gedrag is uitgebreid gedocumenteerd.

Een belangrijke reden dat we zo makkelijk naar die vragenlijst grijpen is dat het hoe dan ook leidt tot cijfers. En ons brein ontleent autoriteit aan cijfers. Simpelweg omdat ze de suggestie van iets ‘hards’ wekken. Oók als die cijfers in werkelijkheid nogal zacht zijn. Het is een van de vele heuristieken waar mensen zich doorgaans niet van bewust zijn.

Rugzak vol vragenlijsten

Natuurlijk kunnen we met z’n allen lachen om de naïviteit van Sudhir die met z’n rugzak vol vragenlijsten voor een crackbende staat. Maar voorlopig rekenen we nog dagelijks op basis van onze eigen vragenlijsten business cases achter de komma door. Voorlopig vinden we het nog normaal dat consumenten worden doorgezaagd over onderwerpen waar ze nog nooit over hebben nagedacht. Ik vermoed dat consumenten nog wel vaker naar de aanbevelingsintentie van een stuk groente zal worden gevraagd. Kortom, wie lacht om Sudhir heeft eigenlijk boter op z’n hoofd.

Een consument denkt nu eenmaal niet zo na over uw product, uw dienst of uw merkarchitectuur. En de echte wereld bestaat nu eenmaal niet uit vijfpuntschalen, voorgefabriceerde antwoordcategorieën en significantietoetsen. De data die voortkomt uit het stellen van vragen is niet meer dan een benadering van die wereld. Het geeft ruwe indicatoren die in de meeste gevallen een beslissing faciliteert.

En dat is OK.

Wie de zachtheid van dit instrument erkent zal betere vragen stellen en dus ook betere antwoorden krijgen. Wie de beperkingen van dit instrument accepteert probeert niet de wereld met twee cijfers achter de komma in kaart te brengen, maar gaat op zoek naar patronen die je vertellen of je waarschijnlijk beter linksaf of rechtsaf kan slaan. Wie zich niet hoeft te verschuilen achter ‘ja maar het is wel een hele grote en representatieve steekproef’ zal in de meeste gevallen betere beslissingen maken dan intuïtie of gezond verstand zouden kunnen. En dan schiet je al lekker op.

Noot: U zult zich wellicht afvragen wat er met Sudhir gebeurde na zijn bijna-doodervaring. In een notendop komt het hierop neer: hij besluit terug te gaan naar de plek des onheils, zonder vragenlijstjes, maar mét een six-pack bier. Hij sluit vriendschap met de bendeleider en wijdt de volgende zeven jaar van zijn leven aan het onderzoeken en begrijpen van de gevreesde bende The Black Kings. Professor Sudhir Venkatesh is tegenwoordig een van de meest gezaghebbende experts op het gebied van ‘underground economies’.