Kun je nog belangrijke beslissingen nemen op basis van een vragenlijst?

Door Peter Wiegman

In een vol Dauphine stelde Frans Kok (o.a. CustomerPulse) de sprekers Joris Merks (Google), Lucas Hulsebos (DVJ-Insights) en Walter Flaat (DAN DNA) voor aan het publiek tijdens de MWG-themamiddag. Toppers in het vakgebied, dus we gingen er voor zitten. Zelfs tot op de trap. Met andere woorden, onderzoek leeft. Volle bak. Terug naar het thema, die eeuwige vragenlijst. We vullen maar wat in zo blijkt. Validatie van de respons levert soms hele andere resultaten op. Dus de vraag rijst, hoe betrouwbaar is dat meten van beweerd gedrag. Kunnen we niet beter registreren, of zitten daar ook weer haken en ogen aan? Vragen, vragen, vragen . . .

Zoals gezegd, Frans Kok leidde de sessie en hij deed dat zoals altijd moeiteloos, met de nodige kwinkslagen tussendoor. Zit ook goed in de materie. Frans opperde de tegenstelling tussen klassiek onderzoek en data-driven onderzoek, zonder denigrerend te doen over het klassieke model. Het woord nerds viel, maar werd meteen weer ingeslikt. Gelukkig voor Lucas, die zich haastte om te melden dat hij vanuit zijn rol als ‘klassieke’ spreker juist zeer innoverend bezig is vanuit DVJ-Insights. En met succes. De prijzenkast puilt uit.

Kijk- en klikgedrag
Lucas opende met een voorbeeld uit zijn GfK-Dongen verleden, waarin boodschappen werden gescand door een panel en waar ook telefonische vragen werden gesteld aan datzelfde panel. Via de telefoon pronken de respondenten met A-merken, maar in het karretje liggen veelal de huismerken. Ook bij Verify (kent u dat nog) leerde Lucas zijn lessen. Eyetrack-onderzoek legt feilloos het kijkgedrag vast, maar als respondenten worden geconfronteerd met hun eigen kijkgedrag, wordt dat veelal niet herkend.

We gaan van kijkgedrag naar klikgedrag. Volgens cijfers van comScore wordt 85% van het klikgedrag bepaalt door 8% van de surfers. Dus een interpretatie van welk klikgedrag dan ook, leidt onvermijdelijk tot fouten. Lucas kwam eens een retailer tegen die pretendeerde de meest briljante site te hebben. Veel bezoek en dito clicks. Wat bleek? Het gros van de bezoekers was op zoek naar de openingstijden van de winkel in kwestie, die niet op de site stonden. Pas dus op met het analyseren van je webanalytics. Vooral als je daarover opschept bij borrels . . .

Tip van Lucas: staar je niet blind op data van je bestaande relaties en klanten. Dat belemmert je in je groei. De groei komt veelal van nieuwe klanten en richt je datacenter dan ook in op deze groep ‘klanten’. En data is ook maar data hè. Lucas hamert erop om ook te kijken naar het waarom. Levert zoveel nieuwe inzichten en informatie op. Daar heb je soms vragenlijsten voor nodig, je ontkomt er niet aan. Maar gebruik dan wel goede lijsten. Vraag niet naar gewenste items of parameters, maar laat de respondent zelf items invullen. Vrije associaties zijn veel meer waard dan voorgecodeerde items. Hetzelfde geldt voor het pretesten van commercials. Niet te veel dwingen om te kijken naar die commercial, terwijl de respondent gewend is reclame te mijden. Doe er uw voordeel mee.

Data en mensen samenbrengen
Joris Merks mag het podium op. Werkte vroeger met Lucas en is sinds 2010 werkzaam voor Google. Schreef onlangs zijn vierde boek en zo te horen is dat vast niet zijn laatste. Zit nog vol ideeën over de digitale transformatie van merken. Dat past nooit in één boek. De drijfveer van Joris is om data en mensen bij elkaar te brengen. Dan heb je aan Google een goede werkgever natuurlijk.

Joris baseert zijn betoog op een aantal beperkingen in het meten binnen het digitale domein: de korte termijn is makkelijker te meten dan de lange termijn. Hetzelfde geldt voor burst versusalways on. Mono-channel is in dat kader ook eenvoudiger dan multichannel en je kunt niet meten wat je niet geprobeerd hebt.

Merks praat over customer journeys die gemiddeld zo’n 129 dagen duren en soms wel 50 touchpoint hebben. Het gros van het meten is gericht op het eind van die journey, aangezien we ons blindstaren op de kosten per transactie. Sales driven, cheap buys met dure keywords en lagere opbrengsten. Maar als je wat eerder in die journey gaat zitten heb je minder concurrentie en kun je je beter onderscheiden. De kosten per transactie zijn misschien wat lastiger te meten, maar als je je strategie uitsmeert over een langere periode zijn er wel degelijk voordelen te halen.

Ook Merks waarschuwt voor de interpretatie van data. Realtime data in dit geval. Hij illustreert dat met een eigen voorbeeld van G-Star en een e-mail campagne. Alle data wordt nog steeds per stap los geïnterpreteerd, maar als je alles koppelt ontstaat er een heel ander beeld. Dat gebeurt nog te weinig, die koppeling. Fullstack systemen kunnen dat en geven een ander inzicht in de daadwerkelijke customer journey. Lezen dat boek van Merks!

Liniaal en weegschaal
Tot slot Walter Flaat. Is van DAN DNA, de cijferwinkel van Aegis en doet niks anders dan data interpreteren en vertalen naar bruikbare tips voor de klanten van alle labels van Aegis. Flaat maakt een mooie vergelijking tussen het meten van TV (kastjes, 1.235) en online meten. Twee werelden en twee meeteenheden. ‘Ja, soms meet je met een liniaal en soms met een weegschaal.’ Is ook zo. Het ligt er maar net aan wat je wilt meten. En of je het goed kan meten. De customer journey van Merks kun je nooit helemaal meten, zegt Flaat. Mensen zien ook uitingen zonder een touchpoint, zoals buitenreclame en mensen interacteren ook onderling, wat weer beïnvloeding oplevert. En wie kan een relatie leggen tussen een banner die ik om 9:30 op maandag gezien heb en een aankoop daarna op woensdag? We kunnen heel goed het begin en het eind van een journey meten, maar daar tussenin is het vaak heel lastig meten, aldus Flaat.

En, staar je niet blind op eindeloze bronnen aan data. Echte koks bereiden recepten met een beperkt aantal ingrediënten. Een mooiere brug naar moderator Frans (Kok) kon Flaat niet maken.

Frans sluit af en concludeert dat er veel zelfoverschatting is bij het toepassen van data, dat niet alles representatief en vraagbaar is, dat het punt van persoonlijke aandacht en een scherpe blik nodig blijft. De mens interpreteert de data in plaats van dat de data de mens dicteert. En zo is het!

Deze blog werd ook gepubliceerd op Mediaonderzoek.nl van Peter Wiegman.