Is search engine advertising gebaseerd op een ‘joekel van een statistische denkfout’?
SEA is helemaal niet zo effectief, stellen Jesse Frederik en Maurits Martijn van De Correspondent. Uit de markt klinkt een ander geluid.
SEA via Google
© 123RF
SEA via Google
© 123RF
Reacties:
Om een reactie achter te laten is een account vereist.
Inloggen Word lidPunt is helder dat het probleem van Lord Leverhulme "I know that 50% of my advertising budget is wasted, but I don't know which half" ook in het digitale tijdperk nog niet is opgelost. Het is eigenlijk alleen maar complexer geworden. Niet meer dan logisch dat adverteerders in deze tijden van snel veranderend koop en (digitaal) media gedrag juist blijven zoeken naar effectievere methodieken in het digitale domein om merkvoorkeur en daardoor marktaandeel te vergroten. Of dat de juiste keuze is de grote vraag. Daar zegt het artikel in de Correspondent helaas weinig over...
Ik haal onderzoek bij Facebook aan, waarin op bijna 1,7 miljard (!) gebruikers is geëxperimenteerd: selectie-effecten zijn gigantisch. Ik haal onderzoek aan bij Google (2,2 miljard observaties): selectie-effecten zijn gigantisch. Ik haal onderzoek aan bij Yahoo (tientallen miljoenen gebruikers): de selectie-effecten zijn gigantisch. Ik haal onderzoek aan bij Microsoft: de selectie-effecten zijn gigantisch.
Mij bevreemdt het dat er dan een artikel wordt geschreven waarin enkel anekdotes van marketeers tegen dit overwicht aan wetenschap wordt ingebracht alsof het dan 1-1 staat. Zo werkt het natuurlijk niet. Eén anekdote over een onbekend experiment in Duitsland van onbekende omvang en onbekende methodologie, dat is in mijn beleving toch net even een factor heel veel zwakker, dan al het onderzoek dat ik hier aanhaal.
Afijn, ik zou iedere marketeer van aanbevelen het onderzoek dat ik in mijn artikel citeer te lezen, en zelf te oordelen. Volgens mij biedt deze tak van wetenschap aanknopingspunten voor enorme verbeterslagen in marketing. Maar dan moet je wel nieuwsgierig zijn, en willen geloven dat veel van wat je deed of dacht niet werkt.
Hier enkele links:
Facebook ads: https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf
Google display ads: https://marketing.wharton.upenn.edu/wp-content/uploads/2017/08/Johnson-Garrett-PAPER-VERSION-2.pdf
Bing search ads: https://pdfs.semanticscholar.org/3690/0d5519e0fcb61ba9709b1f3893b781b85e12.pdf
Yahoo display ads: http://justinmrao.com/lewis_rao_nearimpossibility.pdf
Het stuk van de correspondent raakt wat mij betreft op veel assen een aantal pijnpunten, maar slaat soms ook echt de plank mis.
Er zit een wezenlijk verschil tussen branded en non-branded traffic en dus de meerwaarde van deze traffic. Branded traffic is inderdaad vergelijkbaar met flyeren in de pizzeria zelf (overigens weet iedere online marketeer dat de kosten niet in branded traffic zitten en dat wanneer je niet adverteert een concurrent dit wel doet. Kleine nuance). Wanneer iemand Googlet op ‘Pizzeria Groningen’ (non-branded) dan is dit een heel ander verhaal en is er sprake van een potentiele ‘saleskans’. Dan hebben we het over flyeren in een winkelstraat met meerdere pizzaria’s. Beide zouden op verschillende metrics beoordeeld moet worden. Gebruiken veel bureaus/adverteerders hun branded resultaten voor wat window-dressing? Zeker.
De grootste nuance zit echter in het verschil tussen merk en salescampagnes. Doordat iets meetbaar is, betekent het niet dat je het juiste meet. Merkcampagnes hebben als doel om merkvoorkeur te creëren (wat later weer branded zoekvolume moet opleveren:)). Dit zijn indirecte effecten en moeten dan ook niet worden weggezet tegen directe salesaantallen (of traffic). Zolang de selectie-effecten worden berekend op een correlatie tussen gezien/niet gezien en salesaantallen sla je de plank mis. Een correlatie op bijv. branded zoekvolume zou dan veel interessanter zijn, maar ook veel eerlijker.
Er wordt zeker ook misbruik van deze situatie gemaakt door op basis van een view conversie toe te kennen aan een campagne.
Op het laten zien van advertenties aan huidige klanten heeft overigens niet alleen ‘online’ patent. Offline gebeurt niet anders, maar daar is dit veel minder een issue (omdat offline als ‘merk’ wordt gezien en er daar wel naar indirect effecten als merkvoorkeur wordt gekeken). Ik heb al meer dan een jaar een Qled van Samsung, maar zie zeker elke week nog een advertentie voorbijkomen op TV.
Om het feitelijk te houden zou ik je willen adviseren om dit te lezen: https://effworks.co.uk/wp-content/uploads/2017/10/MEDIA_IN_FOCUS_FINAL_PDF_909.pdf
Een gedegen onderzoek over het effect van merk op sales.
De wetenschap biedt zeker aanknopingspunten voor verbeterslagen (en die zijn er genoeg(!)), maar om de wetenschap beter toepasbaar te maken moet wetenschap ook nieuwsgierig zijn naar wat er buiten de (directe) statistiek om gebeurt.
Robert McNamara (econoom, wiskundige en minister van Defensie) gebruikte louter statistiek om te bepalen of Amerika de oorlog aan het winnen was in Vietnam. Jarenlang adviseerde hij Kennedy (en later Johnson) aan de hand van deze statistiek, we weten hoe dat is afgelopen!
Nogmaals het stuk haalt een aantal goede en terechte punten aan. Er ontbreken echter een aantal cruciale nuances.
Ik bel je met alle liefde een keer om die nuances toe te lichten!
Ik snap niet zo goed waarom De Correspondent serieus wordt genomen. Lekker laten gaan zou ik zeggen...
Misschien snap je dan wel waarom je topeconomen bij Google, Facebook, eBay, Amazon, Netflix en Microsoft serieus zou moeten nemen. Maar laat het vooral lekker gaan.
Nou Jesse, je bent jezelf wel fanatiek aan het verdedigen. Gezien ook deze reactie kun je slecht tegen kritiek. Je laat zien weinig van marketing te begrijpen en je onderbouwingen zijn gewoon zwaar onvoldoende en veel te generaliserend. Gelukkig wordt het in dit artikel en de overige comments al redelijk goed weerlegd. Kun je boos om worden, maar daarmee krijg je geen gelijk. Schoenmaker hou je bij je leest zou ik zeggen. Dus hou je lekker bij je economie en laat marketing over aan de professionals. Wat heb ik eigenlijk te maken met topeconomen van de genoemde bedrijven en waarom zou ik ze serieus nemen? Ik weet niet eens wie die mensen zijn! De Correspondent ken ik wel en dat staat vol met suggestieve en demagogische artikelen. Centraal in De Correspondent zie ik telkens nogal drammerige linkse D66 en Groen Links propaganda. En net zoals jij zijn ze overtuigd van hun eigen gelijk. Ik kan De Correspondent echt niet serieus nemen. Jammer voor je.
Misschien kan "Dave W." a) eerst fatsoenlijk digitale boerka eens uittrekken en als een echte vent z'n achternaam tonen, net als Jesse. b) Graag met onderbouwde argumenten komen, in plaats met meninkjes en slapjes op de man spelen. E #openvizier #argumenten #andersgraagnaargeenstijlverhuizen PS O ja "de correspondent staat vol met suggestieve en demagogische artikelen". Verwar je de Correspondent misschien met de Telegraaf? ;)
Beste Scato, ik gaf al aan dat de tegenargumenten worden gegeven in het artikel en ook in de rest van de comments. Dus die hoef ik dan niet onnodig te herhalen. De Telegraaf pretendeert niets en ontkent niet een sensatiekrant te zijn. Je weet wat je aan ze hebt. De Correspondent is een heel ander soort kanaal. Dat staat stijf van (extreem)linkse D66/GL propaganda. Dat mag ik gelukkig vinden, alhoewel het blijkbaar toch gevaarlijk is als je mening afwijkt van wat ze je proberen wijs te maken. Meteen de reden waarom ik liever niet mijn echte naam gebruik. Ik ben wat dat betreft een echte toetsenbord-held :) Wat betreft het spelen op de man, hoe moet ik anders reageren op zijn reactie die kant noch wal raakt, in combinatie met zijn bullshit-artikel? Ik gaf daarna in mijn reactie voldoende argumenten waarom ik De Correspondent niet serieus kan nemen. Maar jij houdt wellicht van die doctrine en reageert daarom ook. Waarom Jesse in zijn reactie economen van Google erbij haalt is voor mij een raadsel. Maar wat ik zeg, ik neem hem niet zo serieus op het gebied van marketing. Ik hou mezelf verder lekker anoniem als je het niet erg vind. Ik heb geen zin om professioneel / privé dit soort onzin-discussies te krijgen met mensen die overtuigd zijn van hun eigen gelijk. Ik heb ook klanten die Adformatie lezen, en je kan nogal problemen krijgen als je een beetje kritisch bent, dus vandaar.
Hi Jesse, de selectie effecten waar jij naar refereert gaan alleen op voor de mensen die wel geconverteerd zijn. Stel als de controle groep 98 conversies laat zien en de testgroep 100 (bij 50/50 verdeling test/controlegroep). Dan toon je alleen aan dat 98% van de conversies uit de testgroep onderhevig zijn aan selectie effect. Het zegt niet dat de bezoekers die niet geconverteerd zijn onderhevig zijn aan selectie effecten. Het zegt natuurlijk wel dat de campagne nauwelijks iets oplevert, maar dat was niet jouw punt.
Volgens mij snap je selectie-effecten niet, Philippe. Een selectie-effect betekent dat er een verband bestaat tussen de mensen die je advertentie te zien krijgen en hun baseline koopgeneigdheid. Meest extreme scenario: je deelt kortingsbonnen uit aan mensen uit die al in je pizzeria staan.
Dus even een voorbeeld: stel de de conversie op mensen die je advertentie zagen is 0,25 procent, en de conversie op mensen die je advertentie niet zagen is 0,2 procent. Effect van reclame op conversie: 0,05 procent.
Maar, hier zitten dus ook selectie-effecten in. Die kun je uitsluiten door een experiment te doen. Dan blijkt bijvoorbeeld de conversie in de behandelgroep die – potentieel – blootgesteld wordt aan jouw advertentie: 0,205%. En in de controlegroep die niet blootgesteld wordt aan jouw advertentie: 0,2%. Het advertentie-effect is dan 0,005 procent.
Advertentie-effect + selectie-effect = 0,05 procent.
Advertentie-effect = 0,005 procent.
Kortom, in dit geval zou je de werkzaamheid van je campagne met een factor tien overschatten als je geen rekening houdt met selectie-effecten.
Voor de goede orde: dit zijn geen uitzonderlijke getallen. In dit onderzoek naar Facebook ads, overschat je soms zelfs met een factor vijftig! https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf
Wat als een kortingsbon van 30% in de pizzeria er voor zorgt dat ik 2 pizza's koop ipv 1? En mss koop ik er ook wel een blikje cola bij wat ik in eerste instantie niet van plan was. De gemiddelde orderwaarde stijgt hiermee en dus is het flyeren in de pizzeria wel degelijk effectief geweest.
Jesse, jammer dat je zegt dat ik selectie effecten niet begrijp.
Zonder heel technisch te worden;
Jij zegt dat de selectie effecten gigantisch zijn, maar je baseert dit op conversies uit de test- en controlegroep (relatief heel kleine groepjes).
De selectie effecten in jouw pizzaria zijn inderdaad enorm, maar dat geldt alleen voor de mensen die de pizzaria binnenlopen maar niet voor alle mensen die de winkel NIET binnenlopen.
Jij verwart de berekening van "mensen die sowieso zouden converteren" met een uitspraak over mensen die sowieso NIET zouden converteren (dit is die enorme groep waar jij een uitspraak over doet). Je kunt kansen niet zomaar van elkaar aftrekken en optellen. Als je geïnteresseerd bent zal ik de berekening een keer naar je toesturen.
Ik ben wel geïnteresseerd in die berekening. Kan je die hier delen?
Ik werk voor een groot A-merk met een hele hoge naamsbekendheid en kan zeggen dat we het enkele keren hebben geprobeerd om te stoppen met adverteren op onze eigen merknaam. Elke keer zagen we onze verkopen direct afnemen en na het aanzetten van de campagnes zagen we ze weer toenemen. Dit kwam o.a. doordat concurrenten hun budgetten gingen opschroeven zodra ze dit door hadden. De kosten voor het adverteren op eigen merknaam zijn (bij ons) zwaar verwaarloosbaar t.o.v. de opbrengsten. We hebben wel gekeken of we meer konden leren van de intentie van de bezoekers en op basis daarvan zijn we gestopt op een aantal branded zoektermen.
De uitspraak "Als je iemand die toch al naar je webshop komt, naar je webshop laat komen door hem op een advertentie te laten klikken, dan is het effect van die advertentie nul. Want diegene zou dus toch al komen. Dit is geen ‘suggestie’ van ‘weggegooid geld’ – het is weggegooid geld." is wat mij betreft erg kort door de bocht, want hier wordt geen rekening gehouden met kapers op de kust en ook niet met awareness doelstellingen...
Als filosoof en uitgever ben ik onthutst dat collega uitgevers die blijkbaar toch zo bedreven zijn in statistiek, tegelijk zo teleurgesteld zijn over de statistische effecten als gevolg van de vrije wil van de geadverteerde -al dan niet bereikte- persoon.
Gelukkig maar!
Wat ik mis in dit artikel - en in die van de correspondent - is het inzetten op branded search binnen bijvoorbeeld de leisure branche. Als je tegenwoordig als onafhankelijke hoteleigenaar niet adverteert op je eigen merknaam dan gaan de online tour operators (booking.com, Expedia, Hotels.com etc.) met jouw bezoekers er vandoor. Bezoekers die immers zochten op jouw eigen bedrijfsnaam.
Op deze platformen komen ze vervolgens duizenden andere relevante hotels tegen. In het beste geval boekt de bezoekers alsnog bij jouw hotel - via een touroperator - en betaal je 20% commissie (of meer).
Het inzetten op branded search voor hotels is dus een absolute must. Zeker aangezien deze clicks een fractie kosten van wat de touroperators hiervoor betalen.
Slimme online marketeers weten wanneer branded search een toegevoegde waarde is binnen de SEA-strategie en beoordelen resultaten op basis van verschillende attributiemodellen. Hierdoor wordt het selectie-effect dat vaak gecreëerd wordt met branded search niet overschat, maar wordt er gestuurd op reële data.