Respondenten ronselen en andere merkwaardige praktijken

 

Naar aanleiding van deze post op LinkedIn ben ik eens in de wereld van de online respondentwerving gedoken. De vraag bij deze post is waar het heen gaat met  het onderzoeksvak, als bureaus respondenten werven om tegen betaling zoveel mogelijk enquêtes in te vullen. Het belangrijkste bezwaar is dat de kwaliteit en representativiteit van de respons achteruit gaat als een leger beroepsrespondenten de hele dag bezig is met invullen van vragenlijsten voor geld of cadeaubonnen. In de reacties onder de post, distantiëren ‘gedegen bureaus’ zich met klem van dit soort praktijken, maar is dat terecht?

 

Onderstaande visual is een uitnodiging van EnquêteVergelijk. Deze uiting is vergelijkbaar met die van andere wervers als Surveybee, Surveyswine, Panelchoice.nl, Panelxl.nl en Betaaldeonlineenquetes.nl, die allemaal dezelfde stappen hanteren: 1. gratis registreren 2. enquêtes invullen en 3. beloning ontvangen.

 

 

Britse bureaus
Van de twee Nederlands klinkende namen heb ik achterhaald wie erachter zitten. Dat zijn - verrassend - geen Nederlandse bedrijven, maar Britse bureaus. Betaaldeonlineenquetes.nl is een handelsmerk van C2O Media en EnquêteVergelijk is van Marketing VF Ltd. Beide zijn gerespecteerde ondernemingen die wereldwijd respondenten werven en panels in de lucht houden. Marketing VF Ltd won onlangs nog een prestigieuze prijs in Engeland. De Engelse EnquêtesVergelijk-uitnodiging voor deelname ziet er dan ook exact hetzelfde uit als de Nederlandse versie.

 

 

Eigen labels
Terug naar de post op LinkedIn. De reacties van de ‘gedegen bureaus’ zijn pittig. Kantar, SSI (Survey Sampling International) en GfK zeggen nooitmet dergelijke bureaus in zee te gaan. Sterker, ze zijn nog nooit benaderd, zo werd mij verteld. Dus als het goed is, kom ik ook geen enquêtes van ze tegen als ik me inschrijf als nieuw panellid. Dat heb ik maar eens gedaan en via EnquêteVergelijk kon ik al na een paar minuten aan de slag. Ik kreeg per mail enquêtes aangeboden van onder andere MySurvey, Opinieland, GlobalTestMarket, Toluna, Ipsos i-Say, Stempunt en GfK. Ipsos en GfK kende ik wel, dat zijn immers ‘gedegen bureaus’, maar van die andere partijen had ik nooit gehoord.

 

 

Nader onderzoek leert dat GlobalTestMarket en MySurvey onderdeel zijn van Lightspeed en dat Lightspeed eigendom is van Kantar. Kantar kennen wij in Nederland als de moeder van TNS. Opinieland en BlauwNL zijn van SSI en gaandeweg blijkt dat Stempunt.nl van Motivaction is. Dat zijn toch stuk voor stuk, wat je noemt, ‘gedegen bureaus’.

Toluna is in dit gezelschap een buitenbeentje. Het behoort tot een investeringsmaatschappij (ITWP Acquisitions LTD), die ook eigenaar is van Harris Interactive, voorheen onderdeel van Nielsen.
Het lijkt erop dat de ‘gedegen bureaus’ hun eigen labels hebben om respondenten en panels te werven en dat de partijen als EnquêteVergelijk, Surveybee en Surveyswine ‘concurrenten’ zijn. Met dat verschil dat zij geen eigen panels hebben, waar (de labels van) de ‘gedegen bureaus’ dat wel hebben.

 

Vergelijkbare wervingsmethoden
De wervingsmethoden van bureaus als EnquêteVergelijk en de labels van de ‘gedegen bureaus’, zijn overigens precies hetzelfde. Ze hanteren allemaal de drie en soms vier stappen om aspirant respondenten te bewegen om mee te doen. Onderstaand heb ik een aantal wervingsslogans op een rijtje gezet, waarbij het beeld ‘een pot nat’ opdoemt:

 

 

MySurvey doet er in de welkomstmail nog een schepje bovenop: “Je bent zojuist een wereld van beloningen en vermaak binnengetreden.” Eh, het gaat toch om serieus marktonderzoek?

 

Wel of geen samenwerking?
De vraag is wat het businessmodel is van die wervingsbureaus, waar de ‘gedegen bureaus’ openlijk afstand van nemen, terwijl ik als panellid wel enquêtes krijg aangeboden van ze. Via EnquêteVergelijk kreeg ik een vragenlijst van een onderzoek dat ik als mediaprofessional herkende als een A-merk onderzoek van een dito bureau. Ik zal geen namen noemen.

Uiteraard heb ik dit bureau om commentaar gevraagd en die ontkende bij hoog en bij laag samen te werken met EnquêteVergelijk. Sterker, op het moment dat ik de vragenlijst van het A-merk onderzoek ontving, was er volgens het bureau helemaal geen veldwerk gepland voor dit onderzoek. “Je kan in het artikel zetten dat [bureau] geen directe samenwerking met deze partij heeft.” Op z’n minst vreemd.

Toen heb ik Marketing VF Ltd, de moeder van EnqueteVergelijk, maar eens om commentaar gevraagd. Volgens het Britse bureau is er wel degelijk sprake van een contract tussen het bureau in kwestie en Marketing VF Ltd. Jordan Eggar, senior accountmanager bij MVF, antwoordt: “This agency are a client of ours and we help them grow their panel size. EnqueteVergelijk.nl is a recruitment method we use.” Collega Phillippa Colville vult aan: “Our partners/clients, Toluna, GlobalTestMarket, Opinieland, GfK, PanelClix, Ipsos i-Say for example, give us on a monthly basis an allocation of panelists they would like us to recruit. We then use a variety of digital marketing methods to supply them with the requested number of panelists. Our site, EnqueteVergelijk, is one of the digital channels we use for panelist recruitment and in the majority of cases, our partners/ clients are familiar with our site. In fact, a lot of our clients have come to us after seeing our website and requesting for their campaign to be promoted on it.”

 

Zo wordt het een ja/nee-spelletje, waar ik verder niet tussen wil zitten. Toch nog één keer het bureau in kwestie gevraagd naar aanleiding van de reactie van Marketing VF Ltd. Toen kreeg ik het antwoord dat Marketing VF Ltd toch wel bekend is binnen het bureau en dat Marketing VF Ltd samenwerkt met EnqueteVergelijk.nl. Oh, ok.

 

Kwaliteit
Terug naar de vraag of de geschetste wervingspraktijken invloed hebben op de kwaliteit van de respons. Op Twitter komen in dat kader de meest exotische berichten voorbij:

 

 

Er zit weinig tot geen verschil tussen de praktijken van wervingsbureaus - waar de ‘gedegen bureaus’ zo openlijk afstand van nemen - en de labels van de ‘gedegen bureaus’. Zie niet alleen de eerdere tabel hierboven, maar ook dit overzicht.

Er wordt op grote schaal online geronseld en de vraag lijkt me dan ook terecht of dit ten koste gaat van de kwaliteit van de respons. Bij zelfaanmelding is immers geen sprake van een a-selecte steekproef. Het verzamelen van bereidwillige respondenten in een panel verzwakt dit effect weliswaar, maar dan heb je nog steeds geen goede afspiegeling van de onderzoekspopulatie.

CBS en SCP werken om die reden nooit met dergelijke methoden. Door het Sociaal Cultureel Planbureau word ik gewezen op de FAQ’s op hun site: “Kan ik me aanmelden voor enquêtes?” Antwoord: “Het SCP werkt voor zijn enquêtes met steekproeven. Dat betekent dat uit de bevolking van Nederland op toevalsbasis mensen geselecteerd worden voor een onderzoek. Mensen kunnen zich dus niet zelf opgeven voor een onderzoek: het toeval bepaalt wie een uitnodiging voor de enquête krijgt. Dit gebeurt o.a. om te voorkomen dat vooral mensen meedoen die geïnteresseerd zijn in een bepaald onderwerp, of die veel gebruik maken van een bepaalde voorziening. Dat kan al gauw een vertekend beeld opleveren.”

Het CBS heeft zelfs een heel document opgesteld, waarin beschreven wordt welke steekproefmethodes er binnen het instituut gehanteerd worden.

Voor veel enquêtes werkt het SCP samen met het CBS. Dat is bijvoorbeeld het geval bij het Onderzoek Culturele Veranderingen in Nederland, het Vrijetijdsonderzoek, het Tijdbestedingsonderzoek en het onderzoek naar Ouderen in Instellingen. Andere SCP-enquêtes worden uitgevoerd door marktonderzoekbureaus. Deze zijn aangesloten bij de Nederlandse organisatie van marktonderzoeksbureaus (de MOA). Daardoor is het zeker dat ze zich houden aan richtlijnen op het terrein van onderzoekskwaliteit en bescherming van persoonsgegevens.

 

ISO-normering
MOA voorziet in een kwaliteitsgarantie in de vorm van ISO-normeringen. De ISO-norm 26362 is speciaal bedoeld voor het exploiteren van accesspanels. Tevens geeft MOA een overzicht van de MOA-aangesloten bedrijven die zo’n normering hebben. De meeste ‘gedegen bureaus’ staan daar tussen, maar de wervingslabels van die bureaus niet. Dus geen MySurvey, Lightspeed, GlobalTestMarket, Opinieland, Stempunt.nl etcetera. De enige partij die er wel ‘dubbel’ in staat is KIEN en hun panellabel Panelwizard. Beide hebben de ISO-norm 26362. Voor de ‘gedegen bureaus’ is nu niet duidelijk of de normering ook geldt voor hun panellabels. Andersom geldt voor Novio Research - onderdeel van DVJ Researchgroup - dat volgens de Novio-site ook een ISO-26362 heeft, maar niet apart wordt genoemd. Alleen de DVJ Researchgroup wordt door MOA genoemd als ISO-gecertificeerd.

 

Uiteraard heb ik MOA ook om een reactie gevraagd. Die reactie was tweeledig. Het eerste deel betreft het NOPVO-onderzoek uit 2006, het tweede deel gaat over de ISO-norm.
In 2006 heeft er onder auspiciën van de MOA een grootschalig onderzoek plaats gevonden naar onder andere de invloed van paneldruk en paneloverlap. Uit dat onderzoek, waaraan 19 panelbureaus deelnamen, bleek dat er inderdaad sprake was van paneloverlap, maar dat niet kon worden aangetoond dat die paneloverlap van invloed was op de kwaliteit van de data. Hetzelfde kon gezegd worden over de paneldruk, dat wil zeggen het aantal interviews dat in een bepaalde periode aan één dezelfde respondent wordt aangeboden.

Sindsdien is er geen vervolgonderzoek à la het NOPVO uitgevoerd.

Het onderzoek uit 2006 heeft gezorgd voor het opstellen van de ISO-norm die in 2009 van kracht werd. De reacties op het onderzoek waren destijds heftig. Een overzicht is hier te zien. Naar aanleiding van het feit dat het onderzoek tien jaar geleden werd gehouden verscheen in oktober vorig jaar dit artikel in Clou. In de laatste alinea lezen we: “De vraag is of zoiets (een nieuwe NOPVO-onderzoek, PW) überhaupt opnieuw op poten kan worden gezet en of bureaus happig zouden zijn om hier weer aan mee te doen. De uitkomsten kunnen namelijk niet welgevallig zijn, en het commercieel belang van panelonderzoek is de afgelopen tien jaar toegenomen.”

Voorlopig moeten we dus vasthouden aan de ISO-norm. MOA zegt hierover in een reactie:
"Bij de panelbureaus, die zijn aangesloten bij de MOA, staat de kwaliteit van de panels op de eerste plaats. Deze bureaus zijn gecertificeerd op basis van een internationaal goedgekeurde ISO kwaliteitsstandaard voor (access) panels en handelen conform die richtlijnen. Zij worden daarop jaarlijks geaudit door onafhankelijke certificeringbureaus. Gezien de uitkomsten van het NOPVO onderzoek uit 2006, verwachten we dat de impact van dit soort vergelijkingssites beperkt is. Daarnaast voeren de bureaus separate checks uit op invulpatronen, die er ook voor zorgen dat de respons kwaliteit van de panels op peil blijft."

 

Tijd voor een wrap-up

Dit artikel is een beetje uit de hand gelopen qua lengte, maar hopelijk niet minder interessant. Laten we even teruggaan naar de aanleiding: een post op LinkedIn met een uiting van EnqueteVergelijk.nl en daarbij de vraag waar het heengaat in het onderzoeksvak. Onder die post stellige en vooral ontkennende reacties van ‘gedegen bureaus’ die niks te maken willen hebben met partijen als EnquêteVergelijk.
Eenmaal aangemeld bij EnquêteVergelijk blijkt de hele santenkraam voorbij te komen. En enig deskresearch laat zien dat de ‘gedegen bureaus’ op exact dezelfde wijze werven als EnqueteVergelijk, maar dan veelal onder een ander label. Ik zie in ieder geval geen verschil.

 

Waar precies de ISO-norm voor geldt, maakt het overzicht van MOA niet helder. Is dat alleen voor de ‘gedegen bureaus’ of ook voor de labels die ze hanteren? Wat dat betreft zou de lijst specifieker mogen zijn.

 

Natuurlijk is het een kwestie van prijs en uiteindelijk betalen de opdrachtgevers voor wat zij vragen. Ik vraag me wel af of het voor de opdrachtgevers altijd duidelijk is in welk panel het onderzoek wordt gehouden en of de kwaliteit inderdaad zo stevig is gewaarborgd als de ISO-norm doet vermoeden.