Tekst: Peter Verhoef, Joost Bosma & Martin Heijnsbroek* Beeld: 123RF
In januari 2011 leden treinreizigers onder lange wachttijden en treinen die uitvielen. De tweede winter op rij alweer. Het management ontdekte in deze crisis dat een duidelijk beeld van de klantbeleving ontbrak. Dat moest anders. Samen met MIcompany en Rijksuniversiteit Groningen werd een nieuwe datagedreven methodiek ontwikkeld.
Hoe kan NS de klantbeleving verbeteren? Het management wist zeker dat het antwoord te vinden was in de grote hoeveelheid beschikbare marketing en operationele data. Hoe destilleer je inzichten uit deze data en zorg je zo voor betere besluiten en slimmere investeringen?
Onlogisch
Terwijl veel bedrijven klanttevredenheid als een kritische KPI hebben, en sommigen zelfs hun missie ophangen aan het verbeteren van de klantbeleving, zijn er maar weinig bedrijven wiens mandaat direct afhangt van wat klanten van hen vinden. NS is zo’n bedrijf, omdat het als gereguleerde monopolie onlogisch is om winst- of omzetoptimalisatie als doel te hebben. Het bestaansrecht van NS wordt geborgd door de diensten van het treinnetwerk met de hoogst mogelijke klanttevredenheid aan te bieden, tegen de laagst mogelijke prijs. Daarom is het cruciaal dat NS concrete ambities en doelen heeft als het gaat om klantbeleving.
Maar NS worstelde met meerdere tools, statistische analyses, interpretaties en datasets om klantprestatie te meten. Zo gebruikte NS in het verleden de NPS-metriek, een reputatietracker en een klanttevredenheidscore. Er was dus geen duidelijk en gedragen beeld van de klantbeleving. Het risico van ‘metric shopping’ was aanwezig, doordat marketeers de ruimte hadden om de meest gunstige maatstaf te kiezen om campagnes of interventies te ondersteunen.
In vier stappen methodiek ontwikkelen
NS wilde een datagedreven methodiek ontwikkelen om zo de klantbeleving beter te managen. Dit gebeurde in vier stappen:
1. Overeenstemming over één maatstaf.
2. Ontwikkeling van een driver based big data-model. Het combineren van miljoenen metingen van variabelen over de treinoperatie, meer dan honderdduizend enquêtes over klanten, marketingvariabelen over het inzetten van bijvoorbeeld campagnes, en niet te vergeten externe variabelen – zoals het weer – creëerde het fundament om op zoek te gaan naar de belangrijkste drivers per klantgroep voor de klantbeleving. In plaats van het verbeteren en onderhouden van alle mogelijke drivers van klantbeleving, concludeerde NS dat het identificeren van de meest belangrijke drivers de basis zou betekenen voor een aanpak met meer focus.
3. Voorspelling van de ontwikkeling van klantbeleving. Het driver-based model zou de kern vormen van een voorspelmodel voor klantbeleving, waarmee NS de prestaties zou kunnen volgen en vergelijken ten opzichte van de doelstellingen. Ook kon NS met dit model corrigeren voor seizoentrends en gedurende het jaar veranderende klantgroepen, die samen de gemiddelde klantbeleving bepalen.
4. Optimalisering van investeringen voor klantbeleving. Door te kwantificeren wat één extra euro investering in een specifiek initiatief kan bijdragen aan klantbeleving, zou NS de mogelijkheid hebben om slimmer de investeringsbudgetten toe te wijzen.
1. Overeenstemming over één maatstaf
Ook al bestaat er geen enkele maatstaf die ideaal of superieur is voor elke toepassing, kiezen voor één maat is bedrijfsmatig cruciaal om als organisatie op één manier naar klantbeleving te kijken. Tijdens de zoektocht naar de ideale klantbeleving KPI moest uiteindelijk gekozen worden tussen drie bekende maten:
- Het Algemeen Oordeel, op basis van een grote enquête die dagelijks onder reizigers wordt afgenomen. Bij NS wordt de klanttevredenheid gemeten op basis van een 10-puntsschaal, en is het Algemeen Oordeel het percentage van klanten dat een 7 of hoger scoort.
- De Net Promotor Score (NPS) om klantprocessen in detail te evalueren.
- De Reputation Tracker (REP-TRACK), die gebruikt wordt om het klantperspectief op NS-reputatie beter te begrijpen.
Gebaseerd op het wetenschappelijk onderzoek werd een raamwerk geconstrueerd om de voor- en nadelen van de drie KPI’s te beoordelen.
Beste metriek
Het belangrijkste waren de theoretische onderbouwing, de robuustheid van de ontwikkeling over de tijd, de mogelijkheid om de metriek te linken aan de verleende diensten, de variatie van de score, en de hoeveelheid data die beschikbaar was om de KPI te berekenen. Gebaseerd op deze systematische beoordeling van deze criteria bleek het Algemeen Oordeel de beste metriek.
2. Ontwikkeling van een driver-based model
Nu er één maat voor klantbeleving was, was het natuurlijk belangrijk te begrijpen hoe met een gerichte aanpak de prestatie kon worden verbeterd. In het verleden had NS meerdere marktonderzoeken uitgevoerd, maar de inzichten uit deze ‘zachte’ onderzoeksdata waren beperkt. De uitgewerkte aanpak moest de belangrijkste drivers van klantbeleving bepalen, met behulp van meerdere technieken.
A. Big data driver-model
De eerste uitdaging was om alle relevante data te verzamelen. Omdat NS haar diensten verleent aan negen miljoen unieke klanten per jaar en veel operationele data verzamelt, was het duidelijk dat er veel data beschikbaar zou zijn. Maar welke data waren het belangrijkst, en op welke wijze konden deze data gekoppeld worden aan ontwikkeling op Algemeen Oordeel?
Er werden verschillende momentopnames gemaakt van meerdere bronnen. Zo werd er gebruik gemaakt van geanonimiseerde enquêtedata (de steekproef bestond uit ongeveer 120.000 respondenten), observaties van de enquêteur over operationele problemen (zoals de hygiëne in de trein), interne operationele data over punctualiteit, stations et cetera, interne marketingdata en externe data over (sociale) media. Daarbij zijn zowel de bronnen als de koppeling van bronnen uiteraard privacy proof.
De gecreëerde dataset bestond dus uit meerdere momentopnames (herhaalde cross-sectie data), maar was nog niet gelinkt aan het Algemeen Oordeel van de klant. Omdat van alle relevante data (inclusief de Algemeen Oordeel-meting) bekend was wat het afgelegde traject was (van station A naar station B) en de timing van de reis, konden de datasets op dit niveau worden geïntegreerd.
Een andere uitdaging waren de vele variabelen, die soms met elkaar gecorreleerd zijn en daardoor problemen zouden veroorzaken in een statistisch model - een gangbaar probleem voor het modelleren in big data. Om dit te corrigeren, werd een statistische techniek (principal components analysis) toegepast.
Deze techniek zorgde voor een beperkter aantal nieuwe componenten die de functie van de gecorreleerde variabelen overnam (voornamelijk over de hygiëne in de trein, hygiëne op het station, aandacht in de media, marketinginspanningen, aanwezigheid van winkels en servicepunten op stations en aanwezigheid van parkeerplekken en taxi’s op het station).
Het eerste big data driver-model liet zien dat bijna alle treingerelateerde variabelen significant waren. Punctualiteit heeft een groot verwacht positief effect, terwijl vertraging, de mate van bezetting in de trein en het aantal klachten een negatief effect hadden. Specifiek voor de stations had de aanwezigheid van goede faciliteiten ook een relatief sterk positief effect. Uiteindelijk is ook de invloed van socialemediavermeldingen op klantbeleving aangetoond.
Drie problemen
Maar de uitkomst van deze fase bracht ook drie problemen aan het licht. Ten eerste, de integratie van de data was niet perfect. Ten tweede, de voorspellende kracht van het model om de tevredenheid te schatten voor een individuele passagier was nog relatief laag, deels omdat het moeilijk was om data over de prestaties terug te linken op het niveau van een passagier. Ten derde, hoewel data over de meest belangrijke drivers werden verzameld, moesten bestaande data met allerlei problemen worden gebruikt. Zo had bijvoorbeeld de enquêteur veel informatie geregistreerd op een ‘binaire’ manier, waardoor de stoelen in de trein schoon waren of niet, maar de mate waarin ontbrak.
B. Model gebaseerd op enquête resultaten en experts
In deze stap werd het big data driver-model kritisch tegen het licht gehouden, aangezien dit model alleen was gebaseerd op de beschikbare en meetbare data. Nu werden er ook variabelen toegevoegd waarmee ook belevingsaspecten en het profiel van de individuele klanten beschreven konden worden, en waardoor er een sterker beeld van deze klant ontstond.
Tegelijkertijd werd ook de input van experts meegenomen. Twee doelgroepen van experts werden geselecteerd: experts uit de marketing, marketing research en intelligence-afdelingen en de conducteurs in de trein.
De uitkomsten waren consistent. Beide modellen bevestigden het belang van aspecten als punctualiteit, bezetting van de stoelen en het gebruik/de aanwezigheid van faciliteiten. Het model dat gebaseerd was op de enquête voegde nog inzichten toe over de bereikbaarheid van stations. De resultaten creëerden een duidelijke richting om klantervaring verder te kunnen verbeteren en door aan te stippen welke specifieke drivers het meest van belang voor Algemeen Oordeel waren.
Bij het vaststellen van de belangrijkste drivers werd niet alleen naar de invloed van een driver op Algemeen Oordeel gekeken, maar ook naar de verbeterpotentie. Deze verbeterpotentie werd ingeschat door de maximumscore op een driver te delen door de huidige driver-score. Door de invloed van een driver te combineren met de potentiële verbetering, werd een nieuw managementraamwerk gecreëerd (zie figuur 1) dat nu ingezet wordt voor de prioritering van initiatieven.
3. Voorspelmodel voor klantbeleving
Hoewel het doel was beter te begrijpen hoe de klantbeleving kon worden verbeterd, bleken de verzamelde inzichten ook een goede basis om te voorspellen hoe de Algemeen Oordeel zich zal ontwikkelen. En met een verbeterd inzicht in de toekomst, kreeg het NS-management een tool in handen waarmee het kon beoordelen of de ambities op Algemeen Oordeel realistisch waren, gegeven de verwachtingen over operationele prestaties (zoals punctualiteit).
Er werd gebruik gemaakt van vier jaar enquête-data (van december 2006 tot en met december 2011, in totaal 430.000 enquêtes). Gebaseerd op deze data en de inzichten uit het big data driver-model, werd vastgesteld welke variabelen een sterke invloed hadden op de ontwikkeling van het gemiddelde Algemeen Oordeel over de tijd.
Het ontwikkelde voorspelmodel werd gebruikt om te beoordelen of de Algemeen Oordeel-target realistisch gesteld was voor het einde van het jaar. Dit target was gesteld op 77 procent van de passagiers die een cijfer van 7 of hoger geeft. Echter, het begin van 2012 was een strenge winter met veel sneeuwval, wat disruptie op het spoor en een sterke daling in klanttevredenheid veroorzaakte. Het management wilde dus begrijpen of het haalbaar was om het target op Algemeen Oordeel voor januari 2013 alsnog te behalen. Daartoe werd de ontwikkeling van het Algemeen Oordeel gemodelleerd onder drie verschillende scenario’s voor 2012:
(1) de operationele prestaties liggen op het gemiddelde van de laatste zes jaar,
(2) de operationele prestaties zijn vergelijkbaar als het vorige jaar en
(3) de operationele prestatie liggen op de maximale prestatie van de afgelopen zes jaar.
In deze scenario’s werd aangenomen dat bij een aantal andere factoren (zoals de mix van reissegmenten) een gemiddelde verdeling zou volgen.
Het leek onwaarschijnlijk dat de Algemeen Oordeel-target werd behaald in alle drie de scenario’s. Zelfs in het meest optimistische scenario lag de voorspelde prestatie nog onder de doelstelling.
4. Optimalisering van investeringen voor klantbeleving
Zowel door het driver-model en het voorspelmodel heeft NS een scherper beeld op de drivers van klantbeleving gekregen, en de toekomstige ontwikkeling hiervan. Ook is het nu mogelijk om met dezelfde modellen door te rekenen wat de bijdrage van een specifieke investering is. En hiermee is het NS-management een stap dichter bij het beantwoorden van één van de meest complexe en belangrijkste vragen voor NS: ‘Hoe kunnen de bestaande budgetten het beste verdeeld worden over de verschillende verbeterinitiatieven, zodat de verbetering op Algemeen Oordeel optimaal is?’
De berekening was voor de hand liggend, als je ervan uitgaat dat het effect van initiatieven onafhankelijk van elkaar zijn. Je sorteert de beschikbare initiatieven op basis van de verbetering in klantbeleving per euro investering. Deze maat is de Algemeen Oordeel-ROI genoemd, het algemeen rendement van investeringen op het Algemeen Oordeel. Figuur 2 illustreert het belang van deze methodiek, gezien de Algemeen Oordeel-ROI´s per verbeterinitiatief erg verschillen.
Impact op vijf fronten
De ambitie voor een datagedreven methodiek voor het verbeteren van klantbeleving, heeft zich ontwikkeld tot een fundament voor de klantstrategie. De impact is te merken op vier fronten van deze strategie:
• Klantstrategie ‘Reiziger op nummer 1, 2 en 3’. Zoals de titel van de klantstrategie suggereert, is in de strategie het verbeteren van de klantbeleving centraal gezet, en als prioriteit meegenomen in alle commerciële beslissingen.
• Klantbeleving centraal bestuurd. Binnen NS is er nu geen discussie meer over wat de juiste maat is, wat de belangrijkste drivers zijn voor een klantsegment, en wat de verwachting is voor Algemeen Oordeel -ontwikkeling in het komend jaar.
• NS heeft de centrale besturing van het Algemeen Oordeel met behulp van lean methodiek doorvertaald naar KPI’s voor iedere afdeling en onderdeel van onze dienstverlening. Daardoor heeft iedere afdeling en iedere medewerker inzicht in zijn of haar dagelijkse bijdrage aan klanttevredenheid.
• Versterking marketing intelligence. Dankzij het combineren van meerdere methoden, heeft NS de urgentie ervaren van de samenwerking tussen marketing research en customer analytics. Deze functies zijn nu ook bij elkaar gebracht onder één afdeling.
• Prioriteiten bij commercie. De ontwikkelde inzichten en tools geven de commerciële organisatie de mogelijkheid om niet te beïnvloeden omstandigheden (zoals het weer) te isoleren. Hierdoor kan het commerciële team zich nu richten op het effect van die drivers die ze wél kunnen beïnvloeden. Zoals het installeren en verbeteren van wifi in de trein, een betere sfeer op stations en communicatie met passagiers.
Duidelijkheid
Samengevat heeft de ambitie voor een data-gedreven methodiek de ruis weggehaald in het management op klanttevredenheid. De discussie tussen stakeholders is daarmee versimpeld, en NS-organisatie heeft nu de ‘tooling’ om zich te richten op die drivers die het meeste bijdrage aan de klantbeleving. Om deze reden is data het fundament geworden om de reiziger van NS op de eerste, tweede en derde plaats te zetten.
*Joost Bosma, hoofd klant- en marktadvies NS, Martin Heijnsbroek, managing partner MIcompany, Peter Verhoef, hoogleraar Marketing RuG en Directeur University Groningen Business School
De methode die ontwikkeld werd in 2016 geselecteerd als een van de vijf finalisten van de wereldwijde Gary L. Lilien ISMS-MSI Practice Prize.
