Tekst: Brammert Ottens, Vlad Sterngold, Roland Tabor en Wynfrith Meijwes*
Booking.com behandelt wekelijks vele honderdduizenden vragen, verzoeken en klachten van zijn klanten en partners. Booking.com heeft hiervoor een customer service center met duizenden medewerkers die de inkomende telefoongesprekken, e-mails en chats in ruim 40 verschillende talen kunnen afhandelen. Om een goede service te kunnen verlenen is het belangrijk dat dit alles goed wordt ingepland. Daarom is het zeer belangrijk de toekomstige werkdruk te weten.
De uitdaging van een goede voorspelling van de werkdruk
Het klantenserviceverkeer volgt een ander patroon dan de websitebezoeken. Bovendien varieert het aanbod flink per taal, maar ook per dag en per week. Voor een goede planning is een dagelijkse voorspelling van drie maanden vooruit nodig. Samen met het data-analyticsbureau MIcompany stelde Booking.com als doel een nauwkeurig voorspelsysteem op te bouwen dat gebruikt en verbeterd kan worden. Hiervoor is een integraal model nodig dat simpel is van opzet en gebaseerd is op een goed begrip van onderliggend gedrag van de vele klanten. Geen triviale uitdaging!
Veel pogingen om nauwkeurig te voorspellen sterven in schoonheid: het ontwikkelde model is complex, eventuele uitkomsten worden niet begrepen en wordt daarom ook niet gebruikt door de business.
Het model is een black-box dat niet is aangesloten op de rest van de systemen en niet gebaseerd op echt begrip van onderliggend klantgedrag. Het is een energieverslindende, eenmalige effort geweest dat resulteerde in een model dat niet steeds verder wordt verbeterd en dus bij gebruik na verloop van tijd steeds meer gaat afwijken. Tijd dus voor een beter model.
Vier principes
De aanpak voor het nauwkeurig voorspellen van de werkdruk van de klantenservice is gebaseerd op vier principes voor effectief voorspellen:
- Begrijp de onderliggende dynamiek: investeer in het daadwerkelijk begrijpen van de bedrijfsdynamieken die de patronen verklaren door een hypothese gedreven aanpak.
- Minimaliseer het aantal variabelen: complexiteit leidt vaak tot slechte voorspellingen. Selecteer alleen de meest belangrijke drivers en probeer data slim te combineren.
- Kies het juiste model en beheers afwijkingen: test grondig de voorspellende eigenschappen van verschillende voorspellingstechnieken en beheers afwijkingen door ze te identificeren en ze te begrijpen.
- Bouw een modelsysteem, niet alleen een model: start met een kleine reikwijdte en werk snel naar een eerste product, creëer focus en momentum. Bouw dan een model systeem dat continue leren integreert om afwijkingen van de voorspellingen te verbeteren.
1. Begrijp de onderliggende dynamiek
Het verkrijgen van inzichten in klantdynamieken is natuurlijk belangrijk bij het maken van een model.
De werkdruk is op te delen in Contact Volume en de Average Handling Time (AHT). Contact Volume heeft een sterke trend en toont een duidelijk seizoenspatroon, terwijl AHT minder variatie heeft en geen duidelijke trend toont (zie figuur 1). We identificeerden de belangrijkste voorspellers van zowel Contact Volume en AHT in een gestructureerde, hypothese gedreven aanpak uit een opgestelde lijst van meer dan vijftig mogelijke voorspellers van werkdruk.
Deze mogelijke voorspellers zijn verder onderzocht en aangescherpt door data-analyse. Door correlatieanalyse konden we variabelen die onvoldoende voorspellende waarde hebben verwijderen en focussen op de belangrijkere variabelen.
Figuur 1: werkdruk opgesplitst in Contact Volume en AHT
Voor Contact Volume is de hoeveelheid bekende actieve boekingen van vandaag een belangrijke drijfveer van toekomstig klantcontact over drie maanden. Verder is de fase van een boeking belangrijk: op bepaalde momenten in het proces is het waarschijnlijker dat consumenten contact opnemen met de klantenservice. Andere boekingskarakteristieken zoals reisduur, groepsgrootte en type accommodatie hebben ook invloed op Contact Volume, net als de reisreden en veranderingen in openingstijden van de klantenservice.
Voor de AHT is het communicatiemiddel van belang, net als de reden van contact. Een andere belangrijke drijfveer is of de taal van de agent en gast overeenkomt. Tot slot wordt de AHT beïnvloed door het type agent. Een onervaren agent neemt bijvoorbeeld meer tijd om een verzoek of klacht af te handelen dan een ervaren agent.
2. Minimaliseer het aantal variabelen
Een belangrijke redenen voor het falen van een model is het zogenaamde over-fitten: als een voorspellend model te veel variabelen en parameters bevat ten opzichte van de beschikbare data, is er een substantieel risico dat het model niet de ‘echte’ relaties fit, maar willekeurige variaties in de data. Het is daarom belangrijk het aantal gebruikte variabelen in het voorspelmodel te reduceren. Op basis van de analyseresultaten hebben we een minimum aantal geschikte variabelen geselecteerd voor ons model.
We hebben verder rekening gehouden met zoveel mogelijk speciale dagen, zoals (lokale) feestdagen of dagen met grote evenementen. Voor elke dag in de toekomst bepaalden we de meest geschikte historische referentiedag, meestal dezelfde dag van de week in dezelfde week vorig jaar. De resulterende ‘contacten vorig jaar op referentiedag’ was een belangrijke drijfveer van het model.
3. Kies het juiste model en beheers afwijkingen
De voorspellers moeten door middel van het juiste statistische model worden omgezet naar een werkdrukvoorspelling drie maanden vooruit. Hierbij zijn twee elementen cruciaal: het managen van afwijkingen en het kiezen van de juiste modelleringstechniek. Historische afwijkingen in de data kunnen grote impact hebben op de voorspelling en nauwkeurigheid.
Door middel van gedetailleerde analyses konden incidenten en ruis uit de data worden gehaald. Nadat de dataset opgeschoond was, wilden we het model gebruiken dat de meest nauwkeurige en stabiele voorspelling zou geven en daarnaast goed te interpreteren en te implementeren zou zijn. Om uit te vinden welk model het beste bij onze doelen paste, trainden we de modellen op alle historische data behalve de laatste maanden en testten het voorspellende vermogen van verscheidene modellen op een sample van de laatste maanden.
4. Bouw een modelsysteem, niet alleen een model
Het laatste principe gaat over het belang van het integreren van het model in een werkend (eco)systeem. We hebben een systeem nodig dat niet alleen de voorspellingen runt, maar dat ons ook in staat stelt om de prestatie van het model constant te controleren, de afwijkingen in de voorspellingen te identificeren en te begrijpen en het model vervolgens steeds verder bij te werken en te verbeteren.
Bij de meeste bedrijven is het creëren van het systeem een ondergewaardeerde, maar cruciale stap.
We implementeerden een test en leeraanpak voor twee belangrijke talen als pilot. Deze talen zijn geselecteerd op relatief hoge onnauwkeurigheid in de voorspellingen en onderling verschillende dynamieken. De bevindingen voor deze talen vormden de basis voor een iteratieve uitrol naar alle talen. Het doel was een eerste versie van een model te voltooien dat al een belangrijke verbetering zou laten zien ten opzichte van de bestaande methodiek.
Het modelsysteem berekent automatisch de (on)nauwkeurigheid van de voorspellingen en verklaart en visualiseert deze met de realisaties van de variabelen van het model. De algemene opzet van het modelsysteem is zodanig dat deze relatief gemakkelijk kon worden uitgebreid naar alle andere talen en voorspellingsproblemen. De modelprestaties werden verbeterd door te leren van de afwijkingen van de voorspelling aan de actuele werkdruk en de modellen continu te verbeteren.
Het resultaat
In figuur 2 zien we dat de gemiddelde afwijking in de voorspelling van de werkdruk drie maanden vooruit daalde met een factor 2 voor beide pilottalen, zowel voor Contact Volume als AHT.
Uitrol naar andere talen leverden voor vrijwel alle talen een vergelijkbaar resultaat op mits aangepast voor lokale speciale dagen en mogelijke effecten van andere talen. In de voorspellingen van het nieuwe model zien we dat deze sterk beter presteert tijdens speciale dagen. Deze enkele overgebleven taal waarvan de voorspelling onvoldoende verbeterde wegens de eigen dynamiek zijn vervolgens verbeterd in de test en leeraanpak.
De goede resultaten voor vrijwel alle andere talen bevestigen hoe krachtig een aanpak is die is gebaseerd op bovenstaande principes.
Figuur 2: effect van toegepaste modelverbeteringen volgens bovengenoemde principes op Contact Volume en AHT in twee pilottalen
Goed voorspellen is geen magie. We hebben alle data en tools voor het opgrijpen, maar succes ligt ten eerste in het correct begrijpen van het klantgedrag dat de data verklaart.
Dit begrip moet vervolgens omgezet worden in een minimum aantal voorspellende variabelen en het toepassen van de juiste statistische modellen. Het bouwen van een systeem om je model continu te testen en te verbeteren is de laatste cruciale stap. Houd het zo simpel mogelijk, begrijp wat je doet en blijf oefenen, dat is ook wat een goochelaar doet.
*Brammert Ottens en Vlad Sterngold zijn data scientist bij Booking.com, Roland Tabor is partner bij MIcompany en Wynfrith Meijwes is daar principal data analytics
