Hoe klanten service robots gebruiken: Inzichten uit conversatiedata

Voor het onderzoek is in samenwerking met het Amsterdamse bedrijf WELBO gebruik gemaakt van opgeslagen conversaties die Pepper robots van 26 organisaties in Nederland (financiële instellingen, gemeenten, winkels, musea, kennisinstellingen, B2B bedrijven) met klanten/bezoekers hadden. Pepper is een humanoïde service robot die dankzij een combinatie van artificial intelligence, machine learning, speech- en voicetechnologie, motorische en sensorische technologie in staat is om klanten pro-actief te benaderen en mondelinge conversaties met ze te voeren. De conversaties die de Pepper robots met klanten van de organisaties van juli 2019 tot en met maart 2020 hebben gehad zijn dusdanig vastgelegd dat precies kon worden achterhaald wat de robots hebben gezegd (says) en wat ze hebben gehoord (heards). Belangrijk is om hierbij te vermelden dat de robots zelf richting klanten het initiatief namen om te converseren. Zodra een Pepper robot een persoon in zijn nabijheid zag begon hij de conversatie (say) waarna er al dan niet een reactie van de klant volgde die door Pepper werd verstaan (heard). De data zijn door ons in twee stappen geanalyseerd. Ten eerste is met behulp van statistische software de data opgeschoond, waarna er patronen naar voren zijn gehaald wat betreft het gebruik van de Pepper robots gedurende de dagen van de week en gedurende de uren van de dag. Eveneens is gekeken hoe vaak klanten op een gestarte conversatie iets terugzeggen (response rate). Ten tweede is er een sentiment-analyse uitgevoerd om eerste inzichten te krijgen in het gevoel dat de klanten tijdens de interactie met Pepper hadden. De belangrijkste uitkomsten van de analyses zijn hieronder weergegeven.

Om in kaart te brengen in welke mate de Peppers gedurende de week en gedurende de dag worden gebruikt, zijn de ‘says’ en ‘heards’ voor de gehele dataset geanalyseerd. De onderstaande twee figuren laten de resultaten zien.

Bij het bekijken van de figuren vallen twee zaken op. Ten eerste blijkt dat de activiteit van de Peppers zich in de loop van de week opbouwt. Het aantal ‘says’ stijgt vanaf maandag en kent een piek op donderdag en vrijdag. Daarna neemt het in het weekend af, wat vooral kan worden verklaard door het feit dat een deel van de organisaties die de Peppers inzetten dan zijn gesloten. Bij de ‘heards’ treffen we een licht afwijkend patroon aan. Dat wat de Peppers tijdens conversaties verstaan stijgt vanaf maandag naar dinsdag behoorlijk, om vervolgens licht af te vlakken richting de vrijdag. Kennelijk wordt er in de loop van de week wat minder op de conversaties die Pepper start gereageerd. Een mogelijke verklaring hiervoor is dat medewerkers van de organisaties in het begin van de week nog wat meer tijd hebben om Pepper bij klanten onder de aandacht te brengen en er het een en ander over uit te leggen. Naarmate de week vordert is men wellicht drukker waardoor de algehele aandacht voor de robot wat verslapt.

Een andere verklaring is dat klanten die de organisaties bezoeken na het weekend meer mentale ruimte hebben om zich met innovatieve toepassingen zoals een robot in te laten, waarbij deze ruimte als het gevolg van vermoeidheid afneemt zodra de week verstrijkt. Ten tweede zien we een duidelijk piek wanneer we naar de activiteit gedurende de dag kijken. De Peppers zeggen overduidelijk het meest rond 12 uur, wat waarschijnlijk te verklaren is door het feit dat het dan lunchtijd is waardoor er veel mensen langs zullen lopen. Wat betreft de ‘heards’ blijken 10.00 uur en rond 15.15 uur de toptijden te zijn. Klanten zijn dan geneigd om het meeste terug te zeggen. Overigens laat de activiteit per dag ook zien dat de Peppers in de zeer vroege ochtend en late avond nog activiteit vertonen. Dit komt omdat in de sample van organisaties enkele organisaties zaten die ook buiten kantoortijden actief zijn, waaronder een winkel op Schiphol.

Om in kaart te brengen in welke mate klanten van de organisaties op de robots reageren hebben we een analyse naar de response rate uitgevoerd. De response rate staat voor de verhouding tussen het aantal reacties dat de robots kregen (heards) op het aantal conversaties dat zij zelf zijn gestart (says), en kan daarmee als effectiviteitsmaat van robotinteractie worden gezien. De response rate is (in ons onderzoek) uitgedrukt op een schaal van 0 (0% response) tot 100 (100% response). De resultaten van de analyses laten twee opvallende zaken zien. Zo blijkt ten eerste dat de response rate in absolute zin vrij hoog is. Hij scoort doordeweeks niet lager dan 22% en piekt op dinsdag (29%) en woensdag (27%). Kennelijk is een duidelijke bereidheid van klanten om met de Peppers de conversatie aan te gaan. Ten tweede blijkt er over de dag heen een duidelijke piek in de responsiviteit om 10 uur en om 15 en 16 uur te zitten. Op deze tijden reageren de klanten relatief het vaakst op de robot. In absolute zin piekt de responsiviteit om 10.00 uur met een score 35%.

Om te achterhalen wat voor gevoel de klanten tijdens de interacties met de Pepper robots hadden is sentimentanalyse uitgevoerd. Omdat het hierbij gebruikte NRC Lexicon is toegespitst op de Engelse taal, zijn alleen de Engelstalige conversaties bekeken. In totaal zijn er 5941 woorden geanalyseerd. De resultaten van de analyse zijn hieronder weergegeven.

De resultaten tonen aan dat het sentiment tijdens de conversaties met de Pepper robots overwegend positief was. Veelvoorkomende woorden in de conversaties die wij hierbij tegenkwamen zijn ‘vreugde’, ‘vertrouwen’ en ‘verrassing’. Een veel kleiner deel van de conversaties was neutraal van aard. Binnen deze groep kwamen wij zowel positieve (bijv. ‘vertrouwen’) als negatieve woorden tegen (bijv. ‘angst’) tegen. Uit de analyse komt ook naar voren dat een klein deel van de klanten een negatief sentiment tijdens de interacties vertoonde. Woorden die wij hierbij tegenkwamen zijn onder andere ‘droefheid’ en ‘angst’. De kans bestaat dat het hier om een kleine groep klanten gaat die weinig met innovatieve technologie op heeft.

Om te achterhalen waar men tijdens de conversaties met de robots dan vooral een positief of negatief gevoel over had, hebben wij een aanvullende sentiment-analyse uitgevoerd. Een positief gevoel bleek in de conversaties vooral verband te hebben met zaken zoals ‘dansen’, ‘entertainment’ en ‘informatie’. Een negatief gevoel hing vooral samen met ‘wachten’ ‘toilet’, ‘noodgeval’, en ‘grap’. Deze kennis is voor organisaties die robots zoals Pepper inzetten waardevol, omdat het ze leert waar ze de robots het beste voor kunnen inzetten en waar er nog mogelijke punten voor verbetering zijn.

Op basis van de conversatiedata van Pepper robots bij 26 verschillende organisaties hebben wij verkend wanneer de robots het meeste worden gebruikt, in welke mate klanten op de robots reageren, en wat voor gevoel klanten tijdens de interacties hebben. De resultaten tonen duidelijk aan dat de robots in het begin van de week (dinsdagen) het meest worden gebruikt en dat dit gebruik gedurende de week wat afneemt. Over de dag bezien wordt er om 10 uur en rond 15 uur het meeste van de Peppers gebruik gemaakt. De mate waarin er op de robots wordt gereageerd door terug te praten is behoorlijk hoog, zeker wanneer je je realiseert dat er ook veel mensen langs de robots zullen lopen die geen enkele behoefte of tijd hebben om van de functionaliteit van de robot gebruik te maken (o.a. werknemers van de organisatie). Over het gebruik van de robots zijn de klanten overwegend positief, waarbij dit positieve gevoel zowel wordt veroorzaakt door hedonistische activiteiten (entertainment/dansen) als meer utilitaire activiteiten (informatieverschaffing) die de robots uitvoeren.

Wij zijn van plan om het onderzoek in de nabije toekomst verder uit te breiden door gebruik te maken van nieuwe technologische mogelijkheden die robots zoals Pepper bieden. Een van deze mogelijkheden betreft de optie om het geslacht en de leeftijd van klanten die met de robots interacteren met behulp sensoren en een slim algoritme in te schatten. Zo kunnen we meer kennis over de (verschillen tussen) robot gebruikers opdoen. Een andere optie die we graag verkennen is om klanten de interactie met de robot te laten beoordelen (raten) om deze beoordeling vervolgens te relateren aan de elementen en uitingen die in de conversaties voorbij zijn gekomen. Zo doen we specifieke kennis op over hoe robot-klantinteracties het beste kunnen worden ingericht om tot een hogere response rate, langere gesprekken, meer tevreden klanten en ultimo hogere omzet te leiden.