Chatbots als ‘gezicht’ van de organisatie

Hoe verlopen gesprekken tussen burgers en chatbots? Wat zeggen ze over het vertrouwen dat mensen hebben in de overheid? En als dat vertrouwen onder druk staat, kunnen we dan op tijd ingrijpen om de relatie tussen burger en overheid goed te houden? Het onderzoeksproject Bots of Trust duikt in deze vragen.

Chatbots worden steeds vaker ingezet door overheden. Het doel is meestal om burgers snel, efficiënt en op een persoonlijke manier te helpen via een digitaal gesprek. Waar je vroeger naar de balie ging voor hulp, praat je nu steeds vaker met een chatbot. En die technologie ontwikkelt zich razendsnel en speelt inmiddels een belangrijke rol in hoe burgers contact hebben met overheidsorganisaties.

Vertrouwen in de publieke dienstverlening

Het inzetten van chatbots roept bredere vragen op over het vertrouwen van burgers in publieke dienstverlening. Er spelen drie dingen:

1. Vertrouwen in technologie: Chatbots ontwikkelen zich razendsnel. Het wordt steeds makkelijker voor organisaties om er een te implementeren.
2. Chatbots als ‘gezicht’ van de organisatie: Ze zijn het eerste aanspreekpunt en krijgen vaak menselijke trekjes – zoals een naam, een bepaalde toon, of zelfs een persoonlijkheid. Dat beïnvloedt hoe burgers de interactie ervaren en verandert de relatie tussen burger en organisatie.
3. Veranderende communicatie: Door automatisering hebben organisaties minder grip op het gesprek. Fouten in de informatie kunnen de betrouwbaarheid van de organisatie aantasten.

En precies dát is waar het onderzoeksproject Bots of Trust over gaat, maar dan binnen de publieke dienstverlening. We willen kunnen vaststellen of gesprekken met een chatbot het vertrouwen van burgers versterken of juist ondermijnen. En als we signalen zien dat het vertrouwen afneemt, moet de chatbot of de organisatie kunnen ingrijpen om verdere schade te voorkomen. Dat is belangrijk, omdat het inzetten van chatbots veel tijd en moeite kost. Maar als iemand bijvoorbeeld na 17:00 snel een goed antwoord krijgt, kan dat juist de communicatie verbeteren én de relatie met de organisatie versterken. In zo’n geval krijgt het vertrouwen juist een flinke boost.

Lange gesprekken = minder tevredenheid
Over het algemeen leiden langere gesprekken tot lagere tevredenheid, en dus minder vertrouwen. Misschien hadden deze gesprekken beter met een medewerker gevoerd kunnen worden. Dat zou de tevredenheid (en het vertrouwen) mogelijk hebben hersteld. Dit resoneert met resultaten uit een ander onderzoek: “Bij simpele vragen kiezen klanten gemakkelijker voor een digitale oplossing. In dit verband lijkt complexiteit ook een belangrijke factor te zijn bij de keuze van een kanaal: bij een complexe vraag zijn mensen geneigd om voor een analoog kanaal te kiezen, voor directe interactie met een medewerker.”

Meer chat bij handovers
Als een gebruiker wordt doorverwezen naar een medewerker (handover), wordt er meestal meer gechat. Dat kan betekenen dat gebruikers die géén handover vragen, óf snel een antwoord vonden, óf beseften dat de chatbot het antwoord niet had en het gesprek daarom beëindigden.

Ingrijpen wanneer het mis gaat
De inzichten doen denken aan callcenters: medewerkers merken vaak meteen als er iets misgaat in een gesprek en kunnen dan direct ingrijpen. Ze zijn getraind om gevoelig te zijn voor zulke signalen. Maar nu is de chatbot de nieuwe ‘medewerker’.

Trust markers

Met een dataset van de Rijksdienst voor Ondernemend Nederland (RVO) hebben wij een methode ontwikkeld om chatgesprekken te analyseren op signalen van vertrouwen. Daarnaast we willen niet alleen per gesprek kijken, maar juist op grote schaal inzichten halen uit alle data. Zo krijgen we een beter beeld van hoe vertrouwen zich ontwikkelt.

Met behulp van deze data en literatuur hebben wij signalen (trust markers) kunnen vinden die wat zeggen over vertrouwen. Onderzoek laat zien dat publieke dienstverlening vereisten zijn toegankelijkheid, gemakkelijk te vinden en te gebruiken, interactiviteit, rechtvaardigheid, personalisatie en veiligheid. Deze zijn nodig om vertrouwen te bouwen in de overheid. Door deze vereisten naast de chatbot data te leggen hebben wij deze trust markers gevonden.

Deze trust markers bij elkaar geven een score aan elk gesprek. Hieruit kunnen we ‘automatische’ categorieën maken met gesprekken die goed gaan en gesprekken die niet goed gaan, en waar dat dan mee te maken heeft. Zo ziet het eruit:

Sommige vereisten, zoals veiligheid en rechtvaardigheid staan er niet bij omdat deze momenteel nog niet duidelijk zijn uit de data.

Hoe weet je wanneer een gesprek niet goed loopt? Om dit te kunnen onderzoeken, heeft RVO data van haar chatbots ter beschikking gesteld.  De data die gedeeld is met het onderzoek is geanonimiseerd en bestaat uit 23.227 gesprekken. Deze gesprekken hebben plaatsgevonden van februari 2019 tot september 2024.

De RVO heeft twee chatbots gemaakt: Robin helpt bij het overdragen van agrarische bedrijven en Efa bij vragen over facturen. Ze staan op verschillende websites en hebben elk hun eigen stijl. De chatbots beantwoorden veelgestelde vragen. Als een vraag te ingewikkeld is, kan de gebruiker doorgeschakeld worden naar een medewerker via live chat.

RVO gebruikt deze chatbots ook om te ontdekken hoe ze mensen sneller en makkelijker kunnen helpen. De chatbots werken nu op basis van vaste regels (rule-based), waardoor RVO controle heeft over de antwoorden. Dit is anders dan bij generatieve AI (zoals ChatGPT), die steeds nieuwe antwoorden maakt, maar minder voorspelbaar is. RVO leert van de gesprekken met gebruikers. Zo worden Robin en Efa steeds slimmer, om zo goed mogelijk burgers te kunnen helpen. Op basis van de gedeelde data van RVO willen we ook inzicht krijgen in de ervaringen van burgers, zodat we hun behoeften beter kunnen begrijpen.

Om een beeld te geven, leggen wij deze trustmarkers codes naast twee voorbeeld gesprekken.
Onderstaand een gesprek dat goed gaat.

En een voorbeeld van een gesprek dat niet goed gaat.

Uit deze twee voorbeelden zien we dat:

1. Het gesprek dat goed gaat is kort en bondig. De persoon gebruikt keywords om (waarschijnlijk is deze persoon bekend met hoe een chatbot werkt).
2. Het gesprek waar het minder gaat duurt langer. De persoon blijft proberen en gebruikt complete zinnen.
3. De chatbot gebruikt ook meer tekst en verontschuldigt zich, wat niet helpt.
4. De frustratie loopt op: waar het dus mis gaat en wat ook een signaal moet zijn, zijn lange gesprekken, waarbij er ingegrepen moet worden anders loopt de frustratie op.

In conclusie bemiddelen geautomatiseerde communicatietools de relatie tussen publieke organisaties en burgers. Innovaties zoals de implementatie van chatbots worden dan de bemiddelaar tussen de twee partijen, waarbij vertrouwen in het geding komt door nauwkeurigheid, snelheid en persoonlijke hulp.