ChatGPT als sparringpartner?

Hoe kunnen Large Language Models (LLM’s) zoals ChatGPT professoionals ondersteunen in hun werk? Onlangs kwam dit vraagstuk ook bij ons in de organisatie aan bod tijdens een reeks sessies met onze IT-gemeenschap. Hierop voortbouwend is een groep enthousiaste medewerkers onder begeleiding van ons innovatielab Novum aan de slag gegaan met verder onderzoek naar de mogelijkheden. 

In de eerste plaats is nagedacht over verschillende soorten use cases waarbij deze technologie een rol kan spelen bij publieke dienstverlening. Dit kan bijvoorbeeld gaan om het gebruik van deze technologie om brieven begrijpelijker te maken voor mensen met verschillende taalniveaus, of als vertaalmiddel tussen verschillende talen. Ook het gebruik van LLM’s als interface tussen medewerkers en onze kennisdatabases, waar beleidsinstructies, wet- en regelgevingsinformatie staan, kwam aan bod. Dit laatste voorbeeld is een use case die ik zelf interessant vind, omdat het direct aansluit bij de bestaande uitdagingen met betrekking tot het werken vanuit de bedoeling en hoe we professionals beter kunnen ondersteunen bij het nemen van bijvoorbeeld maatwerkbeslissingen.

Er vanuit gaand dat je bij het gebruik van dergelijke LLM’s als organisatie het natuurlijk zo gaat implementeren dat je weet waar die op is getraind, dat je weet dat wat er uitkomt ook feitelijk klopt en deze ook geen data laat wegleken naar plekken waar die niet naar toe mag. Dan kan een droomimplementatie hiervan zijn dat je op een intuïtieve manier kunt praten met een algoritmische assistent en met deze assistent kan brainstormen over een casus. Je zou letterlijk kunnen zeggen: “Dit is er aan de hand, wat kan ik nu doen?” Kan een algoritmische assistent dan informatie halen uit beleidsstukken, instructies, regels en wetten om je een startpunt te geven? Of kan een algoritmische assistent fungeren als een sparringpartner om twijfels weg te nemen en verschillende perspectieven op het vraagstuk naar voren te brengen?

Het risico bestaat dat we lui worden

Een belangrijk vraagstuk hierbij is hoe we kunnen voorkomen dat mensen die werken met een systeem dat zoveel antwoorden biedt, te veel vertrouwen krijgen in dat systeem (het “computer says no” probleem) of minder bekwaam worden om zelf antwoorden te formuleren. Het nemen van weloverwogen beslissingen vereist regelmatig praktijk en ervaring om vaardigheid op te bouwen en te behouden. Als een computer alle antwoorden geeft, bestaat het risico dat we mentaal lui worden. Een praktijkvoorbeeld hiervan is dat velen van ons minder bedreven zijn in navigeren met papieren kaarten of op basis van oriëntatie en herkenning, omdat we zo afhankelijk zijn geworden van Google Maps. Hetzelfde geldt voor het nemen van beslissingen bij complexe dossiers. Hier geldt ook: use it or lose it

Hoe zou je dit nu kunnen aanpakken? Onlangs hoorde ik een interessant perspectief hierover in een podcast met een AI-expert. Die redeneerde dat je niet moet verwachten dat de feitelijke nauwkeurigheid en betrouwbaarheid van LLM’s aanzienlijk zullen verbeteren. Het blijven probabilistische modellen die goed zijn in het voorspellen van woordvolgorde en correlaties tussen woorden, maar niet in het vinden van feitelijke informatie. Het “hallucineren” van de modellen is waarschijnlijk moeilijk echt te elimineren. Maar de onzekerheid die daarbij hoort kan juist een “feature” zijn en geen “bug”. Het feit dat als je dezelfde of bijna dezelfde vraag meerdere keren aan een LLM stelt en er totaal verschillende antwoorden uit kunnen komen, moet gezien worden als een maatregel om te voorkomen dat mensen het op een verkeerde manier gebruiken. Daarbij is het idee dat je LLM-systemen, zoals ChatGPT, geen feitelijke vragen moet stellen waar je een antwoord op wilt, maar dat je ze juist kunt gebruiken om je eigen antwoorden in twijfel te trekken door bijvoorbeeld kritische tegenvragen te laten bedenken. Als de modellen hiervoor zijn getraind, kun je ze ook vragen waar je bepaalde informatie kunt vinden. Dit vereist dus een andere manier van denken over het gebruik van dergelijke modellen. We willen vaak graag antwoorden op vragen, maar de vraag is of we dat altijd moeten willen.

Uitgangspunt voor gebruik van LLM

Dat maakt dat een uitgangspunt voor het gebruik van een dergelijk LLM bij het leveren van maatwerk zou kunnen zijn: gebruik het niet om antwoorden voor je te genereren, maar gebruik het om je de weg te wijzen naar de plaatsen waar de juiste informatie staat, zodat je zelf antwoorden kunt formuleren. En maak het zo dat het algoritme jou bevraagt over jouw oordeel, waardoor je gedwongen wordt beter na te denken.

Op deze manier kan het toepassen van deze technologie je juist helpt nadenken over de afwegingen die je maakt en de redenen erachter. Op die manier kun je betere beslissingen nemen, zonder dat de professional meteen het antwoord voorgeschoteld krijgt. Dit kan mogelijk ook de consistentie van maatwerkafwegingen helpen verbeteren. Bijvoorbeeld doordat een algoritmische assistent getraind is om vragen te stellen vanuit verschillende belangen en perspectieven over de te nemen beslissing, zodat alle aspecten worden belicht.

Op die manier gaat het gebruik van dit soort algoritmes niet ten koste van het vakmanschap, maar kan het juist de ontwikkeling ervan ondersteunen. De gezochte complementariteit uit zich dan in het uitgangspunt dat de algoritmes er niet zijn om menselijke kwaliteiten te vervangen, maar juist om menselijke kwaliteiten zoals weloverwogen besluitvorming te ondersteunen. Dit kan worden bereikt door vanuit een ethisch perspectief te zorgen dat je naar een computer gaat voor de juiste vragen, niet voor de juiste antwoorden.