Zo gebruiken ambtenaren generatieve AI

Boze mail

Jeroen, als wij binnen deze organisatie afspraken maken, dan houden we ons daar aan en dan trek je niet op eigen houtje een ander plan. Als je dit nog één keer flikt, heb je echt een probleem.

Hoeveel werknemers hebben ooit in hun carrière een boze mail geschreven maar net niet verstuurd? Diep ademgehaald, een blokje om gelopen en aan een zakelijkere versie begonnen? Dat kan makkelijker. Een kwaad bericht gladstrijden is één van de manieren waarop Amsterdamse ambtenaren hun A-Iassistent ChatAmsterdam graag inzetten.

Beste Jeroen, Ik wil graag even terugkomen op de afspraken die we hadden gemaakt. Helaas is er anders gehandeld dan afgesproken, wat voor onduidelijkheid en extra werk heeft gezorgd. Ik vind het belangrijk dat we ons aan onze afspraken houden en, als er wijzigingen nodig zijn, dit eerst met elkaar bespreken.

Natuurlijk gebruiken ambtenaren generatieve AI niet alleen om deze reden. Net als commerciële AI-chatbots kan ChatAmsterdam onder meer sparren, samenvatten en vertalen. Sommige ambtenaren zetten de tool in om te onderzoeken hoe ze een bepaald type kandidaat voor een vacature kunnen trekken, of ze laten de vacature door ChatAmsterdam checken op bias en toegankelijkheid. Software­ontwikkelaars in dienst van de gemeente gebruiken de chatbot om bugs uit hun code te vissen.

Sparren en itereren

Voor Jacqueline Kapeloni, die zich bij de gemeente Amsterdam bezighoudt met de ontwikkeling van AI, zit de belangrijkste meerwaarde in het sparren met de tool. Het helpt haar om haar gedachten te ordenen. ‘Eigenlijk schrijf ik mijn gedachten uit: “dit klopt niet, pas dit eens aan, zet dat eens in een overzicht”,’ zegt ze. ‘Het sparren vervangt het gesprek met een collega niet, het geeft er meer structuur en richting aan. De output is van hogere kwaliteit, doordat ik door al die iteraties ben gegaan.’

Liesbeth Luimes, die ook bij de gemeente werkt, zet ChatAmsterdam vooral in om een conceptversie van een document naar een hoger niveau te krijgen. ‘Ik laat nooit iets van de grond af genereren. Ik gebruik het óf voor het genereren van een concept, of om feedback te krijgen op een plan waarbij ik zelf tot een 0.9-versie ben gekomen.’ De inhoud van hun werk is niet veranderd, maar de AI-assistent helpt wel om processen versnellen. ‘Tussen een idee en een uitwerking kan veel tijd zitten’, zegt Luimes. ‘Doordat je nu sneller een 0.9-versie hebt die je kunt verbeteren, haal je een aantal bottlenecks uit dat proces.’

Stortvloed aan bezwaarschriften

Niet alle Amsterdamse ambtenaren gebruiken ChatAmsterdam zo intensief als de honderdtwintig softwareontwikkelaars in dienst van de gemeente. Op managementniveau wordt gewerkt aan manieren om de AI-geletterdheid binnen de organisatie meer op hetzelfde niveau te krijgen. Op sommige afdelingen hebben ze vooral te maken met een keerzijde van genAI. Door de komst van ChatGPT is de hoeveelheid bezwaarschriften in één jaar met dertig ­procent gestegen. De gemeente onderzoekt nog of en hoe AI kan helpen met de afhandeling ervan.

RAG

Prompt: Vind in de bijgevoegde mappen de voorwaarden die onze gemeente stelt om in aanmerking te komen voor een maatwerkvoorziening in het kader van de Wmo. Beperk de zoekopdracht tot de definitieve versies van beleidsstukken van na 2020.

Een belangrijke ontwikkeling binnen AI is de komst van retrieval-augmented generation (RAG), het ophalen van relevante informatie door taalmodellen uit interne gegevens, zonder dat die informatie aan de trainingsdata van het taalmodel wordt toegevoegd. Daarmee zouden gebruikers in de toekomst sneller relevante informatie kunnen terugvinden uit grote hoeveelheden stukken. Luimes verwacht dat deze ontwikkeling ook het AI-geletterdheidsniveau van de organisatie optilt. ‘Om een goede prompt te schrijven, heb je zelf kennis nodig van het proces waarin je ChatAmsterdam implementeert’, stelt ze. De combinatie van RAG en vakkennis van ambtenaren zorgt voor resultaten die nooit mogelijk zouden zijn als iemand zonder vakkennis de tool gebruikt, is haar stellige overtuiging.

Routineklussen automatiseren

Zo’n veertig kilometer verderop draait de gemeente Utrecht een pilot om routine­klussen van ambtenaren te automatiseren. Met behulp van AI-agents, een taalmodel, analytics en machine learning is een AI-assistent in het leven geroepen die grote hoeveelheden vrije tekst zelfstandig kan structureren, analyseren en samenvatten. De output van dit proces wordt vervolgens beoordeeld door een medewerker. De gemeente gebruikt het eigen ethisch kader, Uthiek, om de ethische en maatschappelijke impact van deze inzet van AI te beoordelen.

Het experiment roept de vraag op in hoeverre ambtenaren de eerste interpretatie van informatie kunnen uitbesteden aan AI. Dit gaat verder dan ambtenaren simpelweg ondersteunen, stelt onderzoeker Ronald Scherpenisse. Op iBestuur.nl schrijft hij: ‘De overheid besteedt hier niet direct haar besluiten uit, maar loopt wel het risico een deel van haar eerste lezing van dossiers, signalen en patronen uit handen te geven. En precies daar begint kennis. Niet pas bij het laatste besluit, maar al bij de eerste ordening van wat relevant lijkt.’ Dat geldt niet alleen voor deze pilot, maar voor de meeste RAG-toepassingen.

Agentic AI

Ook landelijk komt het gesprek op gang over wat de overheid wil en mag met AI. Toen Alexander Klöpping bij Eva Jinek op televisie een webshop liet ­bouwen door AI-agents, riep dat binnen het ministerie van Binnenlandse Zaken (BZK) de vraag op hoe lang het zou duren voordat iemand een overheid van AI-agents bouwt. Laten we daar niet op wachten, dacht Magchiel van Meeteren, CIO bij BZK, maar zelf de grenzen te verkennen van wat er mogelijk is met agentic AI. Dat is een toepassing waarbij AI zelfstandig opdrachten uitvoert. Samen met het ministerie van Volkshuisvesting en Ruimtelijke Ordening (VRO) liet hij verkennen hoe beleidsvorming eruit zou zien als het volledig door AI-agents werd gerund. Engineers van team Epoch, studenten van de TU Delft die een jaar lang aan grote opdrachten werken, kregen tien weken de tijd om te bouwen aan een proof-of-concept. Het resultaat is ‘De Virtuele Kamer’, een woondeal-simulator.

Prompt: Go into research mode and ­identify and solve the housing issues in the U10 region.

Aan de hand van bestaande overheids­documenten doen de agents in De Virtuele ­Kamer een voorstel voor het bouwen van nieuwe woningen binnen een bepaalde regio. Vervolgens voeren ze een discussie over het voorstel, waarbij ze zelf verschillende stakeholders representeren, bijvoorbeeld alle gemeenten in de regio. Het resultaat is een rapport waarin alle input van de stakeholders wordt verwerkt. De gebruiker kan met de agents in gesprek om het eindresultaat te verfijnen. Is dit hoe het werk van de ambtenaar er in de toekomst uitziet? Prompt opstellen, beleidsdocumenten selecteren, stakeholders aanklikken, kopje koffie halen en klaar is de woondeal? Onwaarschijnlijk, want aan agentic AI kleven stevige nadelen.

Autonome systemen hebben toegang nodig tot overheidsbestanden. Wie is verantwoordelijk als de agent een fout maakt? Hoe makkelijk zijn AI-agents te manipuleren? Wat is het juridisch kader? Hoewel de simulator op het oog indrukwekkende resultaten boekt, komen er inherente beperkingen van genAI aan de oppervlakte. Zo hebben taalmodellen de neiging om het de gebruiker naar de zin te maken. Als er extra geld ­nodig is voor een woondeal, dan vinden de AI-agents bijvoorbeeld een extra potje bij het ‘Provinciaal Fonds Betaalbare ­Woningen’, dat helaas niet bestaat.

Met het experiment willen BZK en VRO de discussie onder ambtenaren op gang te brengen. Dat lukt behoorlijk: bij de presentatie van team Epoch vliegen de kritische vragen over tafel. Net als in de gemeenten geloven de rijksambtenaren dat het goed is om in een proeftuinsetting te experimenteren met nieuwe AI-toepassingen, om duidelijkheid te scheppen over waar de technologie het vakmanschap van de ambtenaar versterkt en in welke gevallen de overheid AI beter links laten liggen.

Dit is een ingekorte versie van een artikel uit Binnenlands Bestuur.
Lees het volledige artikel in Binnenlands Bestuur #10 (inlog).