Vijf organisaties testen GPT-NL in eigen context

Eigen context, eigen hardware

GPT-NL, dat wordt ontwikkeld door TNO met SURF en het Nederlands Forensisch Instituut (NFI), start met vijf launching customers en werkt toe naar een aantal van tien. TNO voert met de launching customers een zogeheten feasibility study uit, waarin wordt onderzocht hoe GPT-NL draait in hun context, op hun hardware en voor hun specifieke use cases.

De partijen komen uit uiteenlopende domeinen, zo is te lezen in het voortgangsrapport van GPT-NL. ‘Denk aan ministeries, het veiligheidsdomein, grote financiële instellingen en corporates waar privacy en compliance cruciaal zijn.’ De eerste launching customers bevinden zich dichterbij huis: naast drie use cases waarbij het ministerie van Binnenlandse Zaken en Koninkrijksrelaties optreedt als financier, gaat het om TNO en het NFI.

Kosten

Behalve enthousiasme van de deelnemers is er ook wat kritiek te horen op het prijskaartje om in deze fase betrokken te zijn bij de ontwikkeling van het taalmodel. De kosten voor uiteindelijke gebruikers zullen lager uitpakken, maar zijn nog niet vastgesteld, laat een woordvoerder van TNO desgevraagd weten. De partijen die als launching customer deelnemen aan deze fase betalen voor een TNO-researchprogramma van 3 tot 6 maanden. Een TNO-team installeert het model op de lokale infrastructuur, voert meerdere tests uit en werkt vervolgens stapje voor stapje toe naar het verbeteren van het model. De launching customers betalen voor de mensuren, licentiekosten en optionele community fee. De prijstelling van de GPT-NL-licenties worden bekendgemaakt als het taalmodel beschikbaar komt voor de markt.

Use cases

GPT-NL wordt onder meer ingezet om Gem te ondersteunen,  een virtuele gemeente-assistent die met behulp van bestaande data en AI antwoord geeft op vragen van inwoners. De chatbot wordt door bijna dertig gemeenten gebruikt. Er is al eerder een verkenning geweest om GenAI in te zetten voor Gem. Nu wordt de meerwaarde van GPT-NL getest bij het beantwoorden van gebruikers-vragen. De uitvoering van deze use case is in handen van ICTU.

Overheidsinformatie is verspreid over heel veel verschillende websites, wat het vinden van relevante informatie vaak lastig maakt. Het ministerie van BZK werkt aan een digitale assistent die antwoorden geeft op basis van informatie op Overheid.nl en in een later stadium ook op basis van andere overheidsbronnen. Zijn de antwoorde van GPT-Nl net zo goed of beter als die van het huidige, commerciële model? Daar gaat de use case van Overheid.nl over.

GPT-NL gaat ambtenaren ondersteunen om eenvoudiger brieven te schrijven. HIP (Helder, Intelligent, Productief) is een hulpmiddel voor ambtenaren om brieven te controleren op complexe taal. Kan het begrijpelijker? In deze use case vergelijkt men het best presterende model dat momenteel wordt ingezet voor HIP met GPT-NL.

Gevoelige documenten en opsporingswerk

TNO zelf doet intern onderzoek naar het on-premise inzetten van GPT-NL voor projecten met gevoelige documenten. Wat precies de use case wordt, is nog niet bekend.

Het NFI zet al jaren AI-modellen in voor opsporingswerk bij zaken waar vele terabytes aan bewijsmateriaal beschikbaar zijn. In de use case met GPT-NL wordt het model gefinetuned op forensische data en wordt onderzocht in hoeverre het gefinetunede model het beter doet in classificatietaken dan de modellen die het NFI nu inzet.