Data en ai
Nieuws

Overheden maken in helft gevallen geen risicoafweging bij inzet AI

Ewout Irrgang | Beeld: Henriëtte Guest

Voor meer dan de helft van de AI-systemen die de overheid gebruikt, is vooraf geen risicoafweging gemaakt. Dat blijkt uit onderzoek van de Algemene Rekenkamer. Bij de AI-systemen met een hoog risico geldt dit voor een derde van de systemen.  

UWV en politie zijn uitschieters

De Algemene Rekenkamer deed een zogeheten focusonderzoek naar AI bij de Rijksoverheden. Bij 70 overheidsorganisaties werd geïnventariseerd welke AI-systemen zij gebruiken of hebben gebruikt. De meeste organisaties geven aan AI te gebruiken, al gaat het bij bijna alle organisaties om niet meer dan 3 systemen. Grote uitschieters zijn de politie en het UWV, die respectievelijk 23 en 10 AI-systemen gebruiken. De politie zet bijvoorbeeld AI in om te bepalen in welke wijk politie-inzet nodig is. Het UWV gebruikt onder meer een Maatwerkscan in om te voorspellen wie risico loopt om bij het einde van een werkloosheidsuitkering geen inkomsten te hebben.

120 systemen in gebruik

In totaal gaven de organisaties 433 AI-systemen op, waarvan er ten tijde van het onderzoek 120 systemen (28%) daadwerkelijk in gebruik zijn. In de meeste andere gevallen gaat het om lopende experimenten, of om systemen waarmee men weer is gestopt.

“AI bij de overheid is geen toekomstmuziek meer,” constateert Ewout Irrgang, lid van het college van de Algemene Rekenkamer. “We hebben eerder onderzoek gedaan naar het gebruik van algoritmes. Drie jaar geleden was er nauwelijks nog sprake van gebruik van zelflerende algoritmes. Er gebeurt echt wel wat bij de overheid.”

AI bij de overheid is geen toekomstmuziek meer.

Robothond voor celinspectie

De meeste opgegeven AI-systemen vallen onder de ministeries van Justitie en Veiligheid (JenV), Asiel en Migratie (AenM). Ze variëren van antivirussoftware tot fraudedetectiesystemen. Overheidsorganisaties zetten AI vooral in voor toepassingen waar burgers en bedrijven niet direct mee te maken hebben. Kennisverwerking, zoals het doorzoeken van interne documenten, is met 124 AI-systemen de meest voorkomende toepassing. Zo is er een systeem dat ambtenaren ondersteunt bij het beantwoorden van Kamervragen.

Voor 140 van de 433 AI-systemen geldt dat er wel directe impact is op burgers. Ze vallen vooral in de categorie Inspectie & Handhaving (82 systemen). Zo experimenteert de Dienst Justitiële Inrichtingen (DJI) met een robothond die celinspecties uitvoert.

Meer GenAI

‘Met 48 lopende experimenten en 8 systemen in gebruik valt te verwachten dat generatieve AI in de nabije toekomst een grotere plek zal krijgen in de bedrijfsvoering van de rijksoverheid,’ schrijven de onderzoekers. Zo gebruikt een onderdeel van het Ministerie van Algemene Zaken een AI-systeem om interviews te transcriberen naar tekst, waarna de tekst door mensen wordt gecontroleerd.

Raar maar waar: van een derde van de gebruikte AI-systemen is niet bekend of het systeem de verwachtingen waarmaakt.  “Het komt vaker voor bij de overheid dat ze iets doen waarvan de resultaten onbekend zijn,” relativeert Irrgang. “Wat we ook terug hoorden: “we zijn er heel positief over, maar de resultaten zijn onbekend.”

Van een derde van de gebruikte AI-systemen is niet bekend of het systeem de verwachtingen waarmaakt.

Basis niet op orde

Overheidsorganisaties oordelen ook vaak positief over beëindigde experimenten. Ze hadden er best meer door willen gaan, maar liepen aan tegen obstakels, zoals onduidelijkheid over wet- en regelgeving of een tekort aan mensen en middelen. Ook veel gehoord: de IT-infrastructuur en de data zijn niet van voldoende niveau. “Daar komen ze achter als ze AI-systemen willen toepassen.”

AI-verordening

Een belangrijke aanleiding voor het rapport is de AI-verordening (de Europese AI Act), die verplichtingen oplegt voor AI-systemen in Europa. Volgens de AI-verordening moeten in 2026 alle gebruikte AI-systemen met een hoog risico geregistreerd zijn. Bovendien moeten eind 2025 in Nederland alle impactvolle AI-systemen gepubliceerd worden in het algoritmeregister. Maar de resultaten van het onderzoek geven weinig aanleiding om te verwachten dat overheden hierop voorsorteren. Slechts 5 procent van de genoemde systemen staat in het nationale algoritmeregister. “Niet alles wat er in zou moeten, zit erin, is onze indruk,” zegt Irrgang.

Ook schrikbarend met het oog op de AI-verordening: Voor een derde van de 30 AI-systemen die volgens de overheidsorganisaties zelf een hoog risico hebben, is geen risicoafweging gemaakt. Van 49% van de AI-systemen die op dit moment in gebruik zijn, is het risico niet afgewogen of is niet bekend of het is afgewogen. Hetzelfde geldt voor meer dan de helft van álle opgegeven AI-systemen. Irrgang: “Als je het risico niet inschat, kun je nooit volhouden dat er géén risico’s zijn.” Een risicoafweging kan overigens van alles zijn, van een DPIA tot een IAMA. Een rijksbreed instrument voor risicoafweging ontbreekt vooralsnog.

Als je het risico niet inschat, kun je nooit volhouden dat er géén risico's zijn.

Prikkel

“Het is duidelijk dat daar nog wat te doen is,” zegt Irrgang. “De tijd begint te dringen.” De verboden treden per 2 februari 2025 in werking en de eisen die worden gesteld aan hoogrisicosystemen vanaf augustus 2026. Het rapport wijst erop dat er een prikkel bestaat om AI-systemen niet als hoog risico in te schalen, omdat ze dan niet aan de strenge eisen van de AI-verordening hoeven te voldoen.

De Algemene Rekenkamer heeft niet gecontroleerd of het ingeschatte risico van de opgegeven AI-systemen klopt, of welke afweging er is gemaakt. “Wij kunnen niet uitsluiten dat er nog verboden systemen tussen zitten. En ook voor een AI-systeem met minimaal risico gelden vereisten. ‘Minimaal’ wil niet zeggen dat er geen risico is.”

Snel duidelijkheid

In een reactie laat staatssecretaris Zsolt Szabó van digitalisering weten dat de Rijksoverheid zo snel mogelijk meer duidelijkheid wil creëren over de definities en classificaties uit de AI-verordening, zodat organisaties daar niet meer mee hoeven te worstelen. Irrgang is blij dat de staatssecretaris erkent dat hiermee wordt geworsteld. “Het is wel belang dat de definities en classificaties ook rijksbreed worden overgenomen. We zien nog weleens gebeuren dat elk ministerie er een andere interpretatie aan geeft.”

Vervolgonderzoek

In een aankomend verantwoordingsonderzoek zullen twee AI-systemen van de Rijksoverheid door de Algemene Rekenkamer worden gecontroleerd. Het gaat om de Risicoscan Verwijtbare Werkloosheid van het UWV en om een model dat bij Toeslagen wordt gebruiken om het risico op hoge schulden te onderzoeken. Van een ondoordringbare ‘black box’ hebben de onderzoekers tot nu toe geen last, geven ze desgevraagd aan, ook niet als de software bij een leverancier in de cloud staat. Het verantwoordingsonderzoek verschijnt in mei.

Lees ook: 

  • Martin Dahlhaus | 18 oktober 2024, 13:54

    Ik wil graag op een onjuistheid wijzen. In dit artikel staat: “Generatieve AI wordt bijvoorbeeld ingezet voor het maken van geautomatiseerde notulen bij Algemene Zaken.”
    Dit klopt niet en staat ook niet in het rapport van de Rekenkamer. In het rapport staat: “Het Ministerie van Algemene Zaken gebruikt bijvoorbeeld een AI-systeem om interviews te transcriberen naar tekst.”
    Het gaat hier om een specifiek onderdeel van AZ die tooling inzet om gesproken tekst (interviews) om te zetten in tekst en is puur bedoeld als manier om de efficiency te vergroten. Daarna is er sprake van meervoudige en uitgebreide menselijke controles, waarbij eventuele citaten bovendien worden voorgelegd aan de geïnterviewde.

Plaats een reactie

U moet ingelogd zijn om een reactie te kunnen plaatsen.
Registreren