Rijk gebruikt naar eigen zeggen nauwelijks hoog risico AI-systemen
Van de 370 algoritmes die de Nederlandse rijksoverheid inzet, classificeren de departementen er slechts 13 als een hoog risico AI-systeem. Dat blijkt uit een inventarisatie van de stichting Algorithm Audit, die het gebruik van algoritmes in de Nederlandse publieke sector monitort.
Een motie van Tweede Kamerlid Jesse Six Dijkstra (NSC) riep het kabinet in februari 2025 op om vóór de zomer per departement een brief naar de Kamer te sturen met daarin een plan voor de registratie van impactvolle algoritmen, naast de plannen voor het registreren van hoog risico-AI in het Algoritmeregister. Hij deed dit omdat het Algoritmeregister nog steeds maar beperkt is ingevuld, wat het voor toezichthouders moeilijk maakt om goed zicht te hebben op algoritmes van de overheid.
Algorithm Audit inventariseerde de 14 brieven van de verschillende departementen. Een relatief overzichtelijke klus, want de brieven zijn aan de hand van een template van het ministerie van BZK opgesteld. Het algoritmegebruik wordt standaard uitgesplitst per uitvoeringsinstantie. De stichting controleerde of de beschreven systemen ook in het algoritmeregister staan. Het aantal hoog risico-systemen in gebruik blijkt lager dan verwacht. Van de 13 hoog risico-systemen zijn er 10 van het ministerie van Justitie en Veiligheid (J en V).
Beeld: Stichting Algorithm Audit
Veel impactvolle algoritmes
Voor hoog risico AI-systemen gelden verschillende regels en beperkingen vanuit de AI-verordening. Zo moet er een risicobeheersysteem worden opgetuigd, is het verplicht om prestatievereisten bij te houden en het systeem transparant in te richten. Volgens een schatting van de Europese Commissie zou zo’n 15 procent van de algoritmische systemen in deze categorie moeten vallen.
De departementen komen gezamenlijk op 250 impactvolle algoritmes. Een impactvol algoritme is bijvoorbeeld een beslisregel, zoals de selectieregels van Toeslagen. Een dergelijk algoritme kan grote financiële gevolgen hebben voor inwoners, maar het is geen AI-systeem. Het ministerie van Financiën is grootgebruiker van impactvolle algoritmes. Bij Toeslagen, de Belastingdienst de Douane en het beleidsdepartement worden er in totaal 162 gebruikt, tegen 0 hoog risico-systemen. Impactvolle algoritmes moeten worden beschreven in het Nederlandse algoritmeregister, maar ze vallen niet onder de strenge regels voor hoog risico AI-systemen van de AI-verordening.
Interpretaties
‘Of iets een hoog risico AI-systeem moet worden genoemd of niet, is een heet hangijzer,’ zegt Jurriaan Parie, directeur van Algorithm Audit. ‘We zien dat de ministeries de definitie verschillend interpreteren. Er zijn aanwijzingen dat daar nog wel eens iets verkeerd wordt geclassificeerd.’
Zo beschrijft het ministerie van J en V het AI-systeem MONOcam van de politie als een ‘impactvol algoritme’ en niet als een hoog risico AI-systeem. Het AI-systeem controleert automobilisten op telefoongebruik tijdens het rijden en berekent dus het risico op een overtreding. Daarmee is het volgens Algorithm Audit een hoog risico-systeem. Het ministerie ziet dat anders. Een woordvoerder geeft aan dat het tijd kost om te achterhalen hoe die afweging precies is verlopen (wordt vervolgd).
Zelf iets vinden
Parie beschouwt de inventarisatie van de ministeries als een stap in de goede richting. ‘Dat neemt niet weg dat er nog meer moet gebeuren en dat we met elkaar moeten leren hoe wettelijke definities op een consistente manier kunnen worden geïnterpreteerd. We roepen het ministerie van Binnenlandse Zaken op om hieraan richting te geven.’
Volgens hem is te lang gedacht dat de Europese Unie het lastige onderwerp van algoritmes wel even zou regelen voor de lidstaten. ‘Dat blijkt nu eigenlijk gewoon niet waar, omdat maar 3,5 procent van de gebruikte systemen eronder valt. Voor de rest gaat het om klassieke beslisregels, die soms impact maken op grote schaal. Daar moeten we zélf als instituties, toezichthouders, politici en de bestuurlijke top iets van vinden.’
Lees ook:
