AP: democratische controle op AI is onder de maat
De democratische controle van AI-systemen laat te wensen over. Daarvoor waarschuwt de Autoriteit Persoonsgegevens (AP). AI-incidenten worden daardoor mogelijk te laat of niet opgemerkt. Gemeenten hebben duidelijke kaders en ondersteuning nodig om hun taken op dit vlak te kunnen vervullen.
Meer AI-incidenten
AI raakt steeds meer verweven met de samenleving. In de derde halfjaarlijkse Rapportage AI- & algoritmerisico’s Nederland (RAN) waarschuwt de AP dat er daardoor steeds vaker AI-incidenten onder de radar zullen plaatsvinden, zoals discriminatie door AI-toepassingen. Om te voorkomen dat burgers onterecht benadeeld worden door AI-systemen die de overheid inzet, moeten volksvertegenwoordigers, zoals gemeenteraden en de Tweede Kamer, hun controlerende functie uitoefenen. In de praktijk gebeurt dat nog te weinig.
Idealiter krijgen gemeentelijke organisaties kaders voor de inzet van AI opgelegd van de gemeenteraad en leggen ze vervolgens via het college van burgemeester en wethouders ook verantwoording aan de raad af. Maar die de kaderstellende en controlerende taak van de gemeenteraad laat flink te wensen over op dit gebied. Dat blijkt onder meer uit een enquête die de AP in maart en april 2024 uitvoerde onder 85 gemeentelijke organisaties, 35 rekenkamers en 27 raadsleden.
De raadsleden schatten hun eigen AI-kennis niet zo hoog in. Driekwart geeft aan dat AI en algoritmes eigenlijk niet aan de orde komen tijdens raadsvergaderingen. Gemeentelijke organisaties hebben weinig zicht op welke AI-systemen ze gebruiken; in de enquête doen ze een schatting, maar geven ze ook aan te twijfelen over de juistheid ervan. Bovendien blijkt dat alleen enkele lokale rekenkamers af en toe een keer onderzoek uitvoeren naar AI-systemen.
Kaders en regels nodig
De gemeenten zien het zelf liever ook anders. Ze geven aan dat ze behoefte hebben aan duidelijke kaders en regels: welke vragen over AI-systemen zouden raadsleden op welk moment moeten stellen? Hoe zouden wethouders het gebruik van AI door gemeentelijke organisaties moeten verantwoorden? Wat is een effectieve manier om AI-systemen van de overheid te controleren?
De AP stelt voor dat er een overkoepelend, landelijk AI-coördinatiecentrum wordt opgericht of expertisecentra, waar lokale overheden een beroep op kunnen doen. In het Verenigd Koninkrijk bestaat al iets dergelijks. Daar gaan gemeenten met hun vragen over datascience naar het Alan Turing Institute (ATI) dat voor een groot deel wordt gefinancierd door overheidsfondsen voor onderzoek en innovatie. ‘Het ATI komt soms wel een half jaar bij Britse gemeenten over de vloer,’vertelt Sven Stevenson, programmadirecteur Directie Coördinatie Algoritmes bij de AP. ‘In Nederland is wel veel kennis aanwezig, bijvoorbeeld bij het Rathenau Instituut en de WRR, maar dat belandt niet bij gemeenten.’
Die kennis zal snel moeten toenemen. Op 1 februari 2025, een half jaar nadat de AI-verordening in augustus in werking treedt, zijn organisaties verplicht om te zorgen voor AI-geletterdheid bij de mensen die er iets van af moeten weten, zoals bestuurders en inspecteurs. ‘Je moet willen weten hoe het werkt om kaders te kunnen stellen,’ zegt Aleid Wolfsen, voorzitter van de AP, over de rol van raadsleden.
AI-coördinatiecentrum
De AP stelt voor dat er een overkoepelend, landelijk AI-coördinatiecentrum wordt opgericht of expertisecentra, waar lokale overheden een beroep op kunnen doen. In het Verenigd Koninkrijk bestaat al iets dergelijks. Daar gaan gemeenten met hun vragen over datascience naar het Alan Turing Institute (ATI) dat voor een groot deel wordt gefinancierd door overheidsfondsen voor onderzoek en innovatie. ‘Het ATI komt soms wel een half jaar bij Britse gemeenten over de vloer,’ vertelt Sven Stevenson, programmadirecteur Directie Coördinatie Algoritmes bij de AP. ‘In Nederland is wel veel kennis aanwezig, bijvoorbeeld bij het Rathenau Instituut en de WRR, maar die belandt niet bij gemeenten.’
Algoritmeregister
Als coördinator van het toezicht op algoritmes en AI analyseert de AP elk halfjaar de risico’s rond AI-systemen. Onder de AI-systemen die de AP in het afgelopen halfjaar zijn opgevallen, is een toepassing voor arbeidsaansturing van Rijkswaterstaat, dat volgens de Rekenkamer niet aantoonbaar effectief is. De gemeente Amsterdam krijgt een pluim van de toezichthouder voor de transparantie over een gestopte pilot waarbij bijstandsaanvragen werden beoordeeld via machine learning.
Dergelijke transparantie is van groot belang om democratische controle te kunnen uitoefenen op AI, en voor de AP om de toezichtfunctie vanuit de AI-verordening goed te vervullen. Daarom roept de AP het kabinet op om prioriteit te blijven geven aan het algoritmeregister. Dat wordt voornamelijk gevuld door gemeenten. Idealiter zouden ook semi-publieke organisaties hun algoritmes moeten registeren, vindt de AP, omdat AI daar wordt ingezet in situaties waar mensen kwetsbaar zijn. Een voorbeeld is de inzet van AI en scraping voor detectie van woonfraude door woningcorporaties. Daarnaast vindt de AP het hoog tijd om de nationale AI-strategie, die uit 2019 stamt, tegen het licht te houden.
Lees ook:
Autoriteit Persoonsgegevens pleit voor deltaplan AI – iBestuur
Privacybewustzijn ontbreekt vaak bij gemeenten, ziet AP – iBestuur
AP uit felle kritiek in jaarverslag op ‘datahonger’ van de overheid – iBestuur
