AI Act volstaat niet
De Directie Coördinatie Algoritmes (DCA), onderdeel van de Autoriteit Persoonsgegevens (AP), moet een bredere focus hebben dan louter controle op specifieke datasets, algoritmes en kunstmatige intelligentie. De Europese AI Act is volgens Roel Dobbe een goede start maar onvoldoende, want deze focust primair op productveiligheid.
Roel Dobbe, assistent professor Data en Algoritmes bij Technische Bestuurskunde TU Delft en gelieerd aan het Digital Ethics Centre, gaf de Directie Coördinatie Algoritmes input over systeemtoezicht. “Als systeemtoezichthouder moet de DCA dus ook de context van algoritmes en AI in oogschouw nemen. De Europese AI Act is een goede start maar onvoldoende, want deze focust primair op productveiligheid, en niet op het bredere proces, de organisatie en systemen waarin algoritmes en AI worden geïntegreerd.”
“Mijn expertise komt voort uit toepassing van veilige automatisering in klassieke technologiedomeinen zoals de luchtvaart, die niet beperkt is tot adequate algoritmes. Zo behelst de veiligheid van autopilots in vliegtuigen behalve algoritmische regelsystemen ook de interactie met de piloot, procedures voor naleving van allerlei regels, standaarden voor onderhoud en de parate kennis van betrokken professionals.
De systeemveiligheidstraditie voor automatisering gaat meer dan 70 jaar terug. Er zijn veel lessen uit deze geschiedenis die nu nog veel te weinig worden erkend en toegepast voor nieuwe toepassingen met algoritmes en kunstmatige intelligentie. De DCA kan deze benutten in haar taak om breder te kijken naar het algoritme in ‘systeemcontext’. Zo worden veel algoritmes in het openbaar bestuur in ketens van organisaties uitgevoerd, bijvoorbeeld de Keten Werk en Inkomen. Daar ontbreekt duidelijke centrale coördinatie en verantwoordelijkheid om burgers die beklemd raken door complexe regels en geautomatiseerde besluitvorming te helpen en systemen te verbeteren om toekomstige fouten te voorkomen.
Veiligheidscultuur
Dit vraagt om een veiligheidscultuur. De kern: als je alles technisch en procedureel qua risicomanagement goed opzet, maar mensen zijn niet in staat om euvels bespreekbaar te maken, dan leer je niet van fouten. Dat leidt bij grootschalig toegepaste algoritmes vaak tot heel veel schade.
We zien dat het Nederlandse bestuur vaak tekortschiet in het verschaffen van informatie om lessen te trekken. Dat versterkt het wantrouwen en voedt een afrekencultuur waardoor bestuurders en ambtenaren nog meer angst krijgen om fouten te maken. Een vicieuze cirkel. Je ziet bijvoorbeeld dat de Belastingdienst helemaal vastloopt met de afhandeling van het Toeslagenschandaal.
Uitwisseling van data
Verder veroorzaakt de verspreiding van data via basisregisters over verschillende systemen in het openbaar bestuur onveilige situaties. De bron van fouten is niet goed traceerbaar.
Als laatste worden in Nederland erg veel inlichtingen gewonnen over burgers zonder een duidelijk doel of wettelijke basis, recent nog uiteengezet door professor Bob de Graaff. Er zijn veel gewoonten en convenanten om persoonsgegevens te verzamelen waarop algoritmes worden toegepast. Dat is vragen om nieuwe problemen. We moeten veel kritischer grenzen stellen aan gegevensuitwisseling.”
Dit artikel is onderdeel van een artikel in iBestuur Magazine #48 van oktober 2023
