Mensen hebben recht op betekenisvolle menselijke tussenkomst bij algoritmische besluitvorming – dat klinkt redelijk, maar wat betekent het in de drukke (decentrale) overheidspraktijk? Onlangs vroeg de Autoriteit Persoonsgegevens (AP) belanghebbenden en geïnteresseerden om daarover mee te denken via een publieke consultatie.
Handvatten
De input uit de consultatie is geanonimiseerd verwerkt in de publicatie handvatten voor betekenisvolle menselijke tussenkomst bij algoritmische besluitvorming. Er is ook een samenvatting gemaakt van de reacties op de consultatie.
Zorgvuldig besluit
De Algemene verordening gegevensbescherming (AVG) bevat regels voor de inzet van automatisering bij besluitvorming. Je mag bijvoorbeeld niet zomaar door sollicitatie-software laten besluiten wie er een baan krijgt. Om te garanderen dat een besluit zorgvuldig tot stand komt en om te voorkomen dat er mensen worden uitgesloten of gediscrimineerd door de uitkomst van een algoritme, moet er een mens in the loop zijn. Die menselijke tussenkomst mag zich niet beperken tot een symbolische klik op ‘keur goed’; de mens moet betekenisvol bijdragen aan de besluitvorming.
Proces inrichten
Hoe doe je dat dan? Dat vragen veel organisaties zich af. Daarom heeft de AP de handvatten ontwikkeld. Het lijvige document helpt organisaties op weg bij de inrichting van het proces van menselijke tussenkomst. In de publicatie staan voorbeelden en vragen over de factoren mens, technologie en ontwerp, proces, en governance.
Voorbeeld: Als een onderdeel van je baan bestaat uit het dagelijks beoordelen van besluiten van een algoritme, ligt routinematigheid op de loer. Dit zijn een aantal vragen die een organisatie zich daarom bij de inrichting van een dergelijk proces moet stellen:
- Is er in het ontwerp van het algoritme nagedacht over het voorkomen van routinematigheid bij beoordelaars? Hoe wordt de uitkomst voorgelegd?
- Zijn er controlevragen?
- Worden data of de output in een verschillende volgorde gepresenteerd? Of varieert de volgorde waarop een deelbesluit wordt genomen?
- Komen alle resultaten die beoordelaars te zien krijgen uit het algoritme?
- Moeten beoordelaars besluiten vaak handmatig maken?
- Worden beoordelaars alert gehouden?
- Wordt er op fouten gecontroleerd?
Nieuwe vragen
Zijn we er met deze handvatten? Nee, er staan nog wel meer begrippen in de publicatie waarover je een lang en filosofisch debat kunt houden, zoals ‘wanneer is de uitkomst van het proces een besluit?’ Of ‘wanneer treft een besluit iemand ‘in aanmerkelijke mate’? Ook praktisch gezien roept het document nieuwe vragen op, zoals welke informatie een betrokkene over het geautomatiseerde besluit moet krijgen. Met dergelijke vragen gaat de AP dit jaar aan de slag.
Lees ook:
Citaat;
“Wanneer een proces niet goed is ingericht, een algoritme niet zorgvuldig werkt of op verkeerde aannames is gebaseerd, moet de beoordelaar – als laatste controle op het besluit – daarvoor niet alle verantwoordelijkheid dragen. Met andere woorden: een verantwoordelijke kan een beoordelaar niet inzetten om een onbehoorlijk proces te legitimeren.”
Net als dat de mogelijkheid van bezwaar geen compensatie is voor onzorgvuldige besluitvorming.
Zorgvuldigheid is een verplichting die volgt uit de wet (Awb art 3:2, een van de Algemene beginselen van behoorlijk bestuur). Die verplichting belast het bestuursorgaan met een juiste (proces)inrichting voor de uitvoering van de wettelijke taak en de daarbij geldende wettelijke verplichtingen.
Overigens is het (ook) onbehoorlijk om de zorgvuldigheid (of het herstel daarvan) op belanghebbende af te wentelen, zeker als de onjuiste informatie niet door belanghebbende is verstrekt of geregistreerd.