‘Algoritmes bij de overheid zouden zo transparant mogelijk dienen te zijn’, schrijft minister van rechtsbescherming Sander Dekker op 8 oktober in een Kamerbrief. Maar is transparantie altijd de beste optie? Remco Boersma, projectleider Big Data Living Lab bij het ministerie van Justitie en Veiligheid (JenV) legt uit waarom het ene algoritme het andere niet is.
De brief van Dekker was een toezegging op het Algemeen Overleg in de Tweede Kamer over big data en bescherming van persoonsgegevens. Naar aanleiding van datzelfde debat verzocht D66-Kamerlid Kees Verhoeven eerder dit jaar in een motie de regering om ‘na te streven dat de werking en de broncode van algoritmen en analysemethoden die een aanmerkelijke impact op burgers hebben openbaar zijn, inclusief informatie over gebruikte databestanden’. Nu algoritmes steeds meer worden toegepast en meehelpen met beslissingsprocessen is dat geen vreemd verzoek. Ook bij JenV, een ministerie dat dicht op het leven van burgers staat, worden algoritmes al jarenlang gebruikt.
Remco Boersma onderzoekt in het Big Data Living Lab hoe algoritmes succesvol kunnen worden ingezet door zijn ministerie. “Er wordt vaak enkel gesproken over de risico’s. Bij trajectcontroles bijvoorbeeld, waar fietsendragers op auto’s worden geregistreerd als aanhanger waardoor onterecht een boete volgt. Dit soort uitzonderingen krijgen veel aandacht. Je kunt echter ook stellen: de negen miljoen snelheidsboetes die per jaar worden gegeven, worden door een algoritme automatisch en bijzonder nauwkeurig uitgevoerd. Als we dat allemaal handmatig zouden doen, zou de kans op onterechte boetes een veelvoud zijn van het huidige aantal. In het verleden lag de foutkans van verkeersboetes rond de twee, drie procent. Bij de automatische beslissingen rond aanhangers zijn dat twee- tot driehonderd fouten per jaar. Kortom, beslissingen overlaten aan mensen resulteert eveneens in fouten. Maar dat lijkt makkelijker te accepteren dan fouten gemaakt door techniek. Terwijl je door techniek slim in te zetten tot betere resultaten kunt komen.”
Het bepalen en incasseren van een snelheidsovertreding mag dan volledig geautomatiseerd zijn, dat geldt uiteraard niet bij alle algoritmes die JenV gebruikt; dat is afhankelijk van of er sprake is van aanmerkelijk belang. Dat mensen een beetje onrustig worden van het idee van volledig geautomatiseerde algoritmes in handen van de overheid, kan Boersma begrijpen. “Als er geen sprake is van menselijke tussenkomst en er ontstaat een fout, moet je wel nog in staat zijn om die te corrigeren. Bij veel applicaties is het momenteel niet mogelijk om de fout historisch te wijzigen: eenmaal gemaakt kan de registratie niet met terugwerkende kracht worden gecorrigeerd. Het risico is dat deze foute registraties mee worden genomen in de data-analyse, met nadelige gevolgen voor de betrokkene. Daar ligt een belangrijk aandachtspunt.”
Inhoudelijke afweging
Bij JenV wordt daarom sterk onderscheid gemaakt tussen verschillende typen algoritmes en de manier waarop ze worden ingezet. Eenvoudige beslisbomen voor bijvoorbeeld het overtreden van verkeersregels zijn direct te herleiden uit de wettelijke bepalingen en kunnen daardoor gemakkelijk geautomatiseerd worden. Dit soort automatische besluitvorming wordt volgens Boersma daarom al breed ‘geaccepteerd’. Daarnaast bestaan er rule-based systemen, die gebruikt worden om bijvoorbeeld een risicotaxatie voor een verblijfsaanvraag te maken. Op basis van data en vooraf opgestelde en inzichtelijke regels, wordt een risicotaxatie meegegeven. Hierin is altijd een medewerker betrokken die de inhoudelijke afweging maakt. Daarbij is het van belang dat medewerkers ook tegen een besluit in kunnen gaan. Boersma: “Een voorbeeld: een collega sprak met een wijkagent die meeliep met een deurwaarder voor een uitzetting uit een bedrijfspand. Het besluit was gemaakt op basis van de data in het systeem. De wijkagent kende de persoon en de context goed, en gaf in deze situatie aan dat twee weken extra tijd een verstandige keuze zou zijn, waarop gezamenlijk werd besloten nog niet over te gaan tot uitzetting. Als de reactie zou zijn ‘system says no’, dan zijn we dit soort flexibiliteit kwijt.”
Transparantie is geen doel op zichzelf, maar een middel
Tot zover ging het om inzichtelijke regels, maar JenV en andere overheidsdiensten gebruiken ook algoritmes die om verscheidene redenen niet transparant zijn. Deze multiple lineaire en logistische regressies en deep learning-modellen worden door de overheid voor specifieke taken ingezet om grote hoeveelheden data om te zetten in inzichten. Wat er precies in zo’n model gebeurt is niet altijd duidelijk; welke aannames er worden gemaakt, en hoe of welke data verwerkt worden bijvoorbeeld. Het wordt zo een stuk lastiger om te achterhalen welke variabelen de beslissing of het advies bepalen, waardoor de vrees voor discriminerende algoritmes ontstaat.
De zorg voor niet-transparante algoritmes is begrijpelijk vindt Boersma. Hij benadrukt dat de afweging van belang ligt bij hoe deze worden ingezet; alleen beschrijvend en diagnostisch ondersteunend of ook voorspellend en beslissend. “De transparantie van dit soort algoritmes is laag, de complexiteit juist hoog.” Uitlegbaarheid door technische transparantie is daarom een lastige zaak, volgens Boersma. “Enerzijds omdat maar weinigen de technische algoritmes kunnen doorgronden, anderzijds omdat als deze met gevoelige gegevens werken, die niet gedeeld mogen worden.” Hij geeft een voorbeeld van een deep learning-model dat door het Nederlands Forensisch Instituut wordt gebruikt dat vliegensvlug in de telefoon van een opgepakte crimineel automatisch verdachte voorwerpen op foto’s herkent en categoriseert. “Dit helpt de rechercheur om sneller zijn werk doen. Het technisch openbaar maken van dit soort algoritmes geeft niet het gevraagde inzicht. Uitleggen hoe zulke modellen werken, wat ze wel en niet kunnen en mogen doen en hoe ze worden ingezet en met welk doel geeft dan meer inzicht.”
Niet overhaast
Een vorm van ondersteunend gebruik zijn de deep learning-modellen voor het classificeren van röntgenfoto’s zoals een arts die tegenwoordig gebruikt. Volgens Boersma gaat door juist gebruik van algoritmes, samen met de inzet van de specialist, de accuratesse omhoog. Dat levert voor professionals tijdswinst en meer kwaliteit op. Uitlegbaarheid van een niet-transparant algoritme kan in sommige gevallen dus meer inzicht geven dan enkel de broncode op zichzelf. Maar wat als dit soort modellen steeds slimmer worden, de diagnostische en ondersteunende fase overslaan en direct aan het beslissen gaan? Precies daar ligt volgens Boersma deels de algoritmeangst. “Automatische beeldherkenning kan bijvoorbeeld ook ingezet worden om realtime via CCTV ‘verdachte mensen’ te identificeren om daar vervolgens direct agenten op af te sturen. Dat moet niet gebeuren. We moeten ervoor waken dat we overhaast nieuwe systemen implementeren wanneer ze vergaande impact hebben. We moeten de implementatie van algoritmes als een natuurlijk leerproces benaderen, met controle van verschillende partijen. Op basis van de foutmarges van het algoritme kunnen we dan bepalen wat acceptabel is en wat niet.”
Vooralsnog blijft de mogelijkheid van niet-transparante algoritmes die discrimineren bestaan. “Daarom moeten we ervoor zorgen dat de datakwaliteit zo hoog en eerlijk mogelijk is”, stelt Boersma. “Data uit het verleden kunnen bevooroordeeld zijn en daardoor zelfversterkend werken. De Nederlandse Voedsel- en Waren Autoriteit constateerde dat bepaalde restaurants vaker werden gecontroleerd, waardoor er ook vaker overtredingen werden geconstateerd. In een proef lieten ze het aan een algoritme over om te bepalen waar inspectie moest plaatsvinden. Zo kwamen ze erachter dat naast de risicogroep ook controlegroepen en random steekproeven noodzakelijk zijn om de bias in een systeem te voorkomen.”
Dat transparantie hoog op de agenda staat bij JenV is duidelijk. Maar volledige technische transparantie is volgens Boersma niet altijd mogelijk en neemt de algoritmeangst vaak ook niet weg. Dat geluid klinkt ook uit Dekkers reactie, waarin hij stelt dat ‘het van belang is te beseffen dat transparantie geen doel op zichzelf is, maar een middel’. Transparantie dus waar het kan en waar het zou kunnen bijdragen aan het vertrouwen in het juist gebruiken van algoritmes door de overheid. Maar vooral de uitlegbaarheid, de inzet van een algoritme en de mogelijkheden om zich tegen een foutieve uitkomst van het algoritme te verweren en die te laten corrigeren, dat is waar het uiteindelijk om gaat.
Deze bijdrage is te vinden in iBestuur magazine 29
