Nieuwe standaard moet discriminatie door algoritmes voorkomen

Stel, je werkt bij een gemeente en je overweegt een algoritme te ontwikkelen dat onderscheid maakt tussen groepen inwoners. De uitkomst van dit ­zogeheten profileringsalgoritme heeft ­grote invloed op het leven van sommige inwoners, dus er staat veel op het spel.

Je bent er natuurlijk niet op uit om te ­discrimineren, maar hoe zorg je dat het ook echt niet gebeurt? Ruth Koole, adviseur algoritmes en AI bij het Rijks ICT ­Gilde, onderdeel van het ministerie van BZK, benadrukt: ‘Keuzes onderliggend aan een profileringsalgoritme lijken soms neutraal, maar kunnen indirect toch leiden tot onderscheid.’ Dat wil je dus voorkomen.

Behoeden voor discriminatie-effecten

Als antwoord op dit vraagstuk is in ­juli de Nederlandse Technische ­Afspraak voor profileringsalgoritmes (NTA) gepubliceerd, een hulpmiddel voor de ontwikkelaars en beheerders van profileringsalgoritmes van overheidsorganisaties. In de NTA zijn ontwikkel- en toetsingsmethoden uitgewerkt die gebruikers voor discriminatie-effecten moeten behoeden. De vrijblijvende standaard geeft overheidsorganisaties een overzicht van de maat­regelen die ze zouden moeten nemen en de zaken die ze zouden moeten controleren voordat ze een algoritme introduceren. Ook als een algoritme al in gebruik is, kan de NTA worden ingezet om te onderzoeken of het non-discriminatiebeginsel wordt nageleefd.

Koen Leurs, specialist op het gebied van migratie en digitalisering aan de Universiteit Utrecht (UU) en niet betrokken bij de totstandkoming van de NTA, is overtuigd van de meerwaarde van deze standaard. ‘In onze ervaring komen veel overheids­organisaties snel tot de conclusie dat hun systeem geen AI is, maar “gewoon een ­algoritme of een geautomatiseerd proces”. De NTA is heel waardevol voor dat frame, omdat het een mechanisme geeft voor ­verantwoording, zowel voor de ontwikkeling als voor het gebruik en de beleids­keuzes eromheen.’

Ongelijkheid tussen statushouders vergroten

Binnenlands Bestuur neemt de proef op de som en vraagt Leurs en promovendus Kinan Alajak, ook van de UU, om de NTA te bestuderen aan de hand van een algoritme waarover ze zich eerder kritisch hebben uitgelaten: GeoMatch. Deze AI-tool van het Centraal Orgaan opvang asielzoekers (COA) geeft aan in welke regio statushouders waarschijnlijk een grote kans hebben op werk. De medewerkers van het COA kunnen die uitkomst meenemen in hun advies aan degene die bepaalt waar statushouders worden geplaatst. Voor de technisch meer onderlegde lezers: GeoMatch is een zogeheten decision tree machine learning algoritm, niet het soort algoritme waarvoor de NTA is ontwikkeld, maar de stappen van de NTA zijn wel toepasbaar. En wat blijkt? Leurs en Alajak ­komen al snel verbeterpunten tegen.

Alajak en Leurs stellen daarnaast dat het algoritme werkt op een manier die ongelijkheid tussen statushouders én tussen ­gemeenten vergroot. ‘Je zou denken dat een profileringsalgoritme voor werk is ­gebaseerd op de vaardigheden en werk­ervaring die statushouders hebben’, legt Alajak uit. ‘Die data zijn echter niet beschikbaar en daarom draait de profilering om gevoelige data als gender, leeftijd, taal, ­afkomst en etniciteit. Het algoritme werkt zo dat het statushouders vergelijkt met denkbeeldige anderen met meer potentieel, die later in het kalenderjaar een status krijgen.’

Volgens de onderzoekers adviseert het ­algoritme om minder ‘kansrijke’ statushouders naar minder ‘kansrijke’ plekken te sturen. Het COA kan zich niet vinden in deze conclusie en stelt dat GeoMatch slechts ter ondersteuning werkt van het huidige proces. ‘De expertise en ervaring van COA-medewerkers gaat daarom altijd voor’, stelt een woordvoerder van het ­opvangorgaan (zie ook het kader).

Algoritmes rechtvaardiger maken

Resumerend: er is een pilot met een algoritme waar kritiek op is, en een technisch-juridisch document van ­bijna vijftig pagina’s, exclusief bijlagen. Hoe maakt dit document het algoritme, en daarmee de wereld, rechtvaardiger? Wat zou er gebeuren als het COA GeoMatch langs de NTA legt? Op welk punt is het ­algoritme dan aan een herziening toe? ‘Al heel snel’, concludeert Alajak. ‘Eigenlijk al op het punt waarop de NTA aangeeft dat je eerst het doeleinde van het beoogde ­systeem moet vaststellen en moet afwegen of een profileringsalgoritme dat doel überhaupt kan bereiken. Het doel van Geo­Match is niet helder. Gaat het hier om het matchen van gemeenten aan statushouders? Het vinden van beter werk voor ­statushouders? Besparen op bijstands­kosten? Dat maakt nogal uit.’

Vervolgens stelt de NTA dat je alternatieve instrumenten voor een profileringsalgoritme moet afwegen. Die alternatieven moeten worden vergeleken met het profileringsalgoritme op basis van de ­verwachte prestaties, de mate van ­onderscheid en ­impact op betrokkenen. Ook moet het profileringsalgoritme ­worden vergeleken met een aselecte wijze van selecteren.

‘Dit is een belangrijke stap, die we niet hebben zien langskomen in het proces’, zegt Alajak. ‘Alternatieven voor GeoMatch ­waren er niet.’

Doel voor ogen

De overheidsorganisatie moet heel duidelijk voor ogen hebben aan welk doel het algoritme bijdraagt. De NTA hamert daarom op het definiëren en onderbouwen van een doelvariabele. Deze variabele voorspelt een fenomeen, bijvoorbeeld: de regio waar een ­statushouder de hoogste kans heeft op ­geschikt werk. In de NTA staat hierover het volgende: ‘Beoordeel of het aannemelijk is dat er een significant statistisch verband bestaat tussen het te voorspellen fenomeen en ­relevante discriminatiegronden. Als dit aannemelijk is, is een bijzonder zorgvuldige verantwoording vereist. Maak een inschatting van de omvang van dit verband.’

‘Zelfs als je dit allemaal voor elkaar hebt, dan is het belangrijkste toch nog steeds dat er een juridische basis bestaat voor de variabelen die je laat meewegen’, stelt Alajak. Het gebruik van variabelen zoals gender, afkomst en etniciteit leidt tot een direct onderscheid. Dat mag niet, tenzij er een wettelijke uitzondering bestaat voor jouw toepassing. De NTA focust op indirect ­onderscheid; het gebruik van variabelen die neutraal lijken maar die toch leiden tot ­onderscheid tussen groepen. Ook dat is verboden, tenzij er zwaarwegende redenen zijn om dit toch te doen. Er moet een ­objectieve rechtvaardiging zijn voor het te maken onderscheid.

Stappenplan

Mocht jouw algoritme alleen nog in je hoofd bestaan, dan is nu het moment om de NTA erbij te pakken en het als een stappenplan te benutten. Duurt lang? Dat is nog niets in vergelijking met de tijd, het geld en de energie die gaan zitten in het repareren van de gevolgen van een ­profileringsalgoritme dat de mist in gaat.

Dit is een ingekorte versie. De volledige versie van het artikel is te vinden in Binnenlands Bestuur nummer 13.