Amnesty International: stop met risicoprofilering
Amnesty International wil dat het gebruik van risicoprofileringsalgoritmen door overheden wordt verboden. In afwachting van de invoering van een verbod, moeten overheidsorganisaties nu al stoppen met het gebruik van deze systemen, stelt de mensenrechtenorganisatie.
We kennen allemaal wel voorbeelden van de verkeerde inzet van risicoprofileringsalgoritmes: het Toeslagenschandaal, het fraude-onderzoek van DUO, in een iets verder verleden SyRI. Maar kennen we ook voorbeelden van succesverhalen? Er bestaat opvallend weinig gepubliceerd bewijs van de effectiviteit van risicoprofileringsalgoritmes in de praktijk, schrijft Amnesty International. Dit roept de vraag op of risicoprofilering ooit op een veilige manier kan worden ingezet op een manier die veel impact heeft op inwoners. Wat de mensenrechtenorganisatie betreft is het antwoord duidelijk: dat kan niet.
Risicoprofilering is het voorspellen of inschatten dat iemand een regel zal overtreden, gebaseerd op de mate waarin die persoon ‘lijkt’ op personen die in het verleden dergelijke overtredingen hebben begaan. Doe je het verkeerd, dan ben je al snel aan het discrimineren, bijvoorbeeld op grond van ras en etniciteit, geslacht, socio-economische status of handicap. Daarmee overtreed je als overheidsorganisatie de grondwet.
'Pseudowetenschap'
Onderzoekers van Amnesty International onderzochten wetenschappelijke literatuur over de impact van risicoprofilering. Ook bogen ze zich over technische en beleidsmatige oplossingen voor de problemen die de verkeerde inzet van risicoprofileringsalgoritmes kunnen veroorzaken. Ze komen tot de volgende conclusie: in de wetenschap zijn er strikte methoden om te voorkomen dat resultaten onbetrouwbaar zijn, maar die ontbreken bij risicprofilering, zowel in de private sector als binnen overheidsdiensten. ‘Dit ondermijnt de validiteit, robuustheid en betrouwbaarheid van risicoprofilering’ schrijven de onderzoekers van Amnesty International. Veel vooraanstaande AI-onderzoekers beschrijven het daarom als ‘pseudowetenschap’.
Overheden gebruiken vaak bestaande data om voorspellende modellen te trainen, in plaats van nieuwe, zoals in de wetenschap de standaard is. Maar zelfs als ze ‘foutloze’ data gebruiken, wordt een risicoprofileringsalgoritme nog niet ‘neutraal’, schrijven de onderzoekers. Dat komt onder meer omdat data uit het verleden gekleurd is: de aandacht gaat uit naar groepen die historisch gezien zijn onderdrukt.
‘Risicoprofilering verhult daarmee impliciete normen en bestaande ongelijkheden en leidt naar alle waarschijnlijkheid tot het in stand houden en versterken van stereotypen’
Uit het rapport
‘Risicoprofilering verhult daarmee impliciete normen en bestaande ongelijkheden en leidt naar alle waarschijnlijkheid tot het in stand houden en versterken van stereotypen’, aldus het rapport. Ook de vraag wáár je een systeem voor bouwt, houdt bepaalde normen en vooroordelen in stand. Richt je je als overheid met je voorspelling op socialezekerheidsfraude of op witteboordencriminaliteit?
Fraude is extreem lastig te voorspellen
Het is extreem lastig om te voorspellen of iemand bijvoorbeeld socialezekerheidsfraude zal plegen. De gegevens die nodig zijn om deze voorspellingen met voldoende nauwkeurigheid en objectiviteit te doen, bestaan niet en zullen nooit bestaan, benadrukken de onderzoekers van Amnesty International. Daarom wordt gebruikgemaakt van proxy-indicatoren, aanwijzingen die niet direct iets zeggen, maar waaruit een voorspelling wordt afgeleid. Dat iemand in het verleden bijvoorbeeld een onopzettelijke fout gemaakt in een aanvraag, is dan bijvoorbeeld een aanwijzing dat die persoon eerder een frauduleuze aanvraag zal doen.
Uit het rapport: ‘Daardoor is de wetenschappelijke validiteit van risicoprofileringsmodellen fundamenteel zwak of zelfs onbestaande, met potentieel desastreuze gevolgen voor de betrokken personen.’ Of de systemen datagedreven zijn (machine learning) of op regels gebaseerd, maakt uiteindelijk weinig uit.
Essentiële methodes waarmee wetenschappers hun onderzoek onderbouwen, ontbreken bij risicoprofilering door overheden. Het resultaat is dat het misschien overtuigend oogt, maar niet robuust is. Bovendien kunnen bepaalde voorspellingen van menselijk gedrag gewoon niet door machine learning kunnen worden gemaakt. Het maakt niet uit hoeveel data je verzamelt, een AI-systeem kan niet met zekerheid de mate van criminaliteit, de levensloop of socialezekerheidsfraude van een individu voorspellen.
‘Het beschouwen van correlatie als inherent voorspellend en het vermijden van theoretische onderbouwing en causaliteit waren kenmerkende praktijken van eugenetica en wetenschappelijk racisme.’
Uit het rapport
Overeenkomsten met eugenetica
Uit allerlei casestudy’s blijkt dat risicoprofileringssystemen vaak mensen aanwijzen als een ‘risico’ die al vaker discriminatie of marginalisatie ervaren. De mensenrechtenorganisatie trekt zelfs een vergelijking met de eugenetica, eveneens een pseudowetenschap, naar het verbeteren van de genetische samenstelling van een populatie.
‘Het beschouwen van correlatie als inherent voorspellend en het vermijden van theoretische onderbouwing en causaliteit waren kenmerkende praktijken van eugenetica en wetenschappelijk racisme. Daardoor verdoezelden zij bewust hun racistische ideeën en presenteerden zij cijfers als zijnde vrij van politieke waarden. Het is verontrustend dat dergelijke methoden om mensen te beoordelen en te rangschikken opnieuw hun intrede hebben gedaan op het beleidstoneel, zij het onder andere verklaarde ambities: om individuen te selecteren voor handhaving en controle.’
Plaats een reactie
U moet ingelogd zijn om een reactie te kunnen plaatsen.