Vorige week werden eisers in de rechtszaak tegen SyRI, het frauderisico indicatiesysteem van het ministerie van SZW, op de belangrijkste punten in het gelijk gesteld: de toepassing van SyRI is strijdig met het recht op eerbiediging van het privéleven, als neergelegd in artikel 8 van het Europese Verdrag voor de Rechten van de Mens. De uitspraak geeft ook stof tot nadenken over meer dan alleen privacy-overwegingen.
Volgens de rechtbank is er sprake van een disbalans in de publieke waarden die gemoeid zijn met SyRI. ‘Er is geen sprake van een redelijke verhouding tussen het maatschappelijke belang van fraudebestrijding en draagvlak voor het sociale stelsel, en de inbreuk op het privéleven’. Beeld: Edward Lich / Pixabay
SyRI (Systeem Risico Indicatie) wordt gebruikt om risico op fraude op het terrein van de sociale zekerheid in te schatten. De huidige vorm van het systeem is ontstaan op basis van aanpassingen aan de eerdere systemen ‘Waterproof’, dat woonfraude opspoorde door middel van waterverbruiksdata, en project ‘Black Box’, dat anonieme koppeling van bestanden mogelijk maakte. Fraude wordt gezien en omschreven als een groot maatschappelijk probleem. Niet alleen omdat het een verspilling is van gemeenschapsgeld, maar ook omdat het draagvlak voor het sociale zekerheidsstelsel wordt geschaad. Daarmee stelt de rechtbank dat het doel van SyRI (fraudeopsporing) legitiem en voldoende zwaarwegend is.
De rechtbank voegt hier echter aan toe dat er sprake is van een disbalans in de publieke waarden die gemoeid zijn met het systeem. Er is geen sprake van een redelijke verhouding tussen het maatschappelijke belang van fraudebestrijding en draagvlak voor het sociale stelsel, en de inbreuk op het privéleven. De uitspraak valt echter in een bekende drogredenering: dat veiligheid en privacy een tegenstelling zijn.
De aangestipte disbalans zorgt er mede voor dat veel van dit soort systemen in nevelen gehuld blijven. Omdat de Staat dusdanig veel gewicht toekent aan het geheimhouden van de modus operandi van het systeem, is niet te achterhalen hoe het precies werkt en kan het niet gecontroleerd worden, ook niet door de rechtbank. Dit gebrek aan inzichtelijkheid en controle kan omschreven worden als een gebrek aan rekenschap.
Rekenschap en algoritmen
SyRI staat in een gebrek aan rekenschap niet alleen. Met de opkomst van nieuwe technieken die door de overheid gebruikt worden, komen er opnieuw vragen bovendrijven over de omgang met dit soort systemen. Voor een gedeelte zijn dit ‘oude’ vraagstukken van rekenschap, maar voor een ander deel werpen de technische karakteristieken van algoritmen nieuwe vragen op over dit fenomeen van ‘algorithmic accountability’.
Rekenschap omtrent algoritmische systemen is belangrijk om bijvoorbeeld discriminatie tegen te gaan. Zeker in projecten waarbij de overheid gebruikt maakt van risicomodellen en profilering, is dit van belang vanwege het risico “dat (onbedoeld) discriminerende effecten optreden”. Dergelijke opmerkingen lezen we vaak in kritische artikelen over digitale systemen. Echter wordt daarbij vaak gemakshalve vergeten dat discriminatie, dat wil zeggen het aanbrengen van verschil tussen veilig en risicovol, juist de bedoeling is van dit soort systemen en dé reden dat ze worden ontwikkeld.
In code verwerkte stereotypen
In het aanbrengen van verschillen leunt een algoritmisch model in de praktijk veel op in code verwerkte stereotypen. Mensen worden als risicovol aangewezen, niet omdat ze dat zijn, maar omdat hun digitale profiel lijkt op dat van bekende overtreders. Dit heeft tot gevolg dat mensen uit historisch gestigmatiseerde groepen, zoals Nederlanders met een migratieachtergrond, een veel hogere kans maken om gepakt te worden voor fraude, dan mensen die tot de norm behoren. In het geval van SyRI wordt dit probleem nog verder versterkt doordat het systeem alleen wordt ingezet in wijken die als “probleemwijk” te boek staan, een zorg die al eerder werd geuit door VN-rapporteur Philip Alston. De vraag die we ons daarom altijd moeten stellen in het geval van geautomatiseerde systemen voor het controleren van overheidsbeleid is of deze geen ongelijkheid tot gevolg hebben. Immers, als we een systeem laten kijken naar de digitale variant van een stereotype kunnen we niet beweren dat discriminatie “onbedoeld” is.
Het doel van de eisers was om een publiek debat aan te jagen over hoe we omgaan met algoritmische systemen in onze maatschappij. Dat debat is zeker op gang gekomen. De uitspraak van de rechtbank maant ons om als samenleving in gesprek te blijven gaan, want het uitbalanceren van publieke waarden is een zaak voor de samenleving als geheel, niet alleen de rechter. Daarnaast onderstreept de uitspraak de noodzaak van rekenschapsmechanismen om algoritmische systemen te kunnen controleren en inspecteren.
Inzichtelijkheid en controle
De veranderingen aan SyRI door de jaren heen zijn vooral gestoeld op privacy-overwegingen. Zo verwerkte Waterproof niet-geanonimiseerde persoonsgegevens, iets wat opgelost werd door Black Box. Black Box had echter geen wettelijke grondslag, iets wat opgelost werd met de wet SUWI, waar SyRI uit voort kwam. Deze uitspraak laat echter zien dat er meer speelt dan alleen privacy; er moet ook inzichtelijkheid en controle zijn. Mocht er ooit een SyRI 2.0 komen, dienen er afdoende rekenschapsmaatregelen in zijn ingebouwd, zodat we ons kunnen verzekeren dat we naar fraude zoeken, niet naar een stereotiep beeld van fraudeurs. Alleen zo kunnen we publieke waarden zoals gelijkheid en eerlijkheid waarborgen in onze digitale samenleving.
Maranke Wierenga,MA is PhD-kandidaat bij het Instituut voor Cultureelwetenschappelijk Onderzoek. Ze onderzoekt algoritmic accountabilility bij lokale overheden. Gerwin van Schie, MA is PhD-kandidaat bij het Instituut voor Cultureelwetenschappelijk Onderzoek. Hij onderzoekt de discriminerende werking van datasystemen van de Nederlandse overheid. Marco van de Vinne, LLB is instructor data ethiek voor de Utrecht Data School. Hij is bezig met de afronding van zijn Master informatierecht aan de Universiteit van Amsterdam
Dit verhaal is eerder geplaatst op de website van de Universiteit Utrecht.
