Algoritmes zijn eng, maar alles is minder eng met het licht aan. Zet algoritmes dus in de schijnwerpers. En licht is niet genoeg voor doorschijnendheid: een algoritme is pas transparant als het ook begrijpelijk is, voor iedereen. Net zoals controle pas democratisch is als iedereen mee kan kijken.
Algoritmes zijn eng, maar alles is minder eng met het licht aan. Zet ze in een register: documenteer de ontwikkeling, verantwoord afwegingen en leg uit waarom er wat gebeurt.
Algoritmes beginnen een belabberde reputatie te krijgen. Al jaren maken we ons druk om de algoritmes die ons voorzien van entertainment, nieuws en vriendschappen, zoals die van YouTube (maken je verslaafd aan kattenfilmpjes of complottheorieën) en Facebook (hielpen Trump in het zadel). De laatste tijd moeten de techreuzen de verontwaardiging echter delen met een andere speler: de overheid. Net als de algoritmes uit Silicon Valley, blijken de overheidsalgoritmes die in toenemende mate in Nederland worden ingezet een black box te zijn, met even onethische uitkomsten. Het verschil met big tech: de overheid is burgers verantwoording verschuldigd. Maar op algoritmes die in het donker opereren kan geen democratische controle plaatsvinden.
Aan algoritmische besluitvorming kleven verschillende ethische risico’s. Denk aan massasurveillance, grootschalige dataverwerking, onterechte verdenkingen en discriminatie. Zo werd het Systeem Risico Indicatie (SyRI) verboden vanwege privacy schendingen en omdat het algoritme burgers ‘bij voorbaat verdacht’ maakte van uitkeringsfraude. Het systeem richtte zich vooral op arme wijken en kon daarom indirecte discriminatie van bepaalde bevolkingsgroepen tot gevolg hebben. Waarschijnlijk was het algoritme ‘getraind’ op bevooroordeelde data van inspecteurs uit het verleden. Niet alleen de ingevoerde data, maar ook het algoritmisch model zelf kan discriminerend zijn. De toeslagenaffaire werd mede mogelijk gemaakt door een algoritme dat een risicoscore verbond aan een niet-Nederlandse nationaliteit: directe discriminatie.
Ook andere strafbare activiteiten worden opgespoord met wiskundige modellen. In Roermond werd het Sensing-project uitgevoerd ter bestrijding van diefstal. Via camerabeelden en zelfs hartslagsensoren werden gigantische hoeveelheden data verzameld: massasurveillance. Het algoritme markeerde op basis van die data bepaalde auto’s als ‘verdacht’, bijvoorbeeld die met een Oost-Europees nummerbord. Dit leverde geautomatiseerde ethische profilering op. En algoritmes worden niet alleen als opsporingsinstrument gebruikt, maar ook bijvoorbeeld om te beslissen of iemand een subsidie of huis toegewezen krijgt. De Leefbarometer kent een score toe aan Nederlandse buurten, die gemeenten kunnen gebruiken om werklozen of strafblad-dragers een huis te weigeren, ter bescherming van de leefbaarheid van de buurt.
De impact van alle genoemde algoritmes is groot: burgers worden als fraudeur aangemerkt of aangehouden door de politie en verliezen hun toeslag of kans op een dak boven hun hoofd. Soms is de uitkomst wenselijk: we willen immers dat boeven gevangen worden en dat uitkeringen belanden bij mensen die er recht op hebben. Zo kunnen algoritmes zorgen voor veiligheid en eerlijke verdeling van middelen. Daarom moeten we wel open staan voor algoritmes. Uiteindelijk kunnen we met algoritmes menselijke vooroordelen overstijgen, omdat algoritmes dankzij hun oneindige rekencapaciteit niet gedwongen zijn om te categoriseren en discrimineren (zoals wij mensen). Zo kan een algoritme juist eerlijke kansen creëren. Neem het algoritme van Stanford’s Immigration Policy Lab, dat in de VS en Zwitserland heeft gezorgd voor veertig tot zeventig procent meer banen voor vluchtelingen. Het algoritme berekent waar iemand de meeste kans heeft om te settelen, door diens ervaringen en persoonlijkheid te matchen aan het karakter van een plaats en de huidige arbeidsbehoefte. Dit doet het op basis van veel complexe, historische informatie, die door een menselijke beoordelaar nooit overzien kan worden.
Desalniettemin zullen algoritmes altijd gepaard gaan met risico’s op ongelijke uitkomsten. Daarnaast leeft ieder algoritme op data, heel veel data. Bij algoritmische besluitvorming zijn dus onvermijdelijk mensenrechten in de mix, zoals het recht op een eerlijke behandeling en het recht op privacy en gegevensbescherming. Er is maar één manier om te verzekeren dat die rechten gerespecteerd worden: transparantie. Daarmee wordt meteen voorzien in een ander fundamenteel en democratisch recht, namelijk het recht op informatie.
Voor alle mensenrechten geldt dat een potentiële inbreuk in ‘redelijke verhouding’ moet staan tot het gediende maatschappelijk belang. Daarom moeten een aantal vragen gesteld worden: Is het algoritme geschikt om het doel te bereiken; worden er echt meer fraudeurs opgepakt? Zo ja, Hoe groot is de impact op de (rechten van) burgers? De risico’s moeten vervolgens afgewogen worden tegen de voordelen: is het proportioneel? Tot slot moet het algoritme met voldoende waarborgen omkleed zijn: hoe zit het met toezicht en bezwaarmogelijkheden, en wie is verantwoordelijk? Op al die vragen kan pas antwoord gegeven worden als er openheid is over de aard, werking en het doel van een algoritme. Die informatie is nodig om inbreuken op privacy af te wegen tegen de voordelen. Op discriminatie geldt een absoluut verbod, maar zonder inzicht in de gehanteerde variabelen, kan discriminatie niet geconstateerd worden.
Het belang van transparantie werd duidelijk in de SyRI-rechtszaak. De overheid wilde niets loslaten over de werking van het algoritme, de gebruikte data en de risico-indicatoren, omdat fraudeurs er dan op kunnen inspelen. De rechter moest daarom oordelen dat de SyRI-wet in strijd was met mensenrechten: privacy schending en discriminatie viel niet uit te sluiten. Nog steeds is dit gebrek aan transparantie een probleem, stelt de Rekenkamer Rotterdam nu in een rapport. Overzicht van de algoritmes en hun aard ontbreekt, waardoor onduidelijk is welke ethische risico’s er spelen en welke maatregelen genomen moeten worden om die te beheersen. Dit baseert de rekenkamer onder andere op een case study van wederom een uitkeringsfraude-project; Rotterdam heeft dus geen lering getrokken uit SyRI. Omdat de verantwoordelijkheid voor het algoritme niet goed is vastgelegd, ontbreekt aandacht voor transparantie en eerlijkheid. Het valt niet te controleren welke (ethische) afwegingen zijn gemaakt bij de ontwikkeling van het algoritme en voor burgers is vaak onduidelijk waarop een uitnodiging tot heronderzoek gebaseerd is. Het is helder dat het hoog tijd is voor een algoritmeregister.
De Algemene Rekenkamer concludeerde kortgeleden dat de burger te weinig centraal staat. Overheidsalgoritmes zijn in theorie geen black box, in de zin dat het mogelijk is om ze te analyseren en dat er impact assessments, privacy statements en verwerkingsregisters beschikbaar zijn. Echter, die zijn niet toegankelijk en begrijpelijk voor leken. Het volstaat niet om te voldoen aan de eisen die de AVG stelt aan transparantie over gegevensverwerking. Burgers moeten ook weten wanneer, waarom en hoe algoritmes ingezet worden, welke risico’s eraan kleven, welke gevolgen het voor ze kan hebben, wie er verantwoordelijk is en waar ze terecht kunnen met vragen en klachten.
Algoritmes zijn eng, maar alles is minder eng met het licht aan. Zet algoritmes dus in de schijnwerpers. Niet achteraf in de media via een rechtszaak, rapporten van controlerende organen of een politiek schandaal met duizenden gedupeerden. Vanaf het begin, in een register: documenteer de ontwikkeling, verantwoord afwegingen en leg uit waarom er wat gebeurt. En licht is niet genoeg voor doorschijnendheid: een algoritme is pas transparant als het ook begrijpelijk is, voor iedereen. Net zoals controle pas democratisch is als iedereen mee kan kijken.
Bo Hijstek is stagiaire bij de Open State Foundation
