SyRI heeft met alle negatieve aandacht een nare bijsmaak gekregen, maar toch kleven er niet per se grote risico’s aan.
Het is alweer bijna twee jaar geleden dat een coalitie van maatschappelijke organisaties de Nederlandse Staat voor de rechter daagde vanwege het Systeem Risico Indicatie (SyRI). Recent uitte ook de VN-rapporteur voor de mensenrechten nog zijn zorgen over SyRI.
Het sentiment rondom big data en algoritmes is de laatste tijd behoorlijk omgeslagen. Ondanks de kansen van algoritmes wordt het gebruik daarvan door overheden steeds minder geaccepteerd en ligt een zelfopgelegde algoritmeschaamte op de loer.
In 2013 ging SyRI als hamerstuk door beide Kamers. Vandaag wordt het gebruik van algoritmes bij overheden vaak in één adem genoemd met termen als discriminerend, onethisch of ronduit gevaarlijk. Het leidt tot een vertrouwensbreuk tussen burgers en overheid waar – zoals onlangs bleek – zelfs de wetenschappelijke modellen van het RIVM niet meer worden vertrouwd omdat we het niet eens zijn met uitkomsten.
Negatieve berichtgeving en opstandige burgers voeden de argwaan tegen het gebruik van algoritmes door overheden. Zo werd afgelopen zomer in de gemeente Rotterdam onder druk van bewoners een project stopgezet waar SyRI werd gebruikt om fraude op te sporen. Eerder berichtte de NOS al over het gevaar van het gebruik van algoritmes bij overheidsorganisaties. Paradoxaal genoeg stijgt ons wantrouwen evenredig aan het vertrouwen in algoritmes. In ons dagelijks leven laten we ons steeds meer leiden door technologie, maar we kijken met argusogen naar overheden die diezelfde technologie gebruiken bij de uitvoering van publieke taken.
SyRI gaat over risicoprofilering en dat heeft met alle negatieve aandacht een nare bijsmaak gekregen. Toch kleven er niet per se grote risico’s aan. Sterker nog, er zijn zelfs zeer goede argumenten waarom overheden juist meer moeten inzetten op profilering. Juridische en ethische afwegingen moeten daarbij altijd gemaakt worden, maar wel in de juiste context. Waar vroeger een inspecteur het aantal tandenborstels kwam tellen om fraude op te sporen, kan dat nu digitaal met bijvoorbeeld het waterverbruik. In beide gevallen zijn het slechts indicatoren, niet te verwarren met bewijs, en wordt er niet direct gehandhaafd. Een besluit daartoe moet te allen tijden kunnen worden uitgelegd en gemotiveerd. Overigens helpt het in de beeldvorming bij SyRI dan ook niet dat de voorloper daarvan de naam ‘Black Box’ had.
De maatschappelijk zorgen hebben inmiddels ook de politiek bereikt. Voor ingrijpende algoritmes is recent een motie aangenomen die een meldplicht en een waakhond voor algoritmes verplicht moet stellen. Zo’n meldplicht klinkt nobel vanuit de ambitie om als overheid grip te houden op algoritmes. De vraag is wel welk probleem hiermee wordt opgelost. Wat wordt bijvoorbeeld verstaan onder ‘ingrijpend’, en op basis waarvan wordt het algoritme vervolgens beoordeeld (anders dan de Autoriteit Persoonsgegevens dat nu doet)?
Op 29 oktober zal dan eindelijk de zitting plaatsvinden in de zaak tegen SyRI. Een belangrijke zaak omdat het meer duidelijkheid zal scheppen in wat mag en wat niet mag bij het gebruik van algoritmes. Daarmee wordt hopelijk de basis gelegd voor een goede inhoudelijke discussie over hoe we de kansen van algoritmes breed kunnen benutten, binnen de bestaande kaders van wet- en regelgeving en rekening houdend met ethische bezwaren en dilemma’s.
Christian Verhagen is senior adviseur bij Verdonck, Klooster & Associates en publiceert regelmatig over data en technologie in de publieke sector.
