De publieke sector maakt steeds vaker gebruik van algoritmen, maar die inzet van algoritmen komt met nieuwe afwegingen en keuzes. Hoe kan de publieke sector rekenschap afleggen over de algoritmische systemen die zij ontwerpen, inkopen en/of inzetten? De Utrecht Data School ontwikkelt, samen met ambtenaren, een toolkit om dit reflectie- en documentatieproces te faciliteren.
Beeld: Arek Socha / Pixabay
Algoritmen zijn niet meer weg te denken uit onze samenleving en ook in de publieke sector maken ze een opmars. Er wordt steeds vaker voorspeld, gecategoriseerd, geprofileerd, en/of (semi-)automatisch besloten. Van frauderisicoindicatie tot het detecteren van verkeersstromen of afval op straat, dergelijke systemen zijn inmiddels wijdverspreid in de publieke sector. Dat biedt grote kansen, maar brengt ook grote vraagstukken met zich mee: welke waarden en normen worden er impliciet in het systeem gebouwd? Hebben die een bepaalde (politieke) houdbaarheidsdatum? Hoe ga je om met derde partijen die voor de publieke sector een algoritme ontwerpen? Wie is wanneer verantwoordelijk als het systeem (niet) naar behoren werkt? Om handen en voeten te geven aan deze – en nog veel andere – vragen, ontwikkelt de Utrecht Data School (onderdeel van de Universiteit Utrecht) een toolkit samen met de publieke sector: BIAS, beraadslagingsinstrument voor algoritmische systemen.
Tot nog toe zijn er veel zorgen omtrent de uitlegbaarheid en transparantie van algoritmen. Een voorbeeld hiervan zien we in de richtlijnen voor artificiële intelligentie (AI), die ontwikkeld worden door de ministeries van Binnenlandse Zaken en Justitie en Veiligheid. Dat is belangrijk omdat we dan kunnen zien hoe het algoritme werkt. Toch is deze technische transparantie maar één kant van de medaille. Algoritmen bestaan namelijk in een organisatie(cultuur), bestaande werkpraktijken en in een historische context die bepaalde dingen (niet) acceptabel maken, waarin er een bepaalde blik op publieke waarden is en er specifieke waarden en normen gelden. Zo zou SyRI ondenkbaar zijn geweest tijdens de piek van de verzorgingsstaat. We kunnen dus beter spreken van algoritmen als socio-technische systemen: altijd vervlochten met cultuur, sociale praktijken en zelfs een bepaald tijdsgewricht.
Socio-technische aspecten
Hoewel algoritmen dus technisch zeer van elkaar kunnen verschillen, met de daarbij horende verschillende mate van uitlegbaarheid en transparantie, bevinden alle algoritmen zich in die bredere context van cultuur en sociale praktijk. Over deze socio-technische aspecten van algoritmische systemen kunnen we veelal dezelfde vragen stellen, los van of het nu om een simpel beslisboompje gaat of een ingewikkeldere deep learning-applicatie. Iemand besluit immers om een algoritmisch systeem te ontwikkelen/in te kopen en te gebruiken in een bepaalde situatie, met bepaalde doelen en voorwaarden.
Een focus op technische transparantie mist de reden waarom een systeem er sowieso moet komen, of op een kleiner niveau waarom bijvoorbeeld foutmarges op een bepaalde manier uitgebalanceerd worden. Er schuilen veel keuzes achter de objectief ogende façade van algoritmen. Rekenschap voor deze keuzes is van belang nu niet alleen een vertaling plaatsvindt van wet naar beleid, van beleid naar uitvoering, maar ook van uitvoering naar algoritmen. Zoals in elke vertaalslag gaan er bepaalde dingen verloren en worden andere dingen onderstreept.
Een voorbeeld hiervan is een eenvoudig systeem wat gebruikt wordt in Rotterdam. Rotterdam maakt gebruik van een algoritme om naleving van een betalingsregeling te controleren. Het systeem is simpel en staat uitgelegd op de website. Het werkt als volgt: bij een gemeentelijke belastingschuld kan een burger een betalingsregeling treffen als hij/zij het bedrag niet kan betalen. Het systeem controleert of het overgemaakte bedrag exact gelijk is aan het afgesproken bedrag. Wijkt het bedrag af (één cent meer of minder is hierbij al een probleem), wordt de betalingsregeling stopgezet.
‘Spannend’
Wat we hier zien is dat het niet zozeer om de technische transparantie draait. De werking van het systeem wordt duidelijk gecommuniceerd aan de burger. Wat aan zelfs zo’n simpel systeem ‘spannend’ is, is de manier waarop dit systeem is gebouwd, ingericht en waarom dat zo is. Dit heeft alles te maken met publieke waarden, discretie en de blik op de burger. Systemen worden gebruikt om bepaalde processen te automatiseren. In plaats van handmatig naleving van betalingsregelingen te moeten controleren, kunnen we daar een systeem voor bouwen dat het voor ons doet. In de kern is dit een simpel probleem, met een eenvoudige oplossing. Wettelijk gezien moet hierop gecontroleerd worden, dat wordt op deze manier handen en voeten gegeven. Als het bedrag immers niet gelijk is aan wat overeengekomen is, is er wettelijk gezien geen sprake van naleving.
De praktijk is echter wat weerbarstiger. Hoe gaat dit systeem bijvoorbeeld om met mensen die per ongeluk cijfers hebben omgedraaid, of een laatste cijfer zijn vergeten? Wellicht dat een ambtenaar die dit handmatig checkt van zijn/haar discretie gebruikt maakt omdat er sprake is van een duidelijk, onbedoeld foutje (zie ook het werk van de Wetenschappelijke Raad voor het Regeringsbeleid in het kader van ‘doenvermogen’). Een systeem heeft die flexibiliteit niet vanzelfsprekenderwijs, maar koloniseert wel de bestaande discretionaire ruimte van de ambtenaar. Daar komt vervolgens bij dat er tijdsgebonden waarden vastgezet worden in een systeem wat veelal niet of weinig geüpdatet wordt aan de hand van de heersende publieke waarden en blik op de burger. Met andere woorden: wat is de houdbaarheid van de uitgangspunten die er in zo’n systeem zitten?
BIAS
Zoals het bovenstaande voorbeeld laat zien, zijn altijd meer wegen naar Rome, ook in het ontwerp van systemen. Om meer handvatten te bieden voor rekenschap omtrent socio-technische systemen, ontwikkelt de Utrecht Data School (onderdeel van de Universiteit Utrecht) de komende jaren BIAS, beraadslagingsinstrument voor algoritmische systemen. Door samen met ambtenaren de komende jaren aan het ontwerpen en verfijnen van een afwegings- en documentatie-instrument te werken levert het onderzoek niet alleen iets praktisch op voor de publieke sector, maar de gesprekken met betrokkenen leveren ook waardevolle inzichten op voor het onderzoek.
Expertise uit de publieke sector is heel belangrijk om dergelijke handvatten goed te kunnen ontwikkelen. Daarnaast is deze kennis en ervaring onontbeerlijk om de tool goed aan te kunnen laten sluiten op de realiteit van de werkpraktijken. We ontwikkelen BIAS daarom samen met professionals uit gemeenten en de publieke sector, we spreken hen over hoe zij rekenschap afleggen en hoe zij hierover denken. Samen met ambtenaren prototypen we de toolkit en verbeteren we het ontwerp, zodat er uiteindelijk een product ontstaat wat voor uiteenlopende praktijken goed bruikbaar is.
Mocht je interesse hebben in het mee ontwikkelen van BIAS, of inzichten uit de praktijk willen delen, is meer (contact)informatie te vinden op de website van BIAS.
Maranke Wierenga is PhD-kandidaat bij het Instituut voor Cultureelwetenschappelijk Onderzoek. Zij onderzoekt rekenschap rondom algoritmen in Nederlandse gemeenten.
