Over ‘slimme’ algoritmes en domme beleidskeuzes
Op 7 september berichtte EenVandaag dat het UWV gebruik wil gaan maken van AI om fouten bij de WIA te herstellen. Het UWV geeft aan dat er onvoldoende capaciteit is om dit met de hand te doen. Dus is het plan een AI-systeem de dossiers te laten selecteren die gecontroleerd moeten worden door een medewerker. Maar aan deze werkwijze kleven grote risico’s en bezwaren, betoogt ervaringsdeskundige en expert in verantwoord algoritmegebruik Maranke Wieringa.
Bij tienduizenden mensen zijn fouten gemaakt bij het berekenen van de hoogte van hun WIA-uitkering. Deze fouten zijn gemaakt in de periode 2020-2024. Het gaat om mensen die mogelijk geld teveel of te weinig ontvangen hebben. Het UWV geeft aan dat het ‘kan gaan om eenmalig tien euro tot honderden euro’s per maand’. Dat zijn flinke bedragen voor een uitkeringsgerechtigde. Het UWV presenteert AI nu als dé heilige graal die de rotzooi moet opruimen omdat er niet genoeg medewerkers zijn.
Vertrouwen in de overheid
Uitkeringsgerechtigden hebben vaak angst voor overheidsinstanties. Tegenover de niet transparante systemische raderen van de overheid kun je je als burger makkelijk machteloos voelen. In wetenschappelijk onderzoek naar de Britse evenknie van het UWV beschrijft Kayleigh Garthwaite de ‘angst voor de envelop’. Dit is een angst die ikzelf als ‘Wajongere’ maar al te goed ken. Een angst die alleen maar groter wordt als er ook nog eens algoritmes aan te pas komen.
Er is steeds die slepende onzekerheid of je bijvoorbeeld grote bedragen opeens moet terugbetalen. Die zorgt er voor dat je je continue in je bestaanszekerheid bedreigt voelt. Het negatieve effect daarvan op je welzijn is heel tastbaar. Deze onzekerheid wordt vooral veroorzaakt door ondoorzichtige procedures, berekeningen en beslissingen bij de overheid. De diepere angst is of ik wel mag zijn wie ik ben, of mijn rommelig leven als mens wel binnen de nette bureaucratische hokjes van de overheid past. Ook al doe je je uiterste best om alles goed te doen, het voelt alsof je op elk willekeurig moment van fraude beticht kunt worden.
Met de recente aankondiging van het UWV blijkt dat deze vrees niet onterecht is. Het vertrouwensbeginsel uit de algemene beginselen van behoorlijk bestuur (ABBB) staat onder druk. Bestuursorganen mogen gewekt vertrouwen niet beschamen. Maar waar de Belastingdienst nog schreef ‘u mag vertrouwen op de informatie en de mededelingen die u van ons krijgt. Hetzelfde geldt voor ons handelen’, daar laat het UWV de burger in onzekerheid achter. Het lijkt er nu op dat uitkeringsgerechtigden meer moeten snappen van de complexe berekeningen dan de medewerkers van het UWV die de fouten hebben gemaakt. Het is niet meer dan logisch dat hierdoor het vertrouwen in de overheid minder wordt.
(On)zorgvuldig
Ondanks de beperking in capaciteit is het UWV van goede wil om de gemaakte fouten te herstellen. De oplossing daarvoor wordt gezocht in de inzet van AI. Het idee is dat het AI-systeem de dossiers zal selecteren die vervolgens door medewerkers gecontroleerd kunnen worden. Daarmee is er menselijke tussenkomst ingeregeld, máár pas ná de selectie. Het is niet duidelijk hoe het UWV hier de volledigheid denkt te borgen. Nu lijkt er geen enkele controle te zijn op de dossiers die niet geselecteerd worden door het AI-systeem.
Een dergelijke beperking heeft grote consequenties. AI-systemen zijn nooit 100% nauwkeurig. Het UWV erkent dit ook en benadrukt ‘Helemaal sluitend krijgen we het nooit’, aldus het artikel van EenVandaag. ‘Ik kan op voorhand al zeggen dat we onze vingers niet in het vuur willen steken dat we volledig zullen zijn. Dus er zal ongetwijfeld iemand gemist worden daarin, maar we proberen het tot het minimum te beperken.’
Het UWV weet dus al op voorhand dat zij mensen gaat missen, met mogelijk grote gevolgen voor de betrokkenen. Daarmee schuurt het UWV tegen een ander beginsel van behoorlijk bestuur aan: het zorgvuldigheidsbeginsel. Besluiten van de overheid moeten volgens de Algemene wet bestuursrecht (Awb) en de ABBB zorgvuldig genomen worden, op basis van de relevante informatie en belangen moeten goed worden gewogen. De voorbereiding van een besluit dient événééns zorgvuldig voorbereid worden volgens de Awb.
Onappetijtelijke risk-appetite
Het UWV kiest er in dit geval bewust voor om die zorgvuldigheid overboord te gooien door geen achtervang of parallelle selectievorm in te richten naast het AI-systeem. Concrete cijfers ontbreken nog, maar laten we een fictief rekensommetje maken. Het gaat volgens het UWV over zo’n 84.000 gevallen. Ons fictieve AI-systeem heeft een nauwkeurigheid van 96%. Dat betekent, over de duim, dat ons AI-systeem 3.360 gevallen verkeerd uit sorteert. Een deel – laten we zeggen de helft daarvan – worden onterecht geselecteerd (een vals-positief) de rest wordt onterecht níét geselecteerd (vals-negatief). In dit fictieve scenario zouden er circa 1.680 dossiers bewust als collateral damage geaccepteerd worden door het UWV. Daar kunnen ook zeer schrijnende gevallen tussen zitten. Zit u als burger daar onverhoopt tussen? Jammer, maar helaas, het UWV vond het acceptabel om uw casus over het hoofd te zien. Als burger heb je niet de middelen en de mogelijkheid om dit zelf te onderzoeken. Daarvoor ben je afhankelijk van de overheid. Dus als lijdend voorwerp kom je er waarschijnlijk nooit – of pas met heel veel moeite achter dat dit het geval is geweest. De risicobereidheid die het UWV hier laat zien is daarmee een recept voor een nieuwe Toeslagenaffaire.
Waar professionele expertise en geleefde ervaring samenkomen
Als gehandicapte expert op verantwoord algoritmegebruik vraag ik me daarbij ook af in hoeverre een nauwkeurigheidspercentage van 96% haalbaar is. Dat heeft alles te maken met welke data het UWV heeft over uitkeringsgerechtigden. Ik weet als Wajongere hoe de procedures bij het UWV grofweg lopen. Ik weet ook wat voor data ik voer aan het UWV en dat mijn rommelige leven niet netjes in het systeem past. Hoe goed ik mijn data ook wil aanleveren: het formulier says no. Ik kan zelden de complexe realiteit vatten in de rigide invulvelden van het formulier.
De digitalisering van de formulieren heeft dit probleem vergroot. Bij de papieren formulieren van het UWV kon je als uitkeringsgerechtigde context meegeven aan je data. Zo kon je in de marges schrijven of een begeleidende brief mee sturen. Bij de digitale formulieren is deze mogelijkheid niet of zeer beperkt ingebouwd. Nu lukt het met de beste wil van de wereld niet de starre data juist contextualiseren. Erger nog: met het papieren formulier hielp de medewerker van het UWV om de invoer op de correcte wijze te doen. Nu moet de uitkeringsgerechtigde bij de digitale formulieren zelf maar gokken hoe diens data in de complexe systemen zal landen. Met alle gevolgen van dien, want je hebt geen zicht op welke gevolgen dat in die systemen heeft.
‘Automagische’ AI
Ondertussen kiest het UWV voor de vlucht naar voren. Ondanks ruime negatieve ervaringen met gevoelige automatiseringsprojecten bij de overheid houdt het UWV een rotsvast naïef geloof in de techniek. De ‘slimme software’ wordt als makkelijke pleister op de wond voorgesteld. Zoals de fictieve casus hierboven al laat zien zitten er ontzettend veel haken en ogen aan een verantwoorde inrichting van een AI-systeem. Dat geldt zeker bij zo’n impactvolle context. Toch is er veel mogelijk als men voor een verantwoorde aanpak kiest. Denk daarbij onder andere aan het inrichten van een parallelle selectiestrategie om schade van vals-negatieven te beperken en een kwaliteitsslag op de rommelige data waarop de AI getraind zal worden. Binnen de data science is een bekend adagium ‘garbage in, garbage out’. Als je rommelige data erin stopt, krijg je er rommelige uitkomsten uit. Oud-hoogleraar IT Daan Rijsenbrij waarschuwde in mei bij Computable al voor de prangende datachaos het UWV. Hoe kunnen we ondertussen verwachten dat een zeer snel geïmplementeerd systeem, waarbij de focus op efficiëntie ligt, in een ongelijkwaardige maatschappij ‘automagisch’ gelijkwaardige uitkomsten genereert op basis van deze datachaos?
Echte levens zijn uitermate rommelig en algoritmes zijn zeer rechtlijnig. De vraag is dus: hoe ontwerp en ontwikkel je een algoritmisch systeem waarin de menselijke maat voorop staat? Het ontwerpen en ontwikkelen van zo’n gedegen AI-systeem in een kwetsbare context is niet eenvoudig. Dat gaat niet snel. Het vereist een gedegen toetsing en reflectie en het aanbrengen van de goede waarborgen. AI is geen snel wondermiddel wat je even op een groot probleem kan plakken. Sterker nog, als je niet uitkijkt maakt het de bestaande problemen alleen maar groter.
Recept voor ellende
Het niet voldoen aan de vertrouwens- en zorgvuldigheidsbeginselen, een (te) grote risico-bereidheid, rommelige data en een naïef vertrouwen in een AI-systeem dat op een kwetsbare groep burgers wordt losgelaten is een recept voor ellende. En is dit dan een uitzondering? Ik denk het niet. We weten dat gehandicapte mensen, net als andere gemarginaliseerde groepen, vaak de kanaries in de kolenmijn zijn. We zagen het bij SyRI, de Toeslagenaffaire en DUO. De rechtbank beschreef in de uitspraak van de SyRI-zaak dat de overheid een bijzondere verantwoordelijkheid heeft bij de inzet van nieuwe technologie. De laissez-faire houding van het UWV geeft geen blijk van het nemen van deze bijzondere verantwoordelijkheid.
Lerende houding
De SyRI casus, de Toeslagenaffaire en de DUO casus bevatten belangrijke lessen voor de overheid. Het nemen van de bijzondere verantwoordelijkheid bij de inzet van nieuwe technologie die de rechtbank voorschrijft omvat onder andere een lerende houding. Iedere overheidsorganisatie die aan de slag gaat met algoritmes zou bij zichzelf te rade moeten gaan hoe zij bijvoorbeeld hierbij vormgeven aan de geijkte beginselen van behoorlijk bestuur. De burger verdient immers een overheid die niet keer op keer dezelfde fout maakt.
Lees ook:
