Het model is statistisch rechtvaardig en voldoet aan alle normen van toezichthouders. Is het uitlegbaar? Bevat het geen verboden variabelen zoals etniciteit? Is de privacy-impactanalyse goedgekeurd? Zodra deze vragen positief worden beantwoord, is het een 'ethisch' model.
Een ethisch model is nog geen rechtvaardige uitvoering
Wat als een algoritme keurig werkt volgens alle regels, maar een burger daardoor juist dieper in de problemen raakt? In vrijwel elk overheidsbeleid rondom kunstmatige intelligentie staan terecht principes als verantwoordelijkheid, rechtvaardigheid, transparantie en privacy centraal. Toch blijven deze uitgangspunten in de praktijk steken op modelniveau.
Deze benadering heeft het risico een schijnzekerheid te creëren. Een AI-model kan technisch gezien volledig transparant zijn, terwijl een inwoner nog steeds niet begrijpt waarom specifiek zijn bijstandsaanvraag of toeslag plotseling is stopgezet. De wiskundige uitlegbaarheid van een score op modelniveau vertaalt zich niet automatisch naar begrijpelijkheid en perspectief voor de individuele burger thuis.
Echte rechtvaardigheid ontstaat echter pas op individueel niveau, wanneer de systeemlogica moet standhouden in de rauwe uitzonderingspraktijk van één enkele burger. Om AI verantwoord in te zetten, moeten we niet alleen kijken naar nieuwe algoritme-kaders, maar daarnaast ook hoe we kunnen verzekeren dat de implementatie mensgericht wordt ingericht.
Systeemovermoed
De oorzaak van deze mismatch ligt in hoe digitale systemen worden ontworpen. De focus ligt vrijwel altijd op de 'happy flow': patronen komen voort uit gegevens die compleet zijn, administraties die op elkaar aansluiten en burgers die zich voorspelbaar gedragen.
Het echte leven laat zich echter niet vangen in een ideale proceskaart. Neem een alleenstaande ouder die na een scheiding tijdelijk op een ander adres verblijft en korter gaat werken om voor de kinderen te zorgen. Een AI-risicomodel van een gemeente, getraind op historische participatiedata, koppelt deze adreswijziging, inkomensval en verandering in de huishoudsamenstelling automatisch aan patronen uit het verleden. Het systeem vlagt het dossier voor een 'intensief rechtmatigheidstraject'. Zonder dat er sprake is van fraude, worden voorschotten bevroren en wordt een huisbezoek ingepland. Omdat de systeemlogica enkel stuurt op historische patronen, herkent het geen 'tijdelijke crisisopvang na scheiding' en schiet het direct in de risicomodus.
De mens in de loop
Natuurlijk kunnen we wijzen op de human-in-the-loop als waarborg tegen ontsporingen. Maar dit formeel geregelde vangnet schiet vanwege de menselijke schakel in de praktijk tekort.
Een behandelend ambtenaar met hoge caseload weet dat het AI-systeem in het verleden meestal gelijk had. Dan wordt het te makkelijk een systeemadvies binnen twee minuten goed te keuren. Onder die tijdsdruk zit bovendien een prikkelasymmetrie: een gemist fraudesignaal wordt een medewerker aangerekend, een onterecht rechtmatigheidstraject vrijwel nooit. Wie het systeem volgt, zit dus altijd veilig, en dat verklaart het afstempelen beter dan caseload alleen. Formeel zit er een mens in de loop, maar in de praktijk ontbreken tijd en ruimte om af te wijken van het digitale oordeel , zoals de toeslagenaffaire ons al liet zien. Zo is het risico dat de menselijke controleursrol verandert in een geautomatiseerde stempelmachine, die fouten in het systeem niet corrigeert, maar juist legitimeert. Juist wanneer de werkelijkheid schuurt met de systeemlogica, blijkt of een overheid rechtvaardig functioneert of niet.
Beter gebruik van bestaande toolkits
Hoe kunnen we een ethische toepassing van AI verzekeren? Het antwoord is niet wéér een nieuwe ethische code of extra bureaucratische controlelagen in een algoritme-audit. We moeten naast de focus op het algoritme zelf, ook de menselijke praktijk rondom het systeem verankeren. Daarvoor hoeven we het wiel niet opnieuw uit te vinden. Er bestaan al bewezen ontwerptoolkits en methoden voor mensgericht ontwerp (human-centered design). Deze worden alleen te weinig ingezet bij het ontwikkelen van algoritmes - deze kaders zijn niet alleen voor de bouw van een publiekswebsite, maar moeten fundamenteel toegepast worden op de inrichting van het systeem van geautomatiseerde besluitvorming.
Daarvoor helpt een verschuiving van perspectief. Hoewel een burger misschien niet direct in contact staat met het model, is de laag overheidsmedewerkers wel degelijk een interface: daar wordt een score omgezet in een besluit met gevolgen. Dan gaan de vragen die we bij een publiekswebsite normaal vinden ineens ook op voor het werkproces. Wat ziet de medewerker precies op het moment van beslissen, en wat blijft verborgen? Hoeveel klikken kost het om af te wijken, en hoeveel om mee te gaan? Is er een plek in het scherm waar 'dit patroon past niet op deze situatie' überhaupt ingevoerd kan worden? Wie de medewerker als gebruiker serieus neemt, ontwerpt het systeem eromheen met failsafes in plaats van met louter een afvinkveld.
Dat maakt het ook meetbaar. Een team dat in vrijwel alle gevallen het systeemadvies volgt, is geen bewijs van een werkende waarborg maar een alarmsignaal, dus meet en rapporteer het afwijkingspercentage van behandelaars. De vraag die daarbij hoort is wie daar eigenaar van is: de CIO ziet de modelprestaties, de uitvoeringsdirecteur ziet de doorlooptijden, en niemand ziet of de mens in de loop nog daadwerkelijk iets doet. Dat betekent dat we algoritmes vanaf dag één testen op de menselijke werkelijkheid, en dat we naast rechtsgelijkheid simpele escalatieprocessen inbouwen voor maatwerk in de specifieke context van algoritmes. Niet zodat een scheidende ouder een beroepsproces van maanden kan winnen, maar zodat het nooit zo ver komt.
Auteur kennisbijdrage:
Joren Bredman is Lead Service & AI Interaction Designer Benelux.
Plaats een reactie
U moet ingelogd zijn om een reactie te kunnen plaatsen.