De computer kan het ook fout hebben

De kwetsbaarheid van geautomatiseerde ketenbesluiten

door: Liesbeth Jongkind, 16 mei 2018

Nederland maakt steeds vaker van wetten computerprogramma’s die bestuurlijke besluiten nemen. Dat zet soms de rechtsbescherming van de burgers onder druk. Marlies van Eck onderzocht de problemen en komt met oplossingen. “Software is niet feilloos en software is ook niet neutraal.”

Burger in het nauw

Beeld: Dreamstime

Het woord loket is binnen de overheid een metafoor aan het worden. Het glazen raampje waarachter een ambtenaar zit die je ergens mee kan helpen, is in veel gevallen een invulformulier op een website met een database en software erachter. Burgers hoeven hun gegevens alleen maar juist op dat formulier in te vullen, en vervolgens besluit de overheid – in de vorm van op de wet gebaseerde computeralgoritmes – op hoeveel geld de invullers recht hebben of wat ze aan moeten betalen.

Toeslagen, boetes, belastingen, ze worden namens de overheid door bestuursorganen verdeeld en geïnd. De meer dan 120 bestuursorganen in Nederland nemen besluiten op basis van de door de burgers aangeleverde informatie en regelmatig baseert de computer van het ene bestuursorgaan zijn besluit op de informatie die de computer van een ander bestuursorgaan heeft aangeleverd. Dat heet een ketenbesluit. Dat het geen mensen maar computers – expertsystemen – zijn die de besluiten nemen, opslaan en doorgeven aan burgers en aan de computers van andere bestuursorganen, zou de overheid veel tijd en dus geld moeten schelen. En omdat het geld van de overheid eigenlijk van ons allemaal is, is zo’n zuinige want geautomatiseerde
overheid goed voor de samenleving en de burgers. Tot zover de theorie.

Veldonderzoek

Dr. Marlies van Eck, jurist bij de Belastingdienst, is onlangs aan Tilburg University gepromoveerd op onderzoek naar de praktijk. Zij heeft onderzocht of de manier waarop de computers van bestuursorganen geautomatiseerde ketenbesluiten nemen over geld, in strijd is met de rechtsbescherming van burgers. We kunnen wel vast verklappen dat het antwoord ja is. Maar wel een genuanceerd ja. Want heel vaak gaat het goed, en wanneer het niet goed gaat, pakt dat ook weleens in het voordeel van de burger uit.

Van Eck heeft ‘kwalitatief veldonderzoek’ gedaan naar twee cases: het vaststellen van de kinderbijslag door de Sociale Verzekeringsbank en het vaststellen van het inkomensgegeven door de Belastingdienst. Onder meer door het interviewen van medewerkers, heeft ze het proces gereconstrueerd om te kijken of de uitvoering met computers en ketens, de rechtsbescherming beïnvloedt. Naar aanleiding van haar observaties en analyses benoemt Van Eck een aantal structurele problemen in de geautomatiseerde overheidsbesluitvorming, die maken dat de rechtsbescherming van de burger wel degelijk tekortschiet.

Uitzonderingen op wetten en regels zijn niet altijd in de software verwerkt. Een voorbeeld: een categorie vreemdelingen die volgens internationale verdragen recht heeft op geld van de Nederlandse overheid om van te leven, kan dat niet altijd aanvragen. Als ze geen burgerservicenummer hebben kan de computer de aanvraag niet verwerken. Bij het programmeren is hiermee geen rekening gehouden.

Relevante informatie voor een te nemen besluit blijkt niet altijd in een overheidsdatabase vastgelegd te worden, en wordt dan dus niet meegenomen in de besluit- vorming. Een voorbeeld: als er rechten zijn die ontleend zijn aan EU-recht, terwijl dit niet is vastgelegd in een database bij de Nederlandse overheid, dan houdt de computer er geen rekening mee. Uitkomsten van ketenbesluiten worden vaak al aan een volgend geautomatiseerd bestuursorgaan doorgegeven voordat de betrokkene bezwaar heeft kunnen maken. Zelfs als het eerste besluit later wordt aangepast, blijkt het vaak onmogelijk om de vervolgbesluiten te corrigeren.

Rechtmatigheid

Het vervelende voor de burger is: juridisch blijkt daar weinig of niets aan te doen. Je kunt wel beroep aantekenen tegen een bestuursbesluit met behulp van de Algemene wet bestuursrecht, de wet die burgers tegen de overheid moet beschermen; de wet die toetst of de overheid bij het nemen van besluiten wel correct de regels heeft gevolgd. Maar de bestuursrechter gaat er vaak vanuit dat de computeralgoritmes die besluiten nemen correct zijn. Ook al is dat uitgangspunt niet te controleren, want de geautomatiseerde beslisregels zijn simpelweg niet beschikbaar in een vorm die door mensen te lezen en te onderzoeken is. Door deze software-documentatie-omissie, is inhoudelijk in beroep gaan tegen een computerbesluit zeer lastig. Het is onmogelijk om na te gaan hoe het IT-team dat de software heeft ontworpen de wet heeft geïnterpreteerd. Het is onmogelijk om te controleren of het besluit van de overheidscomputers in overeenstemming is met de wet- en regelgeving en dus kan de burger het besluit niet gemotiveerd betwisten, en kan de rechter de rechtmatigheid van het besluit niet toetsen.

Van Eck: “Hiermee is de beroepsmogelijkheid afgenomen, de rechter kan de overheid niet meer toetsen. Wat overblijft is de stap die daarvoor zit: bezwaar maken tegen een besluit.” Bezwaar maak je als burger bij het bestuursorgaan waarvan de computer het besluit genomen heeft waar je het niet mee eens bent. Het verschil is dat je nu niet met een machine, maar met een mens te maken krijgt: een bezwaarmedewerker. Van Eck heeft onderzocht hoe de bezwaarmedewerkers omgaan met het feit dat de computer het soms fout heeft. “Mensen moeten soms handmatig om de regels heen laveren om de situatie recht te doen. Maar dat doen ze lang niet altijd. Soms gaat het om nieuwe uitzonderingsgevallen, maar veel vaker is er sprake van een known error, een bij de IT-afdeling bekende bug in het systeem, waar de bezwaarafdeling niks van weet of geen rekening mee houdt. En de software veranderen is te duur.”

Vierde staatskundige macht

Het gevolg is dat de individuele burger klem komt te zitten als de computer zijn uitzonderlijke situatie niet als zodanig erkent. De geautomatiseerde overheid is vooral bezig met het besturen van grote informatiestromen, niet met de levende mensen die daar achter zitten. Van Eck: “Niet de burger staat centraal, maar het uitvoeringsproces.”

Van Eck heeft naar aanleiding van haar onderzoek een lijst met aanbevelingen opgesteld om de rechtspositie van de burger te versterken. Ze variëren van op het individu gerichte en organisatorische maatregelen tot aanbevelingen op wetgevings- en staatsinrichtingsniveau. Ze pleit bijvoorbeeld voor het invoeren van een vierde staatskundige macht, die de omzetting van wetgeving in beslisregels moet controleren. En voor het toevoegen van een standaard hardheidsclausule aan de Awb om de rechter macht te geven om te kunnen oordelen ‘in de geest van de wet’. Net zoals het bestuursorgaan dat zelf trouwens zou moeten kunnen, ook zonder dat de burger daarvoor eerst in beroep moet gaan. Ze wil ook daadwerkelijke controle van algoritmes mogelijk maken door ze een formele juridische status te geven die goedkeuring van het bestuur noodzakelijk maakt. Van Eck: “En ook moeten bestuursorganen verplicht worden die algoritmes openbaar en leesbaar te maken, zodat ze toetsbaar zijn.” Dat heeft de bestuursrechter, de Raad van State, recent ook bepaald in een rechtszaak waarbij de overheid gebruik had gemaakt van software (AERIUS).

Verder moet het mogelijk worden foutieve gegevens te corrigeren, ook als die al doorgegeven zijn aan computersystemen verderop in ‘de keten’. Daarvoor is het soms nodig dat de termijn waarop de burger bezwaar kan maken een stuk langer wordt, bijvoorbeeld zes maanden of een jaar. “Maar eigenlijk zijn al mijn aanbevelingen gebaseerd op één heel belangrijk uitgangspunt”, besluit van Eck. “Dat is: de computer kan het fout hebben. Software is niet feilloos en software is ook niet neutraal. Ook programmeurs maken normatieve keuzes. Die realiteit zien heel veel mensen niet onder ogen.”

tags: ,

- - - - -

De met een * gemarkeerde velden zijn verplicht. U ziet eerst een voorbeeld en daarna kunt u uw bijdrage definitief plaatsen. Uw e-mailadres wordt niet op de site getoond. Reacties zonder achternaam worden verwijderd. Anoniem reageren alleen in uitzonderlijke gevallen in overleg met de redactie.