Verfijnde uitspraak

De hoogste bestuursrechter – de Afdeling bestuursrechtspraak van de Raad van State – heeft in haar uitspraak van 17 mei 2017 [1] geoordeeld dat bij AI (Artificial Intelligence) een gebrek aan inzicht in de gemaakte keuzes en gebruikte gegevens en aannames ertoe kan leiden dat er een ongelijkwaardige procespositie van partijen kan ontstaan.

Dat zal aan de orde zijn, als de burger niet kan controleren op basis waarvan tot een besluit is gekomen. Het AI-programma fungeert dan als een black box. Om dit te voorkomen rust in die gevallen op de overheid de verplichting om de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigener beweging openbaar te maken, zodat deze voor de burger toegankelijk zijn. Dit moet bovendien op een passende wijze gebeuren, aldus de Afdeling bestuursrechtspraak van de Raad van State. Voldoet de overheid hier aan, dan is het voor alle partijen, inclusief de burgers, mogelijk de gemaakte keuze en gebruikte gegevens en aannames te beoordelen of te laten beoordelen en zo nodig gemotiveerd te betwisten. Alleen op deze wijze is in de optiek van de bestuursrechter reële rechtsbescherming mogelijk.

In mijn eerdere blog heb ik onderzocht op welke wijze de in een smart contract gemaakte keuzes, gebruikte gegevens en aannames volledig, tijdig, uit eigener beweging én op passende wijze openbaar kunnen worden gemaakt. Daarbij zijn zo op het eerste oog drie manieren denkbaar, te weten:
1) het gehele smart contract, dus de broncode, open source aan een ieder, of aan de burger die rechtsbescherming zoekt, ter beschikking stellen;
2) het programma ter beschikking stellen, zodat de burger kan experimenteren met de invoer in het door de overheid gebruikte programma en zodoende kan onderzoeken of de uitkomst op de juiste manier is bepaald en
3) de stappen, aannames en uitgangspunten die aan smart contracts ten grondslag liggen in begrijpelijke mensentaal aan de burgers ter beschikking te stellen.

Wat ik toen niet in mijn blog heb vermeld, is dat de uitspraak van 17 mei 2017 niet alleen geldt voor smart contracts, maar voor alle geautomatiseerde besluitvormingsprogramma’s. Dus ook van programma’s waarbij algoritmen de uitkomst bepalen of andersoortige geautomatiseerde programma’s.

Recent, op 18 juli 2018 [2], heeft de Afdeling bestuursrechtspraak van de Raad van State, de voornoemde uitspraak verfijnd en overwogen dat de overheid de burger die opkomt tegen een besluit inzage moet geven in de gemaakte keuzen bij de invoer in een AI-programma en inzichtelijk moet maken op welke keuze, dat wil zeggen welke maatwerkgegevens, zijn besluit is gebaseerd. De Afdeling maakt derhalve onderscheid tussen maatwerk invoergegevens en standaard invoergegevens. De overheid moet maatwerk invoergegevens uit eigen beweging op papier of anderszins waarneembaar beschikbaar stellen als op de zaak betrekking hebbende gegevens. Dit is noodzakelijk zodat burgers de juistheid van de gebruikte gegevens, de gemaakte berekeningen en de daarop gebaseerde aannames, keuzes en beslissingen kunnen controleren en zo nodig inhoudelijk kunnen betwisten en kunnen bepalen of zij daartegen rechtsbescherming willen inroepen, aldus de Afdeling.

De plicht om gegevens uit eigen beweging over te leggen geldt niet, althans niet zonder meer, voor de in een concreet geval gebruikte standaard invoergegevens. Die hoeven alleen te worden verstrekt als de burger daarom vraagt. Die verstrekking moet evenzeer op papier of in andere leesbare of waarneembare vorm geschieden, of de burger moet de mogelijkheid worden geboden om de standaard invoergegevens in te zien. Van de burger mag worden verwacht dat hij een verzoek om inzage tijdig doet aangeeft welke specifieke gegevens hij wil hebben, zodat het bestuursorgaan zo gericht en duidelijk mogelijk inzage kan geven, aldus de Afdeling. Aan dat uitgangspunt zal de gedachte ten grondslag liggen dat dergelijke gegevens niet zo 1-2-3 uit het AI-programma zijn te destilleren, dan wel aan het papier zijn toevertrouwd.

De bestuursrechter gaat dus niet zo ver dat de overheid de broncode van een geautomatiseerd programma of het programma zélf openbaar moeten maken, maar louter dat hij de maatwerk invoergegevens uit eigener beweging op papier op andere leesbare of waarneembare vorm aan de burger ter beschikking moet stellen. Voor standaard invoergegevens geldt dat alleen als de burger daar om verzoekt.

De burger zal als gevolg van deze uitgangspunten van de bestuursrechter zowel inzicht hebben aan hetgeen aan de voorkant van de besluitvorming is gebeurd (de input kant) als in hetgeen het geautomatiseerde programma heeft gegenereerd (de output kant). Dat laatste zal namelijk het geïndividualiseerde besluit zijn, waarvan de burger door de overheid op de hoogte moet worden gesteld. Automatisch gegenereerde besluiten moeten – om te voldoen aan het motiveringsbeginsel – dus beide elementen moeten bevatten.

[1] ECLI:NL:RVS:2017:1259
[2] ECLI:NL:RVS:2018:2454

Meer weten over AI? Pels Rijcken werkt momenteel aan een whitepaper over de juridische aspecten van AI dat deze zomer verschijnt. Meld u hier aan om bericht te ontvangen wanneer onze whitepaper AI verschijnt.

Sandra van Heukelom-Verhage is partner bij Pels Rijcken & Droogleever Fortuijn en geeft daar leiding aan het team Digitale Transformatie.