AI ondermijnt de rechtsstaat

AI ondermijnt de rechtsstaat, maar de problemen zijn volgens jou niet nieuw?

Passchier: ‘Er is een aantal ondermijnende trends. Het idee van de trias politica is dat tussen de drie machten een evenwicht is en dat ze op gelijkwaardige basis kunnen samenwerken. Het heeft nooit perfect bestaan, maar het is in ieder geval ernstig verstoord door de opkomst van de verzorgingsstaat en sinds 11 september door de opkomst van de veiligheidsstaat. Digitalisering versterkt die disbalans.’

Op welke manier?

‘Er zijn eigenlijk drie manieren. De uitvoerende macht zet de digitale technologie in terwijl het parlement dat nauwelijks doet en de rechter een beetje. Dan maakt deze technologie de uitvoerende macht ook nog eens moeilijker controleerbaar, omdat algoritmes vaak niet openbaar zijn of controleurs de expertise missen om ze te controleren. Machine-learning- en deep-learning-algoritmes zijn überhaupt niet goed te doorgronden. En de technologie nodigt overheidsorganisaties uit om informatie met elkaar uit te wisselen, wat ze complexer maakt. Zo krijg je zogenaamde ketenbesluiten en kan de besluitnemer niet meer controleren op welke data het besluit is gebaseerd, laat staan het parlement.’

Je schrijft: ‘Code heeft een andere vorm en status dan recht, maar in materieel opzicht zijn de verschillen tussen deze twee institutionele patronen verrassend gering.’ Bedoel je dat algoritmen een soort eigen wetgeving zijn?

‘Het zijn regels, instructies aan computers, die ook gevolgen hebben voor de technologie waar die computers in zitten. Denk aan auto’s: je kan de code zo schrijven dat die auto’s niet harder kunnen dan de maximumsnelheid. Maar ze zijn nog dwingender want een bestuurder van een ‘gewone’ auto kan ervoor kiezen om de maximumsnelheid te overschrijden. Het kan ook gerechtvaardigd zijn om in een noodsituatie te snel te rijden, bijvoorbeeld naar het ziekenhuis.

‘Het wordt een hele rigide maatschappij als alle regels de vorm krijgen van code. Dat heeft voordelen, maar ook belangrijke nadelen. Denk aan Rosa Parks, die de regel overtrad dat zwarte mensen in de Verenigde Staten niet voorin de bus mochten zitten – daarmee bracht ze een enorme beweging op gang tegen die regel. In China werkt de overheid nu met een algoritmisch sociaal kredietsysteem en er zijn nauwelijks mogelijkheden om daartegen in te gaan.’

En overheden hebben nu nog maar weinig zicht op de code in toepassingen, wat leveranciers veel invloed geeft?

‘Hier is ons recht nog niet zo goed op afgestemd. Volgens het legaliteitsbeginsel moet alles wat de overheid doet, gebaseerd zijn op de wet. Computers spelen een hele belangrijke rol bij het werk van de overheid. Dat mag, maar dan moet de code wel de wetgeving voldoende weerspiegelen. Wetgeving is echter meestal geschreven in gewonemensentaal – en het is soms vaag omdat het een resultaat is van politieke compromissen – dus een programmeur van uitvoeringssystemen moet soms enorme vertaalslagen maken. Zelfs al is hij tevens een juridisch expert, dan nog moeten er keuzes worden gemaakt. Daar moeten democratisch gelegitimeerde regelgevers op zijn minst controle op uitoefenen.’

Hoe kunnen overheden ooit op gelijke hoogte komen als ze altijd moeten reageren? Je hebt het in je boek bijvoorbeeld over de invloedrijke techlobby en zogenoemde ‘high-speed-voldongen-feiten-strategieën’ – techgiganten die sneller kunnen bewegen dan staten kunnen volgen.

‘Bedrijven zijn zich bewust van hun macht en doen er alles aan om de wetgever voor te blijven. Denk bijvoorbeeld aan Google Maps. Dat is snel en stilletjes gedaan en inmiddels is het zo verweven met de economie dat het heel moeilijk is voor de wetgever om aanpassingen te eisen. Bovendien gaat het om grote bedrijven die ook nog eens in Amerika zitten. Onlangs botste de Australische wetgever met Facebook en het resultaat was een soort compromis. Eigenlijk is dat heel raar, want in een democratische rechtsstaat hoort de wetgever de baas te zijn.’

‘Er is nog wel verschil te maken. Overheden kunnen sneller reageren, want het gaat nu heel langzaam als het gaat om Big Tech. Sterker nog, veel van de AI-strategieën ademen nog een enorm techno-optimisme. Onlangs bleek dat techbedrijven heel makkelijk een ingang vinden bij het kabinet. En denk aan datacenters. Big Tech wordt nog steeds met open armen ontvangen. Het zou wat minder techno-optimistisch kunnen. Wat sceptischer.’

Reijer Passchier onderzocht op de Open Universiteit en de Universiteit Leiden de verschuiving van overheidsmacht en de invloed van Big Tech. Zijn boek ‘Artificiële intelligentie en de rechtsstaat. Over verschuivende overheidsmacht, Big Tech en de noodzaak van constitutioneel onderhoud’ verscheen begin 2021.