Het verboden algoritme

Open data kunnen geweldig zijn. De overheid wordt transparant, iedereen kan datasets combineren, nieuwe producten ontwikkelen, analyses maken en de onderzoeksbevindingen publiceren.

Maar zouden er ook toepassingen en analyses kunnen bestaan die de rechtsstaat ondermijnen? In Frankrijk vrezen ze van wel, en daarom hebben ze een bizarre wet ontworpen.

Wat is er aan de hand? In Nederland worden alle uitspraken van de vier hoogste rechters gepubliceerd, van rechtbanken en gerechtshoven een selectie. In verschillende landen – ook in Nederland – woedt er regelmatig een discussie over de vraag of niet (vrijwel) alle rechterlijke uitspraken zouden moeten worden gepubliceerd, zoals dat nu al praktijk is in bijvoorbeeld Slovakije, Letland, Bulgarije, Litouwen, Roemenië en Noord-Macedonië. Staatsrechtgeleerden, open-data-activisten en commerciële uitgeverijen propageren zo’n beleid; publicatie van alle uitspraken zou de rechtspraak pas echt transparant en controleerbaar maken.

Frankrijk heeft in 2016 ferm, maar nogal onbesuisd een wet aangenomen die bepaalt dat alle rechterlijke uitspraken als open data ter beschikking moeten worden gesteld. Echter, de rechterlijke macht zelf was niet bij de voorbereiding van deze wet betrokken en werd er nogal door overvallen: de logistieke, technische en financiële problemen bezorgden de rechters nachtmerries. Bovendien werpt de AVG (Algemene verordening gegevensbescherming) serieuze obstakels op. Omdat de persoonsgegevens in de uitspraken niet zijn verzameld voor het doel van publicatie, moeten deze allemaal worden gepseudonimiseerd (AVG-term voor ‘geanonimiseerd’). Dit kan niet lichtvaardig aan ‘AI’ worden overgelaten; gezien het scala aan persoonlijke ellende dat in een gemiddelde rechtszaak aan de orde komt, kan onzorgvuldige pseudonimisering gemakkelijk tot nieuwe menselijke drama’s leiden. Vanwege al deze uitvoeringsproblemen heeft de Franse rechtspraak een paar jaar respijt gekregen om tot volledige implementatie te komen.

Maar er is nóg een probleem, dat zich pas openbaart als de data scientists hun algoritmen op deze databerg hebben losgelaten. Want wat doen die wetenschappers, bedrijven en activisten eigenlijk met al die uitspraken? Ze kunnen bijvoorbeeld proberen om de uitkomst van een (potentiële) gerechtelijke procedure te voorspellen of om de beste argumenten voor hun zaak te verzamelen. Maar ze kunnen natuurlijk ook onderzoeken – en al dan niet in de openbaarheid brengen – hoe rechters het ten opzichte van elkaar doen. Wie bestraft scooterdiefstal het zwaarst? Wie beslist in alimentatiezaken en conflicten over omgangsregelingen vaker in het voordeel van de man of de vrouw? Wie kent de hoogste schadevergoedingen toe? Welke argumenten moet je bij welke rechter gebruiken?

Dergelijke analyses zijn deels gewoon klassieke statistiek. Maar dankzij natural language processing en data mining kan de computer in een paar seconden kwantificeren waar een turvend mens maanden over zou doen. Vooral in de Angelsaksische wereld passen advocatenkantoren en repeat players dergelijke algoritmen al veel langer toe, al geven ze daar uit concurrentieoverwegingen natuurlijk geen ruchtbaarheid aan. Wetenschappers en betrokken burgers echter kunnen met dergelijke analyses rechterlijke willekeur blootleggen.

Dat is precies wat er in Frankrijk in datzelfde jaar, 2016, gebeurde. Met enkele AI-algoritmen werd er onderzoek gedaan op 250.000 uitspraken in asielzaken, die overigens al beschikbaar waren gesteld voor de inwerkingtreding van genoemde wet. Haarscherp werd aangetoond dat er aanzienlijke en onverklaarbare verschillen bestaan tussen de uitspraken van individuele rechters. Publicatie van het onderzoek leidde tot bedreiging van onderzochte rechters, alsmede tot magistratelijk en politiek tumult.

Want hier bleek een ander rechtsstatelijk beginsel in het geding: de rechterlijke onafhankelijkheid. Immers, dergelijk kwantitatief onderzoek kan de rechter kwetsbaar maken voor framing en maatschappelijke kritiek. De rechter kan gemakkelijk het mikpunt worden van kritische burgers, politici en collega’s, terwijl zij keurig blijft binnen de grenzen van de beslissingsruimte die een rechter nu eenmaal heeft. Dit kan vervolgens leiden tot aanpassingsgedrag: de rechter gaat zich, om de kritiek voor te zijn, richten op het gemiddelde, althans zoals dat blijkt uit het mogelijk onvolkomen algoritme dat werkt met mogelijk onvolkomen data, dat bovendien altijd historische gevallen betreft en geen rekening houdt met buiten-algoritmische omstandigheden.

De Franse magistratuur kreeg de wetgever mee in het standpunt dat dergelijke high tech analyses de rechterlijke vrijheid en onafhankelijkheid te veel zouden aantasten. Discussie ontstond alleen nog over de vraag hoe dit kon worden opgelost. Enerzijds zouden ook de namen van rechters gepseudonimiseerd kunnen worden (zoals bijvoorbeeld ook in Rusland gebeurt), anderzijds zou dergelijk onderzoek gewoon verboden kunnen worden.

De nieuwe wet, die deze maand in werking trad, biedt beide opties. Omwille van de leesbaarheid enigszins geparafraseerd zegt die wet:
• De namen en achternamen van de natuurlijke personen die in het vonnis worden genoemd, wanneer zij partijen of derden zijn, worden onleesbaar gemaakt voordat de uitspraken voor het publiek beschikbaar worden gesteld. Ook gegevens waardoor partijen, derden, rechters magistraten en griffiers kunnen worden geïdentificeerd, worden gepseudonimiseerd wanneer de openbaarmaking daarvan mogelijk de veiligheid of de eerbiediging van de privacy of hun omgeving zal ondermijnen.
• De identiteitsgegevens van magistraten en griffiers mogen niet worden gebruikt wanneer dat als doel of effect heeft het evalueren, analyseren, vergelijken of voorspellen van hun werkelijke of vermeende professionele gedrag.

Leest u vooral dat tweede deel nog een keer, en laat even goed tot u doordringen wat er staat. En mocht u de Franse staat willen uitdagen, bedenk dan dat overtreding van deze wet wordt bedreigd met een gevangenisstraf van vijf jaar en een boete van 300.000 euro.

Conclusie: Frankrijk gaat miljoenen uitgeven aan het als open data beschikbaar stellen van alle rechterlijke uitspraken. Maar wie iets met die gegevens wil doen om het werk van individuele rechters kritisch tegen het licht te houden, mag op staatskosten een half decennium in retraite.

Franse magistratuur en wetgever hebben terechte vragen gesteld, maar in paniek en arrogantie het verkeerde antwoord gegeven. Laten we dat in Nederland beter doen, en eerst maar eens heel goed nadenken over dit soort complexe vraagstukken, voordat we overhaast en lichtzinnig besluiten tot publicatie van alle uitspraken.

Marc van Opijnen is adviseur rechtsinformatica bij het Kennis- en exploitatiecentrum Officiële Overheidspublicaties (BZK/UBR/KOOP).