De eerste generieke AI is de bureaucratie

“Een bureaucratie ziet ons met duizend ogen. Ze ziet altijd maar een facet van ons, een belastingbetaler, een bijstandsgerechtigde of een snelheidsovertreder. Terwijl er in werkelijkheid één burger is en duizenden bureaucratieën.” Beeld: Pixabay / Ben_Kerckx

In de onvolprezen BBC serie ‘Yes minister’ uit de jaren ’80 van de vorige eeuw, botst de logica van politicus Jim Hacker elke aflevering met die van zijn departement van administratieve zaken. In de aflevering ‘de invoelende samenleving’ [2] ontdekt hij via zijn chauffeur dat er een ziekenhuis is waar 500 man administratief personeel werkt, maar dat geen enkele patiënt heeft. Op kantoor legt zijn secretaris uit dat het ziekenhuis tijdens de opstartfase te maken kreeg met bezuinigingen, waardoor er geen geld meer was om medische staf aan te nemen. Het is dan ook niet het enige ziekenhuis in zijn soort. Ziekenhuizen, verstrooid over het land en die gereed kwamen in dezelfde tijd, zitten in dezelfde situatie. Als hij het ziekenhuis bezoekt, vraagt hij aan de hoofdadministrateur of zij niet ook geschokt is. Zij wijst hem op de voordelen, zoals de langere levensduur van het medisch materiaal en de lage variabele kosten. “Maar er zijn geen patiënten”, werpt Hacker tegen. En hoewel ze het daarmee eens is, moet “het essentiële werk van het ziekenhuis wel doorgaan.” “Het essentiële werk?” Het runnen van een organisatie van 500 man gaat niet vanzelf, zo verklaart ze. En dat gaat goed. Het is het best presterende ziekenhuis van het land en genomineerd voor de Florence Nightingale prijs. (bekijk de scene)

Zoals vaak met humor, ligt er diep inzicht in besloten. Je hoeft maar aan een bureaucratie te denken om te weten dat veel intelligentie en veel gegevens niet per se leiden tot snuggere uitkomsten. Dat zou met kunstmatige intelligentie ook wel eens zo kunnen zijn. In de kern zijn er twee lastige problemen in de omgang tussen mens en bureaucratie. Ten eerste het onvermogen van ons mensen om aan te geven wat we eigenlijk willen en dat te laten toetsen aan de werkelijke uitkomsten. In Yes Minister ontdekt Hacker dat keer op keer. “Minister, zei u niet dat u de cijfers omlaag wilde?” Meestal duurt het dan even voordat tot Hacker doordringt wat zijn ministerie van administratieve zaken daadwerkelijk heeft gedaan. “Maar…. ik bedoelde niet de cijfers, ik bedoelde het werkelijke aantal ambtenaren.” Het tweede probleem is het complement daarvan: het onvermogen van de bureaucratie als geheel tot gezond verstand, tot werkelijk begrip van de situatie.

Laten we eens kijken of hierin misschien een parallel te trekken is, met kunstmatige intelligentie. Kunstmatige intelligentie wordt doorgaans gedefinieerd naar haar doel: het evenaren van menselijke intelligentie. Voor het beschrijven van wat kunstmatige intelligentie is of onderzoek hoe kunstmatige intelligentie de samenleving nu verandert, is dit niet zo’n handige definitie. Bovendien is het een wetenschappelijke ambitie. In de samenleving streven we vaak juist iets anders na. Of zoals cabaretier Theo Maassen tegen z’n vriendin zei, net nadat hij een afslag voorbij reed en de navigatie in stilte de route herberekende: “Kijk, zo kan het ook.”

Neurale netwerken

In definities die dichter staan bij wat kunstmatige intelligentie nu is, komen twee begrippen steeds terug: het gaat om autonome en zelflerende systemen. Er zijn in grote lijnen twee soorten systemen die daaraan voldoen. Op de eerste plaats systemen die met grote hoeveelheden gegevens – ‘big data’ – worden getraind in het oplossen van specifieke problemen. Hier hebben de laatste jaren grote doorbraken de pers gehaald. De doorbraak zit eigenlijk niet in de techniek zelf, maar in het stellen van de vraag. Die is veel eenvoudiger geworden. Bij experimenten zat eerst nog een flinke menselijke bijdrage, zoals spelregels of het categoriseren van plaatjes naar inhoud of format of statistiek, bedacht door mensen. Nu krijgt de kunstmatige-intelligentie-in-opleiding gewoon een datastroom, een handvol handelingsopties en vooral – daar zit de kern – eenduidige feedback: hij wint of verliest, bijvoorbeeld een spelletje Go. Die eenvoud maakt het mogelijk om twee domme kunstmatige intelligenties zichzelf in interactie te trainen tot twee slimme kunstmatige intelligenties. Dat is succesvol. De computer kan nu de mens verslaan in een spelletje Go [3] of schaak of Super Mario World [4].

Automatische netwerkbeslissingen

Anderzijds zijn er systemen waarin beslisregels zijn opgenomen. Bij de overheid betekent dit dat wetten zijn omgezet in eenduidige criteria. Die criteria worden toegepast op gegevens in een registratie. Wie in de registratie voldoet aan de selectiecriteria, krijgt – bijvoorbeeld – een aanslag voor de wegenbelasting. Zo worden in Nederland miljoenen besluiten per jaar genomen. De gegevens kun je in dit geval ‘big data’ noemen, omdat het om grote hoeveelheden gaat. Toch zijn er belangrijke verschillen. De gegevens zijn gestructureerd. Dat is gedaan door mensen. [5] Het gaat bijvoorbeeld om adressen of om besluiten die daarna een nieuw leven beginnen als gegeven voor andere besluiten, zoals de WOZ-waarde van je huis. Ook het leren heeft een ander karakter. De beslissing wordt niet ‘getrained’ met data. De slimheid zit vooral in de gegevensuitwisseling die maakt dat de Belastingdienst van de RDW weet dat je een auto hebt. Dit noemen we daarom automatische netwerkbesluiten. [6] Deze laatste soort is in Nederland volledig verweven met de bureaucratische organisatie zelf.

Bureaucratie

Het is misschien goed op te merken dat bureaucratie ook een technologie is, al is ze niet van silicium. Het is een technologie van regels, die op elkaar moeten aansluiten en elkaar versterken. In een bureaucratie gebeurt dat door het organiseren van het werk rond registraties en door het scheppen van rollen. Rollen waaraan mensen identiteit en waarden ontlenen, zoals leraar of politie-agent. Als de regels voor het werk en de organisatie goed uitgelijnd zijn, zullen mensen die verdedigen omdat ze zich identificeren met de belangen die ermee samenhangen. Er is dan een ambtenaar burgerzaken geschapen, die zich vanuit z’n rol identificeert met de waarden van betrouwbaarheid en rechtszekerheid en het belang van een correcte registratie verdedigt. Als dat lukt, levert dit een bureaucratische machine, die betrouwbaar en continu taken uitvoert. Met andere woorden: bureaucratie is een manier om werk te organiseren én een systeem waarmee we waarden organiseren, zowel voor de mensen die erin werken als in termen van uitkomsten voor de samenleving. De wereld zal nooit meer hetzelfde zijn. [7] Jim Hacker ontdekt dat als hij het ziekenhuis probeert te sluiten en iedereen tegen zich krijgt: er zijn ook belangen georganiseerd.

Waar is het gevaar?

Waar is nu het gevaar, waarvoor wij controle nodig hebben? Is dat gelegen in superieure intelligentie of juist in simplisme? Over de gevaren van bureaucratie zijn boekenkasten vol geschreven. Daarom heb ik ze in een overzichtelijk tabelletje gezet. (Uit: De Digitale Kooi [8], Widlak & Peeters, Boombestuurskunde, 2018)

Organisatie

Principe
Disfunctie

Centralisatie
Besluitvorming voorbehouden aan de top
Isolatie: besluitvorming zonder oog voor de sociale werkelijkheid

Hiërarchie
Verticale ordening van verantwoordelijkheden
Parafencultuur: verantwoording als doel op zich

Formalisatie
Werken langs formeel vastgelegde regels en documentatie
Administratieve regel- en lastendruk: onnodige rompslomp

Standaardisatie
Werken volgens vaste definities en procedures
Simplificatie: uitzonderingen op formele regels niet mogelijk

Specialisatie
Werk is verdeeld op basis van expertise en competenties
Verkokering: geen coördinatie tussen taken en medewerkers

Werk

Principe
Disfunctie

Objectiviteit
Het werk wordt uitgevoerd zonder aanziens des persoons
Onverschilligheid: werk wordt ritualistisch en niet responsief uitgevoerd

Expertise
Selectie en promotie op basis van expertise
Legalisme: procedures worden onredelijk precies gevolgd

Wat opvalt in de geschiedenis van de bureaucratische disfuncties, is dat – anders dan in de discussie over kunstmatige intelligentie – nooit het groeiende vermogen informatie te verwerken in combinatie met leervermogen is geproblematiseerd. Nooit is gewaarschuwd voor een bureaucratische singulariteit, waarbij de intelligentie van het bureaucratisch systeem oneindig dreigde te worden. Veel vaker is het gebrék aan leervermogen geproblematiseerd, al gaat dat meer over wát een bureaucratie leert en of ze er naar handelt, dan over het feit dát ze leert. Onze bureaucratie leert veel en autonoom en vaak met enorme resultaten.

Maar zoals gezegd: er zijn twee belangrijke problemen: ons onvermogen aan te geven wat we willen en te toetsen op de werkelijke uitkomsten en het onvermogen van de bureaucratie als geheel het soort intelligentie te laten zien dat we ‘gezond verstand’ noemen. Dat heeft alles te maken met waarvoor ze is organiseerd: het verwerken van grote aantallen. Mensen worden samengevoegd in categorieën, zodat er mee kan worden gerekend. We organiseren werk rond registraties, waarin alleen staat wat erin past: een adres of een inkomen. Dankzij die registraties kunnen we werk overdragen en verdelen over organisaties en afdelingen. Maar het betekent ook dat een bureaucratie ons ziet met duizend ogen. Ze ziet altijd maar een facet van ons, een belastingbetaler, een bijstandsgerechtigde of een snelheidsovertreder. Terwijl er in werkelijkheid één burger is en duizenden bureaucratieën. De individuele ambtenaar, in principe uitgerust met gezond verstand, is zowel beperkt in wat hij ziet door de plek waar hij zit en de registratie waarmee hij kijkt, als beperkt in zijn mogelijkheid tot handelen. Dat is bewust en terecht, want met die beperkingen organiseren we nu juist waarden als integriteit en gelijke behandeling. Maar omdat dit ook perverse effecten kan hebben, zijn tal van correctiemechanismen ingevoerd waarmee burgers zich kunnen beschermen tegen onredelijke uitkomsten.

Het ontdekken van dit soort onredelijkheid is waarom we bij Stichting Kafkabrigade samen met betrokken organisaties kijken naar het probleem van een burger. Het is een reality check. Om weer even samen de norm vast te stellen: is dit nu de bedoeling? Of moeten we het werk toch anders organiseren?

Als we kijken naar kunstmatige intelligentie, dan zien we veel overeenkomsten, zeker als we kijken naar de disfuncties. ICT heeft in het algemeen veel overeen met de bureaucratische wijze van organiseren. Het werk (algoritme) is georganiseerd rond registraties (data). Beide zijn gericht op het verwerken van grote hoeveelheden gevallen. Regels worden in de uitvoering omgezet in expliciete criteria en de kennis om tot een oordeel te komen wordt beperkt tot wat in data kan worden vastgelegd. ICT klinkt hipper, maar is bureaucratisch van aard.

De grote beperking van kunstmatige intelligentie is dat beide soorten niet kunnen reflecteren. Als mens zijn we in staat om ons perspectief geheel te wijzigen en alle categorieën en criteria los te laten op basis van een enkel stukje informatie of op basis van een enkele casus. Dit wordt prachtig geïllustreerd in de urban legend over wat lijkt als communicatie tussen twee schepen. [9] Een groot schip van de Amerikaanse marine wil niet van koers wijken. Een Europese stem aan de andere kant geeft aan slechts met twee man en een hond te zijn, maar ook niet te wijken. Als in de laatste zin blijkt dat de twee man en de hond in een vuurtoren zitten, begrijp je als luisteraar dat alles anders is dan je eerst dacht. Je gelooft dat ook de commandant van de marine dat begrijpt. De urban legend is bijna een parabel over de waarde van flexibiliteit en het perspectief van de ander. Een optimistische parabel, omdat je gelooft dat het grote schip tot inzicht komt. Maar dat vermogen om door de ogen van de ander te kijken, het perspectief van de ander te begrijpen, heeft een kunstmatige intelligentie niet. Dat is wat een kunstmatige intelligentie fundamenteel vervreemdend maakt: het onvermogen om redelijk te zijn en daar naar te handelen.

Er zijn veel gevaren te benoemen bij beide typen kunstmatige intelligentie, maar het grootste gevaar is dat redelijkheid afhankelijk wordt van wat een systeem kan. Dat gevaar speelt meer bij automatische netwerkbeslissingen dan bij neurale netwerken. Dat komt omdat we ons redelijk bewust lijken te zijn dat neurale netwerken fouten maken die we niet willen accepteren [10], zeker niet in een overheidscontext, en omdat we groot belang hechten aan verantwoording.

Automatische netwerkbesluiten daarintegen zijn in Nederland volledig verweven met de bureaucratische organisatie. Ze zijn eigenlijk de eerste generieke kunstmatige intelligentie. Ze zijn zeer autonoom, de helft van de besluiten wordt genomen zonder dat er een mens aan te pas komt. En ze zijn – zeker in de context van de bureaucratie als geheel – zelflerend. Meer en meer knopen we ze aan elkaar via gegevensuitwisseling. Dat maakt het steeds moeilijker om iets te doen zónder dat systeem of in afwijking van dat systeem. Het maakt dat ambtenaren niet alleen beperkt zijn door de bureaucratische organisatie, maar ook dat ze beperkt zijn door wat in dit systeem past. Een systeem dat alleen nog aanpasbaar is door een collectieve inspanning van vele organisaties.

Het gevaar van kunstmatige intelligentie hier en nu zit niet in haar superieure intelligentie, maar in haar simplisme. En in ons eigen simplisme, dat we denken efficiënt en innovatief bezig te zijn, terwijl we ons afhankelijk maken van onredelijke systemen.

Controle houden betekent niet dat kunstmatige intelligentie fout is of dat er waarden ingeprogrammeerd moeten worden. Controle betekent door de hype kijken en haar zien voor wat ze is en wat ze kan. Dat betekent ook zien wat ze niet kan en zorgen dat mens en machine elkaar kunnen aanvullen. Dat is niet op de eerste plaats een technisch probleem. De grootste opgave zal zijn om het belang te organiseren om dat te willen zien, te kunnen zien en om daar naar te handelen.

Arjan Widlak is directeur van Stichting Kafkabrigade. De Kafkabrigade doet casusonderzoek als manier om innovaties te starten met zicht op reële problemen voor echte mensen.

[1] Lees bijvoorbeeld ‘Superintelligence’ van Nick Bostrom. (Oxford University Press, 2014)
[2] Kernfragment – Gehele aflevering Boek ‘The Complete Yes Minister’ van Jonathan Lynn, Anthony Jay, 1987 hoofdstuk 8.
[3] Hetzelfde principe kan gebruikt worden om een computer computerspelletjes te leren. De methode wordt nu zelfs gebruikt om chatbots die moeten leren met mensen te praten of onderhandelen, te trainen. Bijvoorbeeld: https://www.snopes.com/fact-check/facebook-ai-developed-own-language/
[4] Leuk en toegankelijk voorbeeld van ‘neuro-evolutie’ in een video: https://www.youtube.com/watch?v=qv6UVOQ0F44
[5] Bedenk: ook gegevens en besluiten die zijn ingevoerd en/of genomen door geautomatiseerde systemen, zijn gegevens die gestructureerd zijn door mensen, omdat het mensen zijn die de beslisregels maken.
[6] Veel vaker nog hoor je de uit het supply chain management afkomstige term ‘keten’. Echter in het bedrijfsleven is er altijd een natuurlijk eindpunt, het product voor de klant, aan de hand waarvan je een keten kunt reconstrueren. Bij de overheid echter zijn besluiten, het product, vaak geen eindpunt, omdat ze direct ook weer een nieuw gegeven zijn voor andere besluiten. Er is regelmatig geen keten te reconstrueren.
[7] Je zou het – naar Jünger – een ‘Gestallt-switch’ kunnen noemen. De wereld verandert, omdat die ons anders voorkomt; omdat we die anders begrijpen. En – zoals Heidegger op onnodig ontoegankelijke wijze zegt – het wezen van de techniek is dat ze ook ons verandert. In het kader van de vraag van deze avond: we worden er afhankelijk van. Als we daarin passief zijn of denken dat techniek neutraal is, is techniek geen bevrijding.
[8] http://digitalekooi.kafkabrigade.nl/de-digitale-kooi/wat-is-de-digitale-kooi
[9] Bijvoorbeeld: https://www.facebook.com/TheRandomVideos.r/videos/567693213566930/ Achtergronden: https://en.wikipedia.org/wiki/Lighthouse_and_naval_vessel_urban_legend
[10] Profilering gebruiken om automatisch besluiten te nemen is in Nederland niet toegestaan zonder dat daar eigen wetgeving onder ligt. Er is nu één voorbeeld van profilering toegestaan door een eigen wet: SyRI (Systeem Risico Indicatie).