Civil Weapons of Math Retaliation

Beeld: Jesse Kraal

Nu we met algoritmen steeds meer complexe problemen als kwantificeerbaar beschouwen, gaan we op grote schaal handelen naar het idee dat ons hele leven kan worden gevangen in een algoritme. Predictive policing, smart cities, HR-software, risico-indicatie systemen en robot rechters; overheden en bedrijven maken steeds meer gebruik van algoritmische besluitvorming. Terwijl de systemen worden bejubeld vanwege hun efficiëntie en privacyrechten inmiddels op de politieke agenda staan, is er weinig aandacht voor de morele implicaties en wiskundige simplificaties die schuilgaan achter de ontransparante algoritmen van deze systemen. Daarom ontwikkelt SETUP dit jaar Civil Weapons of Math Retalation. Deze moeten die morele implicaties van algoritmische besluitvorming inzichtelijk maken en de macht van moraliserende algoritmen eerlijker verdelen. Zodat burgers niet alleen in bezwaar kunnen gaan tegen een besluit van een algoritme, maar deze ook kunnen inzetten voor hun eigen empowerment.

Math destruction

Vooraanstaand wiskundige Edward Frenkel waarschuwt dat algoritmen gebaseerd zijn op 19de eeuwse wiskunde. Hij vergelijkt de behoefte om het leven te vangen in algoritmen met een 11-jarige die net goniometrie heeft geleerd en plotseling gelooft dat alles in de wereld met cirkels en driehoeken is te verklaren. Door menselijk gedrag te reduceren tot simpele ‘als dit, dan dat’-scripts en alleen het meetbare prioriteit te geven, verliezen we menselijke waarden en onderlinge verschillen uit het oog. Veel aspecten van menselijk gedrag en maatschappelijke contexten zijn immers niet in cijfers uit te drukken.

Een van de grootste misverstanden over algoritmen is dat ze unbiased zijn en daardoor rechtvaardige beslissingen nemen. Met deze mythe rekent wiskundige Cathy O’Neil af in haar bestseller Weapons of Math Destruction. Het boek heeft algoritmische rechtvaardigheid internationaal op de agenda gezet. De kern van haar boodschap is dat algoritmen vooroordelen en morele aannames bevatten waar we ons onvoldoende bewust van zijn. Algoritmen zijn meningen verpakt in code die ten onrechte de suggestie wekken dat ze nauwkeurige en objectieve beslissingen nemen. Ze kunnen een destructief effect hebben op de samenleving doordat ze ongelijkheid, vooroordelen en stereotypen op grote schaal verspreiden.

Volgens O’Neil is een algoritme een ‘Weapon of Math Destruction’ wanneer hij voldoet aan drie criteria:
• Het algoritme is mysterieus: je weet niet welke morele aannames achter de scores en keuzes van het algoritme zitten en kunt je daardoor niet tegen de beslissing van het algoritme verzetten.
• Het algoritme is wijdverspreid: het algoritme legt menselijke vooroordelen vast in systemen die vervolgens klein onrecht op grote schaal kunnen verspreiden.
• Het algoritme is destructief: de beslissingen van het algoritme hebben een onwenselijk effect op de samenleving.

Neem bijvoorbeeld een algoritme dat door bedrijven wordt gebruikt om de beste CEO te kiezen. Omdat vrouwen ondervertegenwoordigd zijn als CEO, beschouwt het algoritme ‘vrouw zijn’ als voorspellende factor om ongeschikt te zijn als CEO.

Met het programma Civil Weapons of Math Retaliation wil SETUP een breed maatschappelijk debat stimuleren over de vraag hoeveel en welke besluitvorming we bereid zijn om van algoritmen te accepteren. In het beste geval wordt dit van tevoren op de ministeries uitgedacht, maar in de praktijk worden deze keuzes veelal door softwareprogrammeurs gemaakt die zich onvoldoende bewust zijn van de ethische systemen en normatieve claims die zij indirect in hun systemen bouwen. Het gebrek aan bewustzijn komt niet alleen voort uit de mythe dat algoritmen ‘unbiased’ zijn, maar ook uit een gebrek aan voorstellingsvermogen over hoe deze systemen in de praktijk gaan werken. Zo blijkt uit onderzoek van de Kafkabrigade dat algoritmische besluitvorming bij de overheid kan leiden tot allerlei onbedoelde gevolgen waardoor burgers ten onrechte kunnen worden uitgesloten van overheidsdiensten.

Volgens juridisch experts is onze huidige rechtsstaat onvoldoende ingericht om computergestuurde bureaucratieën te controleren en corrigeren. Op 25 mei gaat de General Data Protection Regulation (Algemene Verordening Gegevensbescherming) van kracht, maar of deze voldoende bescherming biedt is nog maar de vraag. De verordening gaat grotendeels over het veilig verzamelen en opslaan van data, maar over het maken van beslissingen op basis van afgeleide data blijft het vaag.

Artikel 22 spreekt over het recht op een menselijke interventie bij algoritmische besluitvorming, maar dat gaat slechts om individuele gevallen waar iemand tegen een besluit in beroep wil gaan. Door een menselijke interventie aan algoritmische besluitvorming toe te voegen, wordt niet bevraagd of we een bepaald besluitvormingsproces überhaupt in een algoritme moeten willen vangen. Ook is nog maar de vraag in hoeverre een individu gemakkelijk kan ingrijpen bij algoritmische besluitvorming in meer complexe omgevingen en taakstellingen. We zien nu nog een duidelijk verschil tussen bijvoorbeeld politieagenten, de apparaten die zij gebruiken en het ICT-bedrijf dat de software ontwikkelt. Maar deze werelden zijn aan het samensmelten.

Volgens data ethicus Sandra Wachter is het onduidelijk of algoritmische besluitvorming wettelijk verboden kan worden, of dat het alleen gaat om het recht op klagen als het kwaad al geschied is. Alles wijst op het laatste.

Math retaliation

Om burgers te wapenen tegen onjuiste algoritmische besluiten, hebben zij niet genoeg aan onduidelijke wetten en het recht op klagen. Daarom ontwikkelt SETUP in samenwerking met kunstenaars en experts op het gebied van Artificial Intelligence (AI) ‘Civil Weapons of Math Retaliation’, waarmee burgers zich kunnen wapenen tegen onwenselijke algoritmische besluitvorming vanuit overheden en bedrijven. Het programma bestaat uit vier ontwerpende projecten:

Beroepsklagers

Elke Nederlandse gemeente kent ze wel, de zogenaamde ‘beroepsklagers’. Het zijn vaak gepassioneerde juristen die er een sport van maken om aanvragen voor festival-, bouw- en omgevingsvergunningen tot op de puntkomma door te spitten en waar mogelijk bezwaar te maken. Beroepsklagers zijn vaak een doorn in het oog van stedelijke ontwikkeling en daarmee ook een effectief ‘civil weapon of math retaliation’.



In dit project werken we samen met filosoof Dirk van Weelden en AI-deskundige Swen Mulderij. 
We onderzoeken de tactieken van beroepsklagers. Wat als we deze zouden kunnen vangen in een algoritme? Is dat de toekomst van onze bureaucratie? Welke processen van besluitvorming willen we automatiseren? Door deze wapens te democratiseren, kunnen we een discussie stimuleren over de wenselijkheid ervan.

Reversed Predictive Policing

Begin februari is de politie een grootschalige wervingscampagne gestart voor honderden nieuwe IT’ers. Ze zijn nodig om aan te slag te gaan met het Criminaliteits Anticipatie Systeem. CAS maakt op basis van talloze gegevens digitale kaarten aan, waarop te zien is waar een inbreker of straatrover waarschijnlijk zal toeslaan.

In hoeverre is het mogelijk om apparaten te ontwerpen die dezelfde voorspellende inzichten aan de burger geven? Als de politie gebruik mag maken van predictive policing, zouden burgers dat ook mogen doen. Niet om de machtsverhoudingen in twijfel te trekken, maar om de werking, gebreken en het potentiële machtsmisbruik van deze systemen inzichtelijk en invoelbaar te maken.

Als de politie gebruik mag maken van predictive policing, zouden burgers dat ook mogen doen

In dit project werken we samen met kunstenaar Milou Backx. In haar werk onderzoekt ze de effecten van technologie door zich te onderwerpen aan haar eigen ontworpen systemen. In 2017 won ze de HKU Prijs Gemeente Utrecht met haar werk ‘Artificial Dumbness’. Ze ontwierp prototypes van apparaten waarin ze verschillende keuzes in haar leven overliet aan algoritmen en deze ook opvolgde. Zo stemde ze tijdens de Tweede Kamerverkiezingen van 2016 op de SGP, omdat haar apparaat dat voor haar bepaalde. Vervolgens ging ze op zoek naar redenen om deze keuze te rationaliseren. Haar werk illustreert hoe we algoritmische besluitvorming objectiveren, rationaliseren en internaliseren en daardoor minder in twijfel trekken.

24/7 functioneringsgesprek

Steeds meer bedrijven kiezen ervoor om sollicitanten algoritmisch te screenen. De HR-software industrie is big business. Vorig jaar opende verschillende internationale recruitment techbedrijven een vestiging in Nederland, waaronder het Chinese Seedlink. Een van de koplopers op het gebied van HR-software is HireVue. Het bedrijf heeft al 95 miljoen dollar opgehaald en werkt met bedrijven als Unilever en Goldman Sachs. Sollicitanten die eenmaal binnen zijn blijven een onderwerp van algoritmische screening; er bestaat ook software om communicatie van werknemers algoritmisch te analyseren.

De voordelen voor bedrijven zijn duidelijk: het besparen van tijd en kosten, maar in hoeverre plukken sollicitanten en werknemers hier de vruchten van? Op welke manier classificeren HR-algoritmen ons tijdens een sollicitatie en hoe kunnen we de autonomie teruggeven aan sollicitanten en werknemers? In dit project werken we samen met ontwerper Isabel Mager. Haar werk laat onder meer zien welke systemen schuilgaan achter onze ontworpen materiële omgeving en welke paradoxen en hypocrisie in deze systemen zijn ingebouwd.

‘Mag ik je gezicht even lenen?’

Gezichtsherkenning zie je op steeds meer plekken terug. Fastfoodketen Yum China introduceerde in samenwerking met internetgigant Alibaba een ’veiliger betaalsysteem’ waar je met je gezicht kunt betalen. Naast de iPhone X zijn er ook tablets die je ontgrendelt met je gezicht. ‘Mag ik je gezicht even lenen?’ is voor ouders die Face Unlock op de tablets van hun kroost hebben geactiveerd een hele gewone vraag. Deze voorbeelden gaan verder dan het klassieke surveillancevraagstuk. Ze laten zien dat gezichtsanalyse in toenemende mate wordt gebruikt voor een beslissing om wel of geen (commerciële) dienst te verlenen – en dus mogelijk te discrimineren.

De biometrische technologie die wordt gebruikt is niet neutraal, maar codificeert bestaande vormen van discriminatie. Vorig jaar bouwden onderzoekers bijvoorbeeld een algoritme dat met 91 procent zekerheid zou kunnen zeggen of iemand homo is. Het algoritme stond bol van de fouten. De gebruikte foto’s waren niet representatief doordat het algoritme enkel was gevoed met foto’s van jonge, blanke mensen. Ook werden culturele gewoontes, zoals geaccentueerde wenkbrauwen bij homo’s, gebombardeerd tot onderdeel van een vaststaande seksuele geaardheid.

Dit soort algoritmen kunnen in de toekomst gaan discrimineren op eigenschappen waar we ons nu misschien nog geen voorstelling van kunnen maken. Samen met creative coder Fako Berkers en wetenschapshistoricus Marieke Drost onderzoeken we de relatie tussen herkenningssoftware en algoritmische besluitvorming. Hoe zouden nieuwe vormen van discriminatie kunnen werken en wat kunnen we doen om daar grip op te krijgen?

Empowerment

Het artistieke onderzoek stelt ons in staat om aspecten van algoritmische besluitvorming te ontdekken en belichten die we nu nog niet kennen. Het transparanter maken van algoritmische besluitvorming en verborgen morele implicaties is een eerste stap naar empowerment. Maar met alleen transparantie zijn we er nog niet. Transparantie is betekenisloos zolang we niet begrijpen waar we naar kijken. Het bekendmaken van de logica achter een algoritmisch besluit betekent nog niet dat iedereen deze logica ook meteen kan begrijpen. Daarom hebben we sprekende voorbeelden, metaforen en teksten nodig die algoritmische besluitvorming voor iedereen begrijpelijk maken. Het Civil Weapons of Math Retaliation programma ontwikkelt deze beelden en vocabulaire. Zodat niet alleen experts kunnen meepraten, maar ook een breder publiek zich kan mengen in het debat over algoritmische besluitvorming.

Jelle van der Ster is algemeen directeur van SETUP. Hij heeft een achtergrond in media-technologie en literatuurwetenschap. Sinds 2006 is hij werkzaam in de creatieve industrie en onderzoekt de maatschappelijke impact van nieuwe media en technologie. Siri Beerends is cultuursocioloog en schrijver. Ze onderzoekt de ethische rol en betekenis van authenticiteit, autonomie en imperfectie in de context van verschillende opkomende technologieën.