Hoe ontwikkel je een ethisch kompas?

Hoe gebruik je ethiek om het ontwikkelen en toepassen van technologie een goede kant op te sturen? Marc Steen beschrijft een concreet interatief proces in drie stappen met vier perspectieven: een moreel kompas. Klein beginnen, bijvoorbeeld met een meeting van anderhalf uur. Idealiter organiseer je vaker dit soort meetings en ook meetings met meer diepgang.

Iedereen die werkt voor de overheid krijgt te maken met data, algoritmen, en wat tegenwoordig ‘AI’ wordt genoemd. Vaak een systeem dat op basis van data voorspellingen doet, een risk assessment systeem. Zo’n systeem kan bijvoorbeeld een rode vlag zetten bij een persoon die mogelijk fraude pleegt. Zulke systemen moeten passen binnen de regels van een democratische rechtstaat. Dat gaat soms mis. In 2020 verbood de rechter het gebruik van SyRI. En duizenden mensen ondervonden – en ondervinden nog steeds – enorme schade door de crisis met de kinderopvangtoeslagen.

Omdat voorkomen beter is dan genezen, kunnen we beter al tijdens het ontwikkelen en implementeren van zo’n systeem rekening houden met allerlei ethische aspecten, naast die juridische aspecten. Want ethiek kan helpen om een project veilig van A naar B te brengen. Ethiek werkt dan als een stuur. Ethiek kan je helpen om met je project op de goede weghelft te blijven, niet te botsen, en de juiste afslagen te nemen. Zo kunnen we ethiek heel concreet maken. Met drie stappen en vier perspectieven.

Drie stappen, in een iteratief proces

Je kunt ethiek praktisch maken door een proces van reflecteren en beraadslagen te organiseren. Dat kan in een proces van drie stappen die je het best kunt organiseren als iteratief proces:

• 1) Leg de issues of risico’s op tafel; waar maak je je zorgen over, wat zou er mis kunnen gaan?
• 2) Organiseer gesprekken waarin je die issues van verschillende kanten bekijkt; binnen je projectteam, of ook met mensen van buiten je organisatie.
• 3) Neem besluiten, liefst op een iteratieve manier; je probeert iets uit, evalueert de uitkomsten, en stuurt bij. Belangrijk voordeel van deze stappen is dat je accountable kunt zijn: je hebt serieus gekeken naar issues, daarover gesproken met verschillende mensen, en je hebt maatregelen genomen. Je kunt zo’n proces op allerlei manieren organiseren; groot of klein. Je kunt starten met een workshop van anderhalf uur, met vier mensen. Of je kunt ethische reflectie en beraadslaging opnemen als vast agendapunt in je wekelijkse projectmeetings, en er verschillende experts bij betrekken.

Het klinkt wellicht nog wat abstract: een iteratief proces met drie stappen. We kunnen dat concreet maken aan de hand van een voorbeeld, een casus; en met behulp van vier ethische perspectieven. Met die ethische perspectieven kijken we naar een concrete casus. Laten we zo’n risk assessment systeem als voorbeeld nemen: een systeem dat op basis van allerlei rode vlaggen zet bij de namen van mensen die worden geassocieerd met een hoge kans dat ze één of andere vorm van fraude plegen.

1) Gevolgenethiek

Een eerste perspectief is gevolgenethiek. Daarbij breng je plussen en minnen in kaart. Stel dat je dit systeem in de wereld zet, welke voordelen en welke nadelen zal dat dan opleveren? En tijdens het ontwerpen kun je verschillende opties met elkaar vergelijken: welke voor- en nadelen heeft ontwerpoptie A, en welke voor- en nadelen heeft ontwerpoptie B? Je kiest dan de optie met de meeste of grootste voordelen, of met de minste of kleinste nadelen. Als we naar dat risk assessment systeem kijken, dan kunnen we uitzoomen en reflecteren op de vraag of de kosten van zo’n systeem opwegen tegen de te verwachten positieve effecten. Hoeveel geld zou zo’n systeem kunnen besparen, in het ideale geval dat alle voorspellingen kloppen? We kunnen ook inzoomen en kijken naar de fouten die zo’n systeem kan gaan maken; bijvoorbeeld de false positive errors waarbij mensen onterecht worden aangewezen als fraudeur. Gevolgenethiek gaat ook over het rechtvaardig verdelen van die plussen en minnen. De kosten van de false positives komen vooral bij de burgers die onterecht worden aangewezen als fraudeur; zij lijden daaronder. Maar ook de overheid maakt kosten bij false positives, aan ineffectieve opsporing en aan het repareren van de gemaakte schade.

2) Plichtethiek

Plichtethiek is een tweede perspectief. Dat gaat over plichten en rechten, en lijkt op een juridische benadering. Laten we weer kijken naar dat risk assessment systeem. Aan de ene kant heeft de overheid de plicht om publieke middelen zorgvuldig te besteden. Daaruit komt een plicht voort om fraude met sociale voorzieningen te bestrijden. Aan de andere kant hebben burgers rechten. Zoals het recht op privacy, in brede zin, zoals in Artikel 8 van het Europees Verdrag voor de Rechten van de Mens: het recht op eerbiediging van privé-, familie- en gezinsleven (hiernaar verwees de rechter in de SyRI-zaak). Als burgers te maken krijgt met onterechte vorderingen tot teruggave van toeslagen, dan kan dat hun hele leven overhoop gooien. Het kan jaren duren voordat alles is uitgezocht en rechtgezet. Een enorme inbreuk op hun leven. In plichtethiek streef je naar het combineren van diverse plichten van diverse actoren, met diverse rechten van diverse andere actoren. Soms kan technologie helpen om plichten en rechten te combineren. Een gemeente kan camera’s ophangen om veiligheid te bevorderen en daarin privacy enhancing technology gebruiken, om tegelijkertijd ook de privacy van burgers te beschermen (zie de boeken van Carissa Veliz en Jaap-Henk Hoepman).

3) Relatie-ethiek

We kunnen ook kijken naar de invloed die technologie heeft op de relaties en interacties tussen mensen. Dat perspectief kunnen we relatie-ethiek noemen. Het is verwant aan zorgethiek (ethics of care) en aan mediatie-theorie, populair gemaakt door bijvoorbeeld Peter-Paul Verbeek. Hoe werkt dat in de praktijk? Met zo’n risk assessment systeem zullen opsporingsambtenaren anders naar burgers kijken dan zonder zo’n systeem. En ambtenaren zullen op een bepaalde manier kijken naar personen die een rode vlag van het systeem krijgen. Zo’n ambtenaar zal zijn of haar professionele discretie gebruiken en onderzoeken of die rode vlag daar terecht of onterecht staat. Maar toch. Zo’n systeem kost veel geld en het zou zonde zijn als we niks doen met die risk assessments. Relatie-ethiek kun je gebruiken voor het ontwerpen van zo’n systeem en van de processen waarmee mensen het systeem in de praktijk gaan gebruiken. Het gaat ook over macht en het verdelen van macht. Kan een ambtenaar correcties invoeren, als feedback, waardoor het systeem kan ‘leren’? Zijn er processen waarmee burgers inzicht kunnen krijgen in hoe het systeem werkt, welke data werden gebruikt? En zijn er processen waarmee ze effectief bezwaar kunnen maken en correcties kunnen laten uitvoeren?

4) Deugdethiek

Een vierde perspectief is deugdethiek. Dit gaat terug tot het Athene van Aristoteles en is momenteel populair in techniekethiek, bijv. door het werk van Shannon Vallor. Met dit perspectief kijken we naar hoe technologieën mensen helpen, of juist hinderen, om relevante deugden te cultiveren. Als iemand de hele dag op social media zit, dan neemt de deugd van zelfbeheersing af van die persoon. Kijken we weer naar het voorbeeld van risk assessment. In het ideale geval kunnen mensen zo’n systeem op zo’n manier gebruiken dat het hen helpt om moed, rechtvaardigheid en zorgvuldigheid te cultiveren. Moed om in bepaalde, onrechtvaardige gevallen aan de bel te trekken. En een combinatie van rechtvaardigheid en zorgvuldigheid om te zoeken naar oplossingen die zowel rechtvaardig als zorgvuldig zijn; desnoods via maatwerk-oplossingen, deels buiten het systeem om. Het interessante van deugdethiek is dat het niet alleen relevant is voor (professionele) gebruikers van systemen, maar ook voor de mensen die betrokken zijn bij het ontwikkelen en implementeren. Zij hebben deugden nodig, zoals zelfbeheersing (bijv. om data minimalisatie toe te passen), bescheidenheid (bijv. als ze rekening houden met fouten van het systeem), rechtvaardigheid (bijv. om bias in de training data tegen te gaan) en perspectief (bijv. afwisselend uitzoomen en vragen stellen over impact op de samenleving en inzoomen en vragen stellen over technische details).

Met deze drie stappen kun je concreet aan de slag. Met de vier perspectieven heb je een moreel kompas. Je kunt heel klein beginnen, bijvoorbeeld met een meeting van anderhalf uur: in een kwartier legt iemand de casus uit, een algoritme dat jullie ontwikkelen of dat al in gebruik is; daarna vier keer een kwartier voor de vier perspectieven op die casus; en tot slot een kwartier voor acties, zoals het verder uitzoeken van issues, of concreet ingrijpen op het ontwikkelen. Idealiter organiseer je vaker dit soort meetings en ook meetings met meer diepgang. Zo kun je ethiek gebruiken om het ontwikkelen en toepassen van technologie een goede kant op te sturen.   Kijktip: De Belgisch-Nederlandse science fiction serie Arcadia, daarin wordt uitgebeeld hoe social credit scores, algoritmes en omvangrijke surveillance het dagelijks leven en de samenleving bepalen.