‘ICT-architectuur is niet ethisch neutraal’

In de literatuur over ethiek en techniek wordt al sinds verschillende decennia beargumenteerd waarom het ontwerp van technologie en producten niet neutraal is. Dit geldt voor het ontwerp van ICT-systemen en ook voor ICT-architectuur. Zie onder meer Friedman, Kahn en Borman (2008), Nissenbaum (2005) en Lessig (1999). Tijdens het ontwerpen van zowel business als solution architectuur nemen ICT-architecten beslissingen die ethisch relevant zijn. In dit artikel zal ik deze claim illustreren. Binnen de ICT-architectuur lijkt een aantal ideeën vanzelfsprekend. Juist deze ideeën wil ik hier ter discussie stellen. Ik zal eerst ingaan op interoperability en vervolgens op algoritmen en hun veronderstelde neutraliteit en op het adagium dat meten weten is.

Interoperability, of de mogelijkheid tot het kunnen koppelen van systemen, lijkt een slim en efficiënt idee. Je hoeft data slechts eenmaal in te voeren, maar door een efficiënte interface tussen systemen kun je dezelfde data vaker gebruiken. Toch kun je je afvragen of dit inderdaad altijd goed is. Door interoperability gaan data als het ware reizen door systemen en dat maakt het corrigeren van data lastig. Dit kan grote gevolgen hebben als je kijkt naar privacy, maar ook naar rechtvaardigheid. Een voorbeeld van de (on)mogelijkheid om data te corrigeren is de casus Kowsoleea (Nationale ombudsman, 2009).

Identiteitsfraude

Ron Kowsoleea’s naam wordt tussen 1994 en 2002 stelselmatig misbruikt door een oud-klasgenoot. Deze oud-klasgenoot is een drugscrimineel en geeft elke keer dat hij aangehouden wordt, de naam Ron Kowsoleea op. De echte Ron Kowsoleea krijgt ten onrechte allerlei bekeuringen en boetes. Hij lijkt de identiteitsfraude uiteindelijk met de politie van Amsterdam opgelost te hebben, maar in 2002 beginnen de problemen weer van vooraf aan. Er wordt uiteindelijk een inval bij hem thuis gedaan door de FIOD, hij kan niet meer reizen en wordt steeds opnieuw aangehouden. Hierdoor gaat uiteindelijk zijn bedrijf failliet. Dit gebeurt allemaal terwijl de identiteitsfraude al sinds 1994 bekend is bij de autoriteiten. In oktober 2008 publiceert de Nationale ombudsman een zeer kritisch rapport en zegt de overheid Kowsoleea’s naam te zuiveren. In eerste instantie reageert de overheid dat dit niet kan omdat ze zelf ook niet precies weten in welke systemen de foutieve gegevens van Kowsoleea staan en overgenomen zijn. De overheid raadt Kowsoleea aan om een andere naam aan te nemen. Pas in tweede instantie wordt de naam van Kowsoleea gezuiverd (De Moed, 2013).

Ook in het recent verschenen boek De Digitale Kooi wordt een casus aangehaald waarbij de koppeling van allerlei systemen, in dit geval aan de basisregistraties, ongewenste effecten heeft die ook nog eens erg lastig te herstellen zijn (Widlak en Peeters, 2018). In de casus die Widlak en Peeters analyseren over een mevrouw wiens auto gestolen was en binnen een dag teruggevonden werd door de politie. De politie meldde het terugvinden van de auto niet bij mevrouw, maar meldde de auto wel weer aan in het kentekenregistratiesysteem. De systemen die onzichtbaar voor burgers gekoppeld zijn aan het kentekenregistratiesysteem en de gegevens automatisch verwerken leidden tot grote financiële problemen voor deze mevrouw, waarbij uiteindelijk de gemaakte fout door de politie wel toegegeven wordt maar mevrouw niet automatisch het geld dat ze heeft moeten betalen aan boetes en aanslagen voor niet uitgevoerde APK-keuringen, motorrijtuigenbelasting en verzekering terugkrijgt. Buiten haar schuld, onzichtbaar en onbegrijpelijk voor haar, leiden de systemen die interoperabel zijn ontworpen tot een voor haar onontwarbare knoop waarbij ook onduidelijk is waar ze terecht kan om de fout te herstellen. Wat begon met een fout van de politie die haar niet geïnformeerd heeft, eindigt met een aanzienlijke schuld op haar naam (Widlak en Peeters, 2018).

Systemen die interoperabel ontworpen worden, laten koppeling van systemen toe. Dit kan handig zijn, maar het moet een zeer bewuste keuze zijn, want het kan op gespannen voet staan met waarden als privacy en rechtvaardigheid. Wat betreft privacy maken interoperabele systemen het erg gemakkelijk om persoonsgegevens voor andere doeleinden dan waarvoor ze verzameld zijn te gebruiken. Dit gaat tegen het principe van doelbinding in. Bij niet-interopabele systemen moet er steeds bewust gekozen worden of gegevens van systeem A omgezet kunnen en moeten worden naar systeem B. Dit kost tijd en handelingen. Hoewel dit vaak lastig is, zie bijvoorbeeld de problemen met verschillende niet-interoperabele systemen waar mensen patiëntgegevens over moeten typen (Van der Geest, 2018), kan het bewust niet-interoperabel ontwerpen van een systeem soms ook een gewenste barrière opwerpen. Bij interoperabele systemen wordt de keuze laagdrempelig, want de systemen kunnen nu eenmaal gekoppeld worden. Dit verleidt tot overvloedig koppelen van systemen.

Algoritmen neutraal?

Een volgend idee dat achter de ontwikkeling van allerlei (big) data toepassingen zit is het idee dat algoritmen neutraal zijn en ons daarmee verlossen van biases en vooroordelen van mensen. Hoewel het gebruik van data inderdaad kan leiden tot beter onderbouwde beslissingen en de biases en vooroordelen van mensen duidelijk kan maken, is dit zeker niet automatisch het geval. Er is de afgelopen jaren al veel geschreven over biases in algoritmen. Zie bijvoorbeeld O’Neill (2016) en WRR (2016). In de keuze van welke data gebruikt worden om een algoritme te maken of testen, zit vaak al een selectie en die selectie kan verstrekkende gevolgen hebben. Zo had de politie van California het idee dat marihuana vooral gebruikt werd door Afro-Amerikanen en Hispanics en daar gingen ze dan ook naar op zoek. Ze vonden ook dat mensen uit die categorieën marihuana in het bezit hadden en daarmee leek het een goede beslissing om te focussen op die groepen. Nu blijkt uit sociologisch onderzoek dat het gebruik van marihuana in de Verenigde Staten onder alle bevolkingsroepen ongeveer even hoog is. Als zij meer aandacht aan blanke en Aziatische Amerikanen hadden besteed was er precies hetzelfde uitgekomen, namelijk een bevestiging van het eerdere idee (Levine Gettman en Siegel, 2010).

Ook in gevallen waar het gebruik van algoritmen een bijdrage zou kunnen leveren om de invloed van biases en vooroordelen te verminderen, moet goed bekeken worden of de inzet van algoritmen echt wel dit effect heeft of dat juist bepaalde groepen benadeeld worden. In de Verenigde Staten wordt in veel staten COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) gebruikt om het recidive risico in te kunnen schatten van verdachten. Dit systeem is gemaakt op basis van bekende criminogene factoren en kan rechters helpen om op basis van factoren, waarvan uit de criminologie blijkt dat ze voorspellende waarde hebben, beslissingen te nemen over voorlopige hechtenis, hoogte van gevangenisstraffen en verplichte begeleiding na gevangenisstraf. Dit kan eventuele vooroordelen van rechters verminderen omdat ze een breder inzicht krijgen in de criminogene factoren rondom een verdachten.

Verkeerde risicoinschatting

ProPublica heeft in onderzoek laten zien dat Afro-Amerikanen (zowel mannelijke als vrouwelijke verdachten) ten onrechte vaker in een hoger risicocategorie ingedeeld worden dan blanken en blanken vaker ten onrechte in een lage risicocategorie. Dit heeft gevolgen voor de mogelijkheid en de hoogte van de zogenaamde bail en zelfs voor de hoogte van de straf. De risicoinschatting heeft dus grote gevolgen voor de verdachten, maar het effect gaat verder. Omdat in COMPAS vragen zitten over de omgeving van een verdachte, betekent dat als een verdachte A gezien wordt als hoog risico en wellicht zelfs een hogere straf krijgt, dit dan meegenomen wordt in eventuele risico inschatting van volgende verdachten uit de omgeving van verdachte A (deze kennen tenslotte meer mensen die een langere gevangenisstraf uit hebben moeten zitten).

Nu zou je je kunnen stellen dat dit slechts een zwak punt is van algoritmen die door mensen worden opgesteld en dat we dit kunnen voorkomen door machine learning in te zetten. Machines hebben geen last van vooroordelen dus wellicht kunnen we zo tot de gewenste objectiviteit komen. Maar ook hier blijkt dat machine learning leidt tot een herhaling of zelfs uitvergroting van bestaande biases en vooroordelen. Zoek maar eens in Google op het woord ‘schoonheid’ en kijk dan naar de afbeeldingen die je te zien krijgt. Blijkbaar is schoonheid iets van blanke vrouwen dat met veel handelingen verkregen moet worden.

Google heeft in juli 2015 haar excuses aangeboden omdat het algoritme van google Photo app twee Afro-Amerikaanse jongemannen labelde als gorilla’s. Maar ook Flickr heeft dergelijke problemen gehad, waarbij ook Afro-Amerikaanse jongemannen gelabeld werden als apen en foto’s van een concentratiekamp als sport (Nieva, 2015).

‘Meten is weten’

Als laatste is het goed om aandacht te besteden aan het adagium dat ‘meten weten is’. Bij dit idee past dat je probeert alles uit te drukken in meetbare waarden om daarop een besluit te baseren. Dat lijkt rationeel en wetenschappelijk, maar toch heeft deze benadering ook een keerzijde: het leidt ertoe dat je je in beslissingen enkel laat leiden door gemeten, liefst telbare factoren. Nu zijn bepaalde factoren makkelijker te meten dan andere en kan de neiging ontstaan om beslissingen alleen op deze makkelijk te meten factoren te baseren. Maar zijn die factoren ook wel de essentie van waar je een beslissing over wilt nemen? Soms zijn slecht meetbare factoren erg belangrijk. Als het gaat om vriendschap en je wilt weten wat de beste vrienden van iemand zijn, gaat het dan om het aantal contact momenten en de lengte daarvan of het aantal berichten via WhatsApp? Dit zijn gemakkelijk meetbaar te maken factoren, maar bijvoorbeeld de diepgang van de conversaties en de gevoelde emoties zijn veel lastiger te meten, terwijl deze wel belangrijk zijn voor vriendschap.

Zoals bij alle ontwerpprocessen van technologieën worden bij het ontwerpen en inrichten van ICT-architectuur beslissingen genomen die ethisch relevant zijn. In dit stuk heb ik een aantal invloedrijke ideeën laten zien die vaak als vanzelfsprekend aangenomen worden in ICT-architectuur, maar die wel degelijk een keuze inhouden en waarbij het goed is als ICT-architecten deze ter discussie stellen. Er zijn verschillende methodes om met ethische vragen in een professionele context om te gaan. Dit loopt van gedragscodes tot trainingen tot checklists (Reding et al., 2013). Voor ICT-ontwerp is Value Sensitive Design als ontwerpmethode ontwikkeld. Dit kan een methode zijn die ook bij het inrichten van ICT-architectuur gebruikt kan worden (Friedman, Kahn en Borman, 2008). Een aanrader is in dit licht het boek van Widlak en Peeters. Zij formuleren in hun boek tien beginselen van behoorlijke ICT vanuit het oogpunt van behoorlijk bestuur.

Anke van Gorp is Hogeschoolhoofddocent Instituut voor Veiligheid; Onderzoeker Lectoraat Kennisanalyse Sociale Veiligheid/ Lectoraat methodologie van Praktijkgericht Onderzoek, Hogeschool Utrecht

Literatuur

De Moed K. (2013) 20 jaar Eenvandaag: identititeitsfraude Ron Kowsoleea

Friedman B., Kahn en Borman (2008) Value Sensitive design and Information Systems in Himma E. en Tavani H. T. (red) The Handbook of Information and Computer Ethics Edited John Wiley &Sons

Nieva, R.

Lessig L. (1999) Code and other laws of cyberspace, New York, Basicbooks

Levine H.G., Gettman J.B. en Siegel L. (2010). Targeting Blacks for Marijuana: Possession Arrests of African Americans in California, 2004-08. Los Angeles, Drug Policy Alliance

Nationale ombudsman (2009) De burger in de ketens. Verslag van de Nationale Ombudsman over 2008. Den Haag

Nissenbaum H. (2005) Values in Technical Design, Encyclopedia of Science, Technology and Ethics, New York: Macmillan, 2005, lxvi-lxx.

O’Neill C. (2016) Weapons of math destruction: how big data increases inequality and threatens democracy, New York, Broadway Books

Reding A., Van Gorp A. Robertson K. Walczak A. Giazomantonio C. en Hoorens S. (2013) Handling ethical problems in counterterrorism; an inventory of methods to support ethical decisionmaking, Cambridge, RAND Europe

Van der Geest M. (2018) Vinkje: nee, deze 70-jarige is geen slachtoffer van kindermishandeling, de Volkskrant, 23 april 2018

Widlak A. Peters R. (2018) De digitale kooi; (on)behoorlijk bestuur door informatiearchitectuur, Den Haag, Boombestuurskunde

Wetenschappelijke Raad voor het Regeringsbeleid (2016) Big data in een vrije en veilige samenleving, Amsterdam. Amsterdam University Press

Dit artikel is gebaseerd op een presentatie op de Dya-dag (9 maart 2018)