Opgaves in Data Ethiek om mens en machine samen de “goede” weg te laten vinden
De ontwikkeling en integratie van nieuwe datagedreven technologie zal zich naar verwachting blijven ontwikkelen. Wat kunnen we als (overheids)organisaties doen om ervoor te zorgen dat daarbij de menselijke maat niet wordt opgeslokt? Een volwassen implementatie van data-ethiek is van belang om dit te voorkomen.
Met welk type persoon gaat met de nieuwe technologie of het algoritme werken? | Beeld: Shutterstock
Veel zaken zijn belangrijk, maar twee opgaves die daar voor mij essentieel in zijn springen er nu uit.
Opgave 1: Borgen van complementariteit in het samenwerken van mens en machine
Deze opgave gaat over de vraag hoe we gaan zorgen dat bij een voortgaande digitalisering van overheid en maatschappij, de mens en machine complementair aan elkaar zijn? Met complementair wordt hiermee bedoeld dat mens en technologie elkaars sterktes verrijken of elkaar zwaktes compenseren.
Vergelijkbaar met de uit de Griekse mythologie afkomstige Centaur, een wezen dat de kracht en het onderlijf van een paard combineert met het intellect en bovenlijf van de mens. De metafoor doortrekkend: de rekenkracht en patroon-analyse capaciteit van kunstmatige intelligentie (AI) kunnen in combinatie met menselijke creativiteit en morele zelfreflectie een nastrevenswaardige hedendaagse vorm van zo’n hybride samenwerking zijn. Oftewel, een best of both worlds solution.
Tegelijkertijd bestaat natuurlijk het risico dat we te snel handelen of onvoldoende stilstaan bij de mogelijke technologische gevolgen waardoor we uitkomen op een hele andere configuratie voor wat betreft het samengaan van mens en machine. Oftewel – om weer de metafoor van de Centaur te gebruiken – dat we eindigen met het onderlijf van een mens en het bovenlijf en de kop van een paard. Kortom, met een combinatie die niet het beste maar mogelijk juist het slechtste samenbrengt en dus een worst of both worlds situatie oplevert.
Maar hoe kunnen we dit voorkomen?
Door als eerste het uitgangspunt te nemen dat wanneer we als overheid technologie zoals AI of geavanceerde algoritmes inzetten in processen met mogelijkerwijs een grote impact op het levens van burgers, dat we dan juist daarin die complementariteit waarborgen.
De organisatorische context blijft vaak onderbelicht en iets waar ‘anderen’ voor verantwoordelijk zijn.
Voor wat betreft het inbedden van data-ethiek in organisaties, vraagt dit om een focus op belangrijke technische aspecten zoals datakwaliteit of modelkwaliteit. Maar ook om voldoende focus op de organisatorische context waarin technologie, algoritmes of kunstmatige intelligentie worden ingezet. Deze context blijft vaak onderbelicht en iets waar ‘anderen’ voor verantwoordelijk zijn, terwijl het juist essentieel is voor een volwassen implementatie van data-ethiek. Dat klinkt mooi, maar wat betekent dit nu concreet? Dat we bijvoorbeeld goed nadenken over een aantal zaken, waarvan ik er nu 3 kort bespreek.
1. Randvoorwaarden
Als eerste is het goed om te bedenken in wat voor soort proces de technologie/ het algoritme ingebed zal worden. Welke randvoorwaarden en maatregelen zijn er nodig om in dat proces de complementariteit van mens en machine te kunnen waarborgen? Een voorbeeld hiervan kan zijn om goed te kijken naar waar in het proces men ruimte inbouwt voor betekenisvolle menselijke toetsing bij geautomatiseerde of deels geautomatiseerde beslismomenten. Eén waarbij betekenisvolle menselijke toetsing betekent dat er een mens naar kijkt die ook echt een oordeel kan vormen en daadwerkelijk actie kan ondernemen om iets aan te passen in het beslisproces op basis van dat oordeel.
2. Type persoon
Ten tweede over het type persoon dat samen of naast de nieuwe technologie of het algoritme gaat werken. Gaat het dan om de zo vaak geroemde zelfstandige professional die op basis van feiten, kennis en relevante informatie tot een weloverwogen professioneel oordeel komt? En waarbij de input van het systeem/algoritme één van de factoren is die in de context gewogen wordt? Of is die mens meer een soort werkbij die direct door het algoritme of systeem gestuurd wordt of daar in verre mate door wordt geleid en vooralsnog alleen voor de beeldvorming op een knopje mag drukken zodat er formeel gesproken kan worden over menselijke toetsing.
Beeld: Shutterstock
3. Governance structuur
En als derde, wat is een passende governance structuur om de verantwoordelijkheid voor de inzet van bijvoorbeeld een algoritme te beleggen? Wie gaat waarover beslissen? Wie gaat verantwoordelijk zijn voor het borgen van de ethische kwaliteit van een algoritme gedurende de gehele levenscyclus van het product? Ligt de verantwoordelijkheid primair bij de ontwikkelaar of bij product- of proces eigenaren of moet dit juist bij een compliance officer of bij een soort Chief Data Officer horen. Daarbij is het van belang om vooral ook goed te kijken naar de verantwoordelijkheid voor de koppelvlakken tussen verschillende ontwikkelingsstadia van het product. Van ontwikkeling/pilotfase, naar de in productie name en onderhoudt, naar de uiteindelijke end of life fase? Houdt de verantwoordelijkheid voor ethische kwaliteit van een ontwikkelaar op na de in productie name of moet zij of hij ook hierop monitoren gedurende het gebruik. Of wat moet er bijvoorbeeld gebeuren met data die gegenereerd zijn met een algoritme dat uitgefaseerd is omdat het niet meer aan alle eisen en wensen voldoet? Mag die data nog steeds gebruikt worden?
Opgave 2: Borgen van betekenisvolle menselijke verantwoordelijkheid in de architectuur van processen en systemen
De afgelopen jaren is er (terecht) veel meer aandacht gekomen voor het kunnen borgen van de menselijke maat in uitvoeringssystemen en bij uitvoeringsprocessen richting de burger.
Nu merken ook wij dat soms bestaande processen – en vaak juist ook systemen – niet noodwendig zo zijn vormgeven dat ze makkelijk de mogelijkheid bieden om het maatwerk te accommoderen dat doorgaans wel nodig is om met die menselijke maat rekening te kunnen houden. Systemen en processen zijn vanuit efficiency oogpunt vaak gericht op optimalisatie richting de grootste gemene deler qua doelgroepen. Daarbij speelt dat er soms ook een element van wensdenken zit in de beelden die we voor ogen hebben als het gaat om de doelgroepen waar we het meeste inzet op plegen.
Onze systemen en processen moeten beter toegerust worden op het omgaan met uitzonderingen.
De ideale burger is digivaardig, heeft weinigen complicerende factoren in het dossier, kent de wet en is voortvarend in het melden van wijzigingen in situaties. Kortom, die heeft een hoog doen en denkvermogen. De realiteit is vaak complexer en als overheid zijn we er niet alleen om de ideaalburgers te bedienen, maar juist om ook al die burgers te helpen die om uiteenlopende redenen niet aan dat burger-ideaal voldoen. Laatstgenoemde vereist dat onze systemen en processen beter toegerust worden op het omgaan met uitzonderingen. Om dit te bewerkstelling en mogelijk te maken moet men al bij het ontwerp en op architectuurniveau de nodige maatregelen treffen. Omdat systemen nu eenmaal niet van de ene op de andere dag aangepast zijn, is het belangrijk om nu al te zorgen dat we in onze proces-, systeem- en data- architectuur de juiste principes adopteren om zodoende uitvoerende professionals de juiste zeggenschap te geven en ervoor te zorgen dat er doorgaans recht wordt gedaan aan de menselijke maat. Dit kan concreet door bijvoorbeeld architectuur principes te ontwikkelen en te adopteren die ervoor zorgen dat betekenisvol en gedocumenteerd menselijk ingrijpen bij alle (geautomatiseerde of AI-ondersteunde) processen of systemen altijd mogelijk zijn. In het recente door NORA opgestelde Dienstverleningsconcept is een vergelijkbaar uitgangspunt al geformuleerd. Dat is een goed begin. Het is zaak om hierop door te pakken zodat we het maatwerk niet alleen via vaak menselijke work arounds om de processen heen realiseren, maar ook daadwerkelijk in de grote processen inbouwen.
Volwassen implementatie van data ethiek
Een volwassen implementatie van data ethiek gaat daarom niet alleen over het voeren van gesprekken over spannende intellectuele of politieke vraagstukken zoals of je als overheid deep fakes mag inzetten of machine learning algoritmes mag ontwikkelen om financieel kwetsbare burgers op te sporen. Begrijp mij niet verkeerd, dit zijn relevante en goede vraagstukken om op te reflecteren en over te discussiëren. Echter, een volwassen implementatie van data-ethiek gaat voor een belangrijk deel ook om het creëren van een goede organisatorische context waarin deze ingebed kunnen worden.
De twee genoemde opgaves bieden belangrijke handvatten om nu al aan de slag te gaan en te zorgen dat mensen en machines ook met het oog op morgen samen de goede weg weten te vinden.
Reflectie
Dit artikel is gebaseerd op een keynote die ik onlangs gaf op de 10-jarige jubileumconferentie van het Centrum Informatiebeveiliging en Privacybescherming (CIP). Het is een reflectie op de opgaves waar we voor staan op weg naar een volwassen inbedding van data-ethiek bij overheidsorganisaties. Dit met als doel ervoor te zorgen dat we nu de nodige stappen zetten om over 5 tot 10 jaar voldoende recht te kunnen blijven doen aan de ambitie om de menselijke maat weer centraal te stellen bij de uitvoeringsprocessen van de overheid. Een ontwikkeling die nu mede wordt ingegeven doordat de lessen uit de kinderopvang toeslagen affaire op veel plekken weerklank vinden in het politieke en maatschappelijke debat over de manier waarop de digitale overheid met haar burgers om zou moeten gaan.
Alex Corra is Senior Beleidsadviseur Recht en Ethiek bij de Sociale Verzekeringsbank (SVB)
Alex,
Dank voor je artikel. Een paar opmerkingen
Ten eerste is de term Data Ethiek feitelijk onjuist. Data, gegeven feiten, is het rauwe, dat wat je kunt aanreiken.
Het eerste doel zou moeten zijn dat je eerst bepaalt welke data informatie is. Dus de data die betekenis heeft in je omgeving. Dan wordt het idee achter Data Ethiek ook ineens veel duidelijker, want je kunt duiden waar je over hebt. Informatie ethiek, dus.
Dan je idee om balans tussen organisatie en IT te hebben. Balans, effectieve afstemming, alignment.
IT is een manier om van informatie te voorzien. Een aanbod van oplossingen, dus. Echter, we hebben nauwelijks in beeld welke vraag er is. Vraag naar informatie, naar meer en/of beter weten. Als ik je lees is dat wat je node mist, en terecht. Je praat hier, als je dat weet, wel om de reden waarom je IT zou willen hebben, zou aanschaffen. Die reden is dus bepalend.
Daarom is er niet zozeer balans tussen vraag en aanbod nodig, maar een stevig geformuleerde en beheerde vraag waar je aanbod bij dient te passen. Die is er dus niet of nauwelijks.
Hoop dat je hier wat mee kunt. Het heeft nogal consequenties voor je kijkwijze en je aanpak.
Steven
Beste Alex,
In Universitaire Centra wordt veel onderzoek bij mensen gedaan.
Daar moet elk onderzoek op mensen eerst langs de Medisch Ethische Toetsings Commissie. Dit is vastgelegd in de Wet op Medisch Onderzoek (WMO) Een groep, die bestaat uit meerdere disciplines. Juristen, ethici, onderzoekdeskundigen, toetsers en medici.
Omdat de inzet van data en AI ernstige “bijwerkingen” kan hebben op de burger zou ik er voor willen pleiten dat er een wettelijk kader komt dat bepaald, dat het gebruik van data en inzet van AI eerst langs een Data (of informatie) ethiek commissie moet om pas na positief advies ingezet te kunnen worden. Daarmee voorkomen we mogelijk nieuwe affaires waarbij burgers ongewild de dupe worden.
Theo
De basis van het registreren van gegevens en wat te doen als netwerken falen etc door welke reden dan ook moet zodanig zijn dat er bij IT problemen ook nog gewerkt kan worden. Excuus van data issue, sorry geen behandeling vandaag of geen pinnen meer mogelijk! dat zijn de eerste issues waar men een waarborg stelling van moet regelen. Kan dit niet, dan zou ik per direct stoppen met verder eerst alles op IT gebied gaan regelen. Het heeft misschien voordelen maar bij een wereldwijde crash, dan gaan er slachtoffers vallen en wie neemt daarvan de verantwoordelijkheid, de regerenden? Dat zal dus nooit opgelost gaan worden.
Een oplossing zou moeten liggen in de verbindingen, geen wereldwijd netwerk als eerste, de regeringen zouden dit per direct moeten vaststellen dat het koppelen niet is toegestaan.
Dag heren,
even in respons op jullie reacties.
Theo:
Eens met je suggesties om meer conform het model van medische ethische commissies te werken. Je ziet dat dit ook steeds meer geopperd wordt om een dergelijke commissies in te zetten Bij de Volksbank is iets vergelijkbaars ingevoerd. In de Cip-webinar van dit voorjaar op onderstaande link verteld Joris Krijger hier meer over. http://www.youtube.com/watch?v=1FjycxQL9tg
Bert:
Ook eens dat er te weinig wordt nagedacht over redundantie in complexe processen (wel over technische redundantie als in up time en servers of availability), maar te weinig over de afhankelijkheid die we creëren door onze processen zo te optimaliseren richting een “happy flow” dat we onvoldoende capaciteit over houden om adequaat met onverwachte (verder buiten de reguliere bandbreedte van het proces liggende) situaties om te gaan. Ik denk dat dit ook een cultuur ding is in Nederland. Wij zijn en blijven handelsland zeer bedreven in optimaliseren om daar ons geld mee te verdienen. Tel daar bij op de invloed van New Public Management vanaf begin jaren ‘90 gericht op het hanteren van marktmechanisme om overheidshandelen te optimaliseren en je hebt een enorme druk richting alle processen en systemen maar “lean en mean” maken. Maar waarbij je op een bepaald punt de robuustheid of het “vet” wat je nodig hebt om flexibel en responsief met onvoorziene omstandigheden om gaan (maatwerk capaciteit) hebt weg geoptimaliseerd. In jouw metafoor je kan alleen nog maar pinnen en als dat uitvalt weet het winkelpersoneel niet meer wat ze moeten doen, want ze hebben nooit een kassa met wisselgeld gezien. Die kassa en de caissière zijn er jaren geleden uit gegaan omdat die als inefficiënt werden bestempeld want hoe vaak kwam het nog voor dat er cash nodig was.
Steven:
Bij data ethiek heb ik over ethische reflectie op de inzet van data (digitale informatie) in de breedste zin. Denken over wat informatie is, wat de waarde en kwaliteit daarvan is valt daar zeker onder. Eigenlijk zou je het misschien zelf beter het kunnen hebben over ethiek van het digitale technologie en informatie, want er valt genoeg te zeggen over de wenselijkheid van de dominante rol die technologie in ons hedendaags leven vervuld. Dat heb ik hier nu grotendeels buiten beschouwing gelaten omdat ik maar x aantal woorden mocht pakken. Wat goed is om te constateren is dat het soort vraagstukken waar we bij dit onderwerp voor staan eigenlijk niet nieuw zijn. Vanaf het moment dat de mens nieuwe technologische is gaan gebruiken zijn er telkens discussies geweest over hoe mens en machine/technologie zich tot elkaar moeten verhouden. De opkomst van geavanceerde AI in combinatie met de alomtegenwoordige aanwezigheid van sociale media en steeds goedkopere data generende technologie (denk aan IOT en smartphones) maken dat het weer en goed moment is om met dit soort vraagstukken aan de slag te gaan. Denken over data ethiek, waar inmiddels onder die noemer een brede literatuur en discourse over is, vind ik daar een goed frame voor. Zeker omdat we, na de beloftes en hype van digitalisering vanuit de jaren ’90 en 2000, de grootschalig digitalisering van ons leven en ook van de overheid als vanzelfsprekend en als onontkoombare voortgang zijn gaan ervaren. En de vraag die men daar vaak genoeg bij kan stellen is natuurlijk is dat wel echt zo? Bij komend voordeel van de trem data ethiek is vind ik in gesprekken merk dat men vaak minder angstig is voor de term data ethiek dan bijvoorbeeld techniek filosofie dat wordt dan onterecht als te esoterisch gezien, maar dat de vragen die je gaat stellen komen vaak wel overeen. Je kan het verhaal waarop ik het artikel heb op gebaseerd trouwens terug kijken, daar weidt ik er meer over uit. http://www.youtube.com/watch?v=MrRqeYA_N9A