Glad ijs
Systemen nemen steeds meer besluiten over van mensen, en de maatschappij kijkt mee of de onderliggende algoritmes dat wel op een eerlijke manier doen. Worden vrouwen niet achtergesteld bij het solliciteren? En hebben achterstandsgroepen wel dezelfde kans op het krijgen van een krediet? Begrijpelijke vragen. Terechte vragen. Met de rechterlijke uitspraak over het Systeem Risico Identificatie van de overheid, SyRi, ook zeer actueel.
Het thema ‘eerlijke algoritmes’ is een veelkoppig monster, zoveel is zeker.
Wat ook zeker is: de beslissingen van een algoritme zullen nooit foutloos zijn, net zoals menselijke beslissingen dat nooit zijn geweest. En dus zijn de meest gangbare manieren waarop ‘eerlijke algoritmes’ worden gedefinieerd gebaseerd op het idee dat een algoritme voor elke groep – geclassificeerd op ras, geslacht, of wat dan ook – dezelfde kans op foute voorspellingen moet geven. Het uitgangspunt: we zijn misschien niet allemaal gelijk, maar we verdienen wel allemaal dezelfde foutenmarges.
Er zijn theoretisch drie verschillende manieren om die foutenpercentages uit te rekenen. Deze zogenaamde eerlijkheidsdefinities dragen gevleugelde namen als ‘equal opportunity’, ‘predictive equality’ en ‘predictive parity’. Hoewel het te ver voert om ze hier wiskundig uit te werken, zijn het eenvoudige definities gebaseerd op de zogenaamde ‘confusion matrix’, een concept waar elke student statistiek in zijn eerste colleges mee te maken krijgt. Interessant daarbij is dat we kunnen aantonen dat het fundamenteel niet mogelijk is om aan alle drie de definities tegelijk te voldoen, behalve in heel uitzonderlijke situaties. Met andere woorden: er wordt eigenlijk altijd minimaal één van de drie eerlijkheidsdefinities geschonden. Dat is onafhankelijk van het soort algoritme en geldt ook voor menselijke beslissingen.
Afgezien daarvan is er ook een ander – nauwelijks onderkend – praktisch probleem. We hebben het veelkoppig monster namelijk een extra kop gegeven met de invoering van privacywetgeving. Die verbiedt onder meer het vastleggen van zaken als godsdienst of ras om daarmee inbreuk op de persoonlijke levenssfeer te voorkomen. Heel begrijpelijk, maar dat verbod beperkt ook de mogelijkheden om een algoritme te trainen om niet (of minder) te discrimineren. Immers, als je deze kenmerken wel zou kunnen vastleggen, dan kun je bijvoorbeeld vaststellen dat het algoritme van een bank voor het verstrekken van krediet hogere foutenpercentages heeft op specifieke groepen. Nu je niet weet tot welke groep mensen behoren, kun je ook niet aan de spreekwoordelijke knoppen draaien om het algoritme eerlijker te maken…
Het gevolg is dat het debat over eerlijke algoritmes eigenlijk niet op basis van feiten is te voeren. Elke activist die op basis van een incident een bank of preventief fouillerende agent beschuldigt van oneerlijkheid begeeft zich op glad ijs. Want er zijn geen data over de werkelijkheid. Maar elke organisatie die stelt te werken met eerlijke algoritmes begeeft zich ook op glad ijs. Precies: er zijn geen data over de werkelijkheid.
De discussie over twee fundamentele rechten, namelijk die van privacy en die van rechtvaardigheid, krijgt hiermee een interessante wending. Te veel aandacht voor het één leidt tot beperking van de mogelijkheden voor de ander en andersom.
Sander Klous is hoogleraar Big Data Ecosystems aan de Universiteit van Amsterdam (UvA) en partner bij KPMG
Deze column staat ook in iBestuur magazine 34
Zeker, bij onzekerheid hoort dat er een kans is op een ongewenste uitkomst, evenals op een gewenste uitkomst. Als je een algoritme niet kunt ‘trainen’ op volgens privacywet niet-toegestane (karakter)eigenschappen is het lastig om een bias er uit te halen. Maar het ‘gevaar’ van oneerlijkheid begint natuurlijk al met het definiëren van wat gewenst en wat ongewenst is. Dit suggereert een persoonlijke voorkeur, en waarschijnlijk ook een intentie. Iemand vind jou (cq jouw voorkeur of jouw intentie) eerlijk of oneerlijk. Kortom allemaal subjectief… en dat het subjectief is zul je al snel hebben bij het thema eerlijkheid.
Houdt dan alles op zoals Klous lijkt te suggereren?, en is het niet mogelijk om naar AI te kijken naar of het algoritme (on-)eerlijk is? Jazeker kan dat, net als we in de echte wereld doen. Daarvoor zal het eerste wat daarvoor nodig is, transparantie moeten zijn. Transparantie ten aanzien van het gebruikte algoritme, en ten aanzien van de input en output van het model. Hoe groter die transparantie, hoe beter je de discussie over eerlijkheid kunt hebben in het geval van algoritmen.
In de echte wereld vorm je je oordeel het best transparant en op basis van de feiten. Daarmee is het in ieder geval uitlegbaar geworden. En kun je het er over hebben of het eerlijk is of niet.
Is het bij algoritmen dan zo anders?
@ReneVroom Eens. Transparantie! Heb de afgelopen weken veel artikelen gelezen over data en algoritmes. Transparantie is een woord wat ik daarbij zelden lees. Transparantie over wat voor data je gebruikt en hoe het algoritme in het elkaar steekt en waartoe het dient. Dat zou wmb het uitgangspunt moeten zijn. Al was het maar voor het vertrouwen van de burger in de overheid.
Klous heeft zijn eigen veelkoppige monster gecreeerd : eerlijke algoritmes.
Geen wonder dat hij daar geen oplossing voor heeft, want de problematiek draait helemaal niet om “eerlijkheid”. Hij maakt het nog gecompliceerder door geen onderscheid te maken tussen het gebruik van algoritmes voor besluiten en andere doeleinden, zoals voorspellingen. Tenslotte ontbreekt ook nog het essentiele onderscheid tussen overheid en private sector in zijn analyse.
Om met het eerste te beginnen : het gaat niet om eerlijkheid maar om rechtmatigheid. Je kan niet naar de rechter stappen omdat je vindt dat je oneerlijk bent behandeld, wel als je kunt aantonen dat de behandeling die jou ten deel is gevallen onrechtmatig was. Om dat te kunnen beoordelen moet een rechter de elementen van het besluit waar die behandeling uit voortvloeide kunnen kennen. Daar komt het vereiste van transparantie om de hoek kijken, want niemand zou zich mogen verschuilen achter een beslissing die door een computerprogramma is genomen. Ergo , transparantie is een vereiste waar alle algoritmen aan zouden moeten voldoen, zodat altijd controleerbaar is of er sprake is van een rechtmatige uitkomst.
Dit maakt ook meteen het tweede probleem van de analyse van Klous zichtbaar : het gaat primair om besluiten want onrechtmatige voorspellingen bestaan niet. Om het meteen maar praktisch in te steken : een voorspelling maken omtrend het criminele gedrag van een bepaalde groep in de samenleving is, hoe fout of oneerlijk ook, op zich nog niet onrechtmatig. Je mag er in dat geval alleen niet naar handelen.
Daarmee komen we bij het derde in Klous analyse ontbrekende onderscheid : dat tussen overheid en private sector. Als een bank mij geen financiering wil geven omdat hun algoritme mij ongeschikt vindt, kan ik altijd nog wel elders terecht. Als de overheid mij een recht ontzegt of een plicht oplegt heb ik mij bij die beslissing neer te leggen tenzij ik kan aantonen dat die beslissing onrechtmatig was. Daar komt het vereiste van de transparantie weer om de hoek kijken, want die overheid moet haar beslissing altijd uitgebreid kunnen motiveren, juist om de burger de gelegenheid te geven dat besluit te kunnen (laten) toetsen. In beginsel betekent dit dat geautomatiseerde besluitvorming door de overheid helemaal niet toegestaan zou moeten zijn tenzij alle parameters van het algoritme openbaar zijn, zodat iedereen (en dus ook de betreffende ambtenaar) de rechtmatigheid van het besluit kan toetsen cq de overheid op de eventuele onrechtmatigheid kan aanspreken.
Laten we de problematiek rond algoritmes dus vooral niet ingewikkelder maken dan zij al is door het te ook nog te willen onderwerpen aan “eerlijkheidsvereisten” want dat brengt de oplossing inderdaad niet dichterbij.
Zeer waardevolle verdieping door Mr le Gras .
Een kanttekening, die als ik goed lees wel wordt genoemd: de stap van voorspellingen naar besluiten. In het geval van Syri namen mensen besluiten op basis van op voorspellingen door AI, het netto resultaat voor de betrokkenen (ik gebruik bewust dezelfde term als bij de AVG) was dus hetzelfde: hun rechten werden geschonden.
Het gaat dan om het hele proces waar AI wordt ingezet. Mijn pleidooi zou daarom zijn: stel eisen aan elk proces (waar AI wordt ingezet) wat potentieel rechten van betrokkenen kan schaden. Stel jaarlijkse beoordeling door een auditor verplicht. Net als bij de jaarrekening. de AI / IT maakt daar dan onderdeel van uit.
Het goed borgen van rechten van betrokkenen zou net zo belangrijk moeten zijn als zekerheid over geldkwesties, toch?
Dank allemaal voor de sterke reacties. Graag ga ik hieronder in op een aantal van de genoemde punten.
René Vroom:
“Het ‘gevaar’ van oneerlijkheid begint natuurlijk al met het definiëren van wat gewenst en wat ongewenst is.”
Het definiëren van wat gewenst is, is zeker een uitdaging. Cathy O’Neil noemt dit in haar boek “Weapons of Math Destruction” de “definitie van succes”. In sommige gevallen is dat goed mogelijk. Stel bijvoorbeeld dat ik een algoritme wil bouwen dat voorspelt of iemand meer of minder dan 50 duizend euro per jaar verdient. Als ik de juiste historische data set tot mijn beschikking heb, kan ik mijn algoritme prima op die definitie trainen, omdat ik “de waarheid” ken. Anders wordt het als ik een algoritme bouw dat antwoord moet geven op de vraag: “wat is de beste kandidaat voor deze functie”. De waarheid is hier niet goed gedefinieerd en dat maakt het lastig om het algoritme goed te trainen. We gebruiken dan vaak zogenaamd proxy’s voor het trainen van algoritmes, variabelen die een indicatie geven over de waarheid, maar die proxy’s hebben vaak al een eigen bias. Ik heb in deze column met name aandacht besteed aan hoe (on)eerlijkheid te meten. Niet aan hoe die (on)eerlijkheid tot stand komt. Dat komt vast nog wel eens ter sprake in één van mijn volgende columns.
Louis Kossen
“Transparantie! Heb de afgelopen weken veel artikelen gelezen over data en algoritmes. Transparantie is een woord wat ik daarbij zelden lees.”
Transparantie en uitlegbaarheid zijn onderwerpen die zeker de nodige aandacht krijgen in zowel het onderzoek naar als het beleid op algoritmes. Net als de term “eerlijkheid” is ook de term transparantie een veel koppig monster. Er zijn verschillende manieren om invulling te geven aan transparantie en uitlegbaarheid. Een eerste mogelijkheid is technische transparantie die ook in de reacties aan de orde komt. Dit is het beste te vergelijken met een wetenschappelijke publicatie over een analyse. Die publicatie moet een peer review kunnen doorstaan, bijvoorbeeld door een andere data scientist of een auditor. Zij moeten op basis van de gepubliceerde informatie kunnen beoordelen of de analyse correct is uitgevoerd en de resultaten eerlijk zijn. Een tweede optie is om te kijken naar de processen die zijn ingericht rondom het ontwikkelen en uitrollen van algoritmes. Welke waarborgen zijn er dat het algoritme doet wat het moet doen, nu en in de toekomst? Ik ben geen jurist, maar kan mij voorstellen dat een rechter zeer geïnteresseerd is in dergelijke informatie. Wellicht dat Mr le Gras hier zijn licht nog op kan laten schijnen. Een derde alternatief is om aandacht te besteden aan de behoefte van de persoon die wordt beïnvloed door de uitkomst van het algoritme. Die persoon is vaak alleen geïnteresseerd in uitleg als de beslissing negatief is en dan vooral in informatie die inzicht geeft in hoe de beslissing veranderd kan worden. Stanford heeft hier een mooi onderzoek over gepubliceerd, zie:
http://www.linkedin.com/pulse/people
voor een populair geschreven toelichting en: rene.kizilcec.com/wp voor de publicatie.
Mr le Gras
“Het gaat niet om eerlijkheid maar om rechtmatigheid”
Vanuit juridisch perspectief begrijp ik deze reactie, echter er is wel degelijk een discussie gaande over de wenselijkheid van bepaalde uitkomsten en niet alleen over of de uitkomsten wettelijk zijn toegestaan. Ik vraag me wel af of dit voor de rest van mijn column veel uitmaakt, die gaat over hoe (on)eerlijkheid (of wat mij betreft rechtmatigheid) kan worden gemeten.
“[Hij maakt] geen onderscheid [] tussen het gebruik van algoritmes voor besluiten en andere doeleinden, zoals voorspellingen.”
Ik ga er vanuit dat de uitkomst van een algoritme altijd ergens de besluitvorming beïnvloed. Als de informatie geen invloed heeft op de besluitvorming, waarom zou je het algoritme dan gebruiken? Dat sluit ook aan op het voorbeeld over criminaliteit dat wordt gegeven. Ik maak inderdaad geen onderscheid tussen processen met een “human in the loop” en processen die volledig geautomatiseerd verlopen. Over de rol van de mens en hun verantwoordelijkheid (en juridisch aansprakelijkheid) in die processen is veel te zeggen. Ook dat onderwerp zal zeker nog wel eens terugkomen in één van mijn volgende columns.
“Transparantie is een vereiste waar alle algoritmen aan zouden moeten voldoen, zodat altijd controleerbaar is of er sprake is van een rechtmatige uitkomst.”
Zo op het eerste gezicht is dit een stelling waar je niet tegen kan zijn. Ik wil er wel op wijzen dat algoritmen in veel gevallen in plaats komen van menselijk handelen, waarbij de menselijke beslissing allerminst transparant is. Denk bijvoorbeeld aan de eerder genoemde selectie van de beste kandidaat voor een functie. Sommige beslissingen (menselijk of algoritmisch) zijn bijna per definitie niet transparant. In de column adresseer ik de vraag hoe je dan toch nog uitspraken kunt doen omtrent eerlijkheid (of rechtmatigheid).
“Als de overheid mij een recht ontzegt of een plicht oplegt heb ik mij bij die beslissing neer te leggen tenzij ik kan aantonen dat die beslissing onrechtmatig was.”
Ik ben het zeer zeker eens met het punt dat de overheid hierbij een andere machtspositie heeft dan commerciële organisaties en dus ook andere verantwoordelijkheden. Ook tussen commerciële partijen zitten grote verschillen. Banken hebben een andere functie dan webshops en dus ook andere regulering. Dat heeft zeker invloed op de keuze of statistische evaluatie (zoals beschreven in de column) voldoende is, of dat er behoefte is aan uitlegbaarheid op individueel niveau.
Michiel Steltman
“stel eisen aan elk proces (waar AI wordt ingezet) wat potentieel rechten van betrokkenen kan schaden. Stel jaarlijkse beoordeling door een auditor verplicht. Net als bij de jaarrekening.”“
Als Partner bij KPMG kan ik het hier uiteraard alleen maar volledig mee eens zijn.
Ik hoop dat bovenstaande antwoorden een waardevolle aanvulling zijn. Het is niet mijn bedoeling om de indruk te wekken dat het onmogelijk is om de eerlijkheid van AI te beoordelen. Ook wil ik de situatie niet gecompliceerder maken dan hij al is. Wel probeer ik overkoepelende begrippen als eerlijkheid, rechtvaardigheid en transparantie te vertalen naar wat dit in de praktijk betekent. Daarbij stuit ik op concrete uitdagingen die weliswaar ingewikkeld zijn, maar wel adresseerbaar.
Als het gaat om de vervanging van menselijke beslissingen door geautomatiseerde beslissingen (zoals Klous betoogt) is discussie over de “eerlijkheid” van de laatsten irrelevant omdat en zolang menselijke beslissingen NIET aan dat criterium getoetst worden. Het blijkt nl. al eeuwenlang onmogelijk om een bevredigende definitie van eerlijkheid te geven. Daarom wordt in de praktijk gewerkt met een fictie : de geldende wet en regelgeving , zeker wanneer die democratisch tot stand is gekomen, is de beste benadering van wat op dat moment gepercipieerd wordt als “eerlijk”. NB eerlijkheid is dus een dynamisch begrip en als daarover nieuwe inzichten ontstaan dan passen we de betreffende regels dus aan. Zo bezien is rechtmatigheid daarom niets anders dan de vervanging van het begrip eerlijkheid, bij gebrek aan beter. Hoe oneerlijk bestaande wet en regelgeving soms kan uitpakken ervaren we dagelijks, maar gelukkig kunnen we er wel op vertrouwen dat de betreffende besluiten tenminste getoetst kunnen worden op hun rechtmatigheid. Zolang geautomatiseerde besluiten zelfs aan deze minimumeis niet kunnen voldoen, is discussie over de “eerlijkheid” ervan zonder sluitende definitie van wat “eerlijk” is naar mijn mening hovaardige luchtfietserij.