Algoritmes zijn geen heilige graal
Organisaties gaan grote hoeveelheden data graag te lijf met algoritmes. Algoritmes kunnen nuttig zijn, maar zijn ongeschikt om morele, ethische en sociale vraagstukken aan te pakken.
De Nederlandse Zorgautoriteit (NZa) verzamelt privacygevoelige informatie van GGZ-patiënten om een algoritme te voeden dat de zorgvraag zou moeten voorspellen. Terwijl de Tweede Kamer eerder tegen dit project stemde en een grote groep professionals uit het veld bezwaren heeft – ze zijn nu zelfs naar de rechter gestapt om het project te stoppen – gaat de NZa door. De NZa hoopt ‘dat de zorgvraag met behulp van dat algoritme beter voorspeld kan worden. Op die manier zouden de wachtlijsten kunnen worden weggewerkt en de kwetsbaarste mensen voorrang krijgen’. Het algoritme als heilige graal…
De NZa is niet de enige organisatie die moeilijke organisatievraagstukken met algoritmes te lijf wil gaan. In tijden van groeiende prestatiedruk, bezuinigingen op de zorg, een krimpende werkbevolking en toenemende vergrijzing lonkt de belofte van de magie en macht van het algoritme. Immers, als we maar genoeg data hebben dan moet het toch lukken om vraag, aanbod, prestaties, gedrag en nog zo wat dingen te voorspellen – toch?
In de praktijk is het gebruik van algoritmes echter helemaal geen recept voor succes, zo laten tal van voorbeelden zien. Sterker nog, wanneer algoritmes verkeerd en overmatig worden ingezet, kunnen ze grote schade veroorzaken. Waar we algoritmes willen gebruiken om de pijn te beperken, blijkt dat we met diezelfde algoritmes juist nieuwe pijn veroorzaken.
‘Meten is weten’
Een welbekend voorbeeld is de Toeslagenaffaire: er werd blind vertrouwd op de uitkomsten van een algoritme, zonder menselijk ingrijpen, waardoor tienduizenden mensen zijn beschadigd. De Belastingdienst in Nederland is niet de enige: vergelijkbare zaken gebeuren over de hele wereld, denk aan de Robodebt casus in Australië waar bijstandsgerechtigden onterecht werden beschuldigd, Amazon waar vrouwelijke sollicitanten werden gediscrimineerd, of het Verenigd Koninkrijk waar een algoritme middelbare schoolprestaties bepaalde.
Ondanks de vele slechte voorbeelden blijven organisaties, zoals de NZa, blind vertrouwen op algoritmes, soms met onethisch gebruik van data. In mijn onderzoek vind ik daarvoor tenminste drie oorzaken. Ten eerste is het voor organisaties makkelijk om dingen in getallen uit te drukken – onder het motto ‘meten is weten’. Dit past goed bij algoritmes, die immers alleen met getallen overweg kunnen. Maar niet alles is uit te drukken in getallen. Iedereen snapt dat een vraag zoals ‘Op een schaal van 1 tot 10, hoe voelt liefde/teleurstelling/angst?’ niet de lading dekt. Sommige dingen kun je niet meten.
Ten tweede zijn algoritmes agnostisch wat cultuur en omgeving betreft: het algoritme maakt het niet uit of het in Nederland, de VS of Madagaskar wordt gebruikt. Dit is voor organisaties makkelijk, omdat ze overal hetzelfde algoritme kunnen uitrollen. Voor mensen maakt de omgeving wél uit.
Tenslotte zijn de resultaten van algoritmes, bijvoorbeeld scores of percentages, machtig en overtuigend. Dit klinkt vreemd omdat we normaliter denken dat wij, de mensen, de baas zijn over technologie. Echter, wanneer we geconfronteerd worden met zo’n getal dan is het heel moeilijk om níet mee te gaan in de logica van het getal. Daarnaast hebben mensen veel vertrouwen in algoritmes: wanneer de computer iets zegt, dan moet het toch wel kloppen. Het zijn immers ‘harde’ cijfers.
Dit alles samen zorgt ervoor dat mensen en organisaties vaak blind vertrouwen op algoritmes en hun resultaten. Cathy O’Neil heeft dit fenomeen in 2016 gedocumenteerd in het boek Weapons of Math Destruction en laat overtuigend zien hoe het blinde vertrouwen in de output van algoritmes sociale structuren en publiek vertrouwen vernielt.
Gepasseerd station
Dit alles betekent niet dat we helemaal geen algoritmes meer moeten gebruiken in organisaties. Dit station is gepasseerd, en bovendien zijn er veel vraagstukken en toepassingen die baat hebben bij het gebruik van algoritmes. Maar wat de recente geschiedenis laat zien is dat algoritmes niet geschikt zijn om morele, ethische, en sociale vraagstukken aan te pakken. Ook al is het vraagstuk van de NZa, namelijk de optimalisering van wachtlijsten, op het eerste oog een planningsvraagstuk, dan nog wordt hier op een onethische manier gebruik gemaakt van data. En bij elk gebruik van algoritmes moet gezorgd worden dat het algoritme getest, geëvalueerd en periodiek bijgesteld wordt, net zoals we dat met andere gebruikstechnologie in het dagelijks leven ook doen.
Dit artikel werd ook gepubliceerd bij NRC
In deze column worden twee dingen met elkaar vermengd. Enerzijds of de NZA rechtmatig de data van burgers verzameld en gebruikt. Anderzijds of algoritmen zullen leiden tot juiste uitkomsten.
Het eerste is onderwerp van een rechtszaak, begrijp ik. Het tweede is de vrees dat de NZA blind zal gaan varen op de conclusies van de algoritmes. Waarom daar meteen van uit gaan?
Het kan toch heel goed zijn dat algoritmes en analyses van de data zullen leiden tot beter inzicht in de problematiek en kan helpen de toenemende zorgvraag het hoofd te bieden?
Het onderzoek van de NZA wordt hier geassocieerd met uitwassen zoals de toeslagenaffaire. Is dat niet wat voorbarig?
Is het niet te kort door de bocht om te stellen dat algoritmes niet geschikt zijn om morele, ethische, en sociale vraagstukken aan te pakken? Dit zijn allemaal normenkaders. Kaders hebben bronnen.
Antwoorden voor morele, ethische en sociale vraagstukken zijn te vinden in ethische, sociale, culturele en religieuze bronnen. Die bronnen kun je interpreteren. Generatieve normen (handelingen) kun je analyseren naar actor, handeling, object, voorwaarden, resultaat en belanghebbende en zijn geldig of niet ongeldig. Situationele normen (rechten en plichten) kun je analyseren naar plichthouder, aanspraakhouder, creërende, terminerende en corrigerende handeling en betreffen feiten (verifieerbare claims op de werkelijkheid) en feiten kennen voorwaarden, waaronder proposities en predicaten waar of niet waar zijn. Uiteindelijk gaan morele, ethische en sociale vraagstukken niet over emotie, maar over beschrijvingen van de wereld, waaronder dingen (proposities) en eigenschappen van dingen en de relaties tussen die dingen (predicaten). Het klopt natuurlijk dat technologie macht oplegt en de Mens haar vrije keuzes ontneem:
– De gebruiker wordt beperkt door de gebruiksregels van de technologie, die buiten zijn vrije wil ligt. The Medium is the Message.
– De gebruiker wordt beperkt in zijn perceptie van de wereld, omdat algoritmes ons beeld filteren, wat onze perceptie ongemerkt aanpast.
– Data worden digitaal, geautomatiseerd verzameld, geaggregeerd en verspreid. Je kunt geen politiek, moreel, ethisch of cultureel belang hechten aan zaken die je niet weet.
De contextuele achtergrond maakt echter ook dat ‘ethiek’ niet universeel is. Zij hoeft niet te gelden voor de mensen buiten een bepaalde, beperkte focusgroep staan. Ethische afspraken dragen op zichzelf ook niet bijaan tolerantie, wat niet meer is dan een bewuste wapenstilstand tussen ongelijksoortige actoren: “Agree to Disagree”. De vraag zou dus niet moeten zijn of algoritmes NIET gebruikt kunnen worden voor het vaststellen van ethiek, cultuur en moraliteit, maar of wij die onderwerpen kunnen vangen in programmeerbare logica. Dat kan wel degelijk. Robot moraliteit is namelijk geen binaire schakeling, maar de afweging van wenselijke consequenties van microrisico’s binnen een grid van conflicterende alternatieven. Hoe pleeg jij zelfmoord met een robot die blindelings naar jou moet luisteren, maar jou ook geen kwaad mag doen? Wie redt een robot als hij maar één van twee mensen in eenzelfde situatie kan redden, maar toch niemand mag laten sterven?
Virtuele organisaties hebben de manier veranderd waarop mensen samenwerken. Zij kunnen digitaal zijn ingericht op het overdragen en/of ontsluiten van gegevens, op basis van verregaande standaardisatie van proces en inhoud, toewerkend naar een gegeven doel, op basis van gereguleerde in- en uitsluiting van samenwerkende partijen en zij kunnen data verwerken met real-time intensiteit, omvang en voorspelbaarheid. Het kan zo zijn dat veel mensen daar mentaal nog niet aan toe zijn, maar het er is geen technische reden, waarom moraliteit, ethiek en cultuur niet te programmeren zijn.
Hooguit dekt de connotatie van concepten, zoals ‘ethiek, ‘democratie’, ‘macht’ en ‘identiteit’ niet meer de lading. Zij hebben andere connotaties gekregen, dus om morele randvoorwaarden te programmeren, moeten we terug naar de essentie: waar hebben we het over? Hoe vangen we dat in woorden? Hoe relateren we die woorden tot besluitstructuren binnen de context van een bepaalde, beperkte toepassing?