De huidige normen voor het ontwikkelen van kunstmatige intelligentie (AI) hebben nog te weinig effect op de praktijk. Een groep wetenschappers van drie universiteiten en het College voor de Rechten van de Mens ontwikkelden de handreiking 'Non-Discriminatie by Design', waarmee organisaties die AI willen inzetten discriminatie kunnen voorkomen.
Beeld: Shuitterstock
Algoritmen worden steeds vaker ingezet om risico-gestuurd te werken en geautomatiseerde besluiten te nemen. Maar een groot risico daarvan, zeker bij zelflerende systemen, is dat niet meer duidelijk is hoe de besluitvorming tot stand komt. Dat dit fout kan gaan bleek maar al te goed uit de kindertoeslagaffaire, waarbij minderheden onder meer door algoritmen stelselmatig werden gediscrimineerd door de Belastingdienst.
Te rechtvaardigen
Directe en indirecte discriminatie zijn verboden, maar onderscheid maken tussen groepen kan voor overheden legitiem en te rechtvaardigen zijn. ‘Dat is zo als er sprake is van een legitieme reden om het onderscheid te maken, als het maken van onderscheid proportioneel is en als er geen minder ingrijpende middelen ter beschikking staan om hetzelfde doel te bereiken’, schrijven de onderzoekers.
De juiste vragen
Systeembouwers moeten zich bewust zijn van de basis waarop het AI-systeem onderscheid maakt en of dat te rechtvaardigen is: ‘Is het onderscheid bedoeld of onbedoeld; is het relevant of niet?’ Dat is afhankelijk van de context – iets waar een rechter altijd rekening mee zal houden. Om de juiste vragen te stellen over de technische, juridische en organisatorische voorwaarden, ontwikkelde het onderzoeksteam de handleiding.
Verdacht onderscheid
Een vraag over bewustwording is bijvoorbeeld: ‘Is er bij mijn doel, design of uitkomst sprake van mogelijk ‘verdacht’ onderscheid?’ Als er onderscheid wordt gemaakt, is de vraag of die leidt tot benadeling: ‘Ik wil een AI systeem bouwen dat die personen met een dubbele nationaliteit in mijn data er uit filtert en aanmerkt voor extra controle’ verwijst naar ‘De groep wordt extra gecontroleerd en ondervindt daarvan negatieve consequenties.’
Betrek belanghebbenden
Er zijn zes stappen voor het ontwikkelen en toepassen van algoritmen, van het vaststellen van de probleemdefinitie tot het toetsen van beleid, en per stap worden de juridische regels en best practices gegeven. Belanghebbenden en relevante groepen in de samenleving moeten vanaf het begin worden betrokken, onafhankelijke experts moeten kritisch blijven meekijken en personen over wie automatische besluiten worden gemaakt, moeten daarvan op de hoogte zijn en bezwaar kunnen aantekenen. Bij fouten moet het proces worden gestopt.
Handreiking
De handreiking is ontwikkeld in opdracht van het ministerie van Binnenlandse Zaken door een team van onderzoekers van Tilburg University, Eindhoven University of Technology, Vrije Universiteit Brussel en het College voor de Rechten van de Mens
Klik hier om de handreiking te downloaden
Lokaal algoritmegebruik
Zeker 25 gemeenten maken gebruik van ‘slimme’ algoritmes, wees onderzoek van de NOS in samenwerking met lokale omroepen begin dit jaar uit. In april wees de Rotterdamse rekenkamer op de risico’s in het lokale algoritmegebruik en begin 2020 was de geruchtmakende uitspraak van de rechtbank in Den Haag dat de inzet van SyRI ‘onrechtmatig’ was want het vormde een te grote inbreuk op de privacy van burgers.
Dit bericht werd eerder gepubliceerd op binnenlandsbestuur.nl
