In de strijd tegen de criminaliteit wil de de Belgische overheid in 2020 het computersysteem iPolice aanscherpen met _predictive policing_ applicaties. Volgens Laurens Naudts behoeft de realisatie van dergelijke surveillance infrastructuur een kritisch en open debat. Niet alleen over de werking, maar ook over de betrouwbaarheid, de gevaren en de risico’s.
Beeld: Shutterstock
Datagedreven automatisering staat binnen het politieke discours vaak synoniem voor stroomlijnen, efficiëntie en objectiviteit. Gevoed door een massale gegevensverzameling laat de algoritmische benadering van de maatschappij, via geavanceerde filterings- en analysetechnieken, niet enkel toe om op snellere wijze informatie relevant voor de opsporing van en het onderzoek naar misdaad te ontdekken, ze maakt het tevens mogelijk door voorspelling tot een preventieve bescherming van de samenleving te komen. Een datagedreven automatisering genereert voor de politie inzichten die, wegens een gebrek aan tijd en middelen, een louter analoge administratie niet kan produceren. Ondanks de gevaren die verbonden zijn aan predictive policing, wordt de communicatie naar de buitenwereld toe vooral gekenmerkt door een nadruk op de vermeende voordelen ten aanzien van de uiteindelijke doeleinden: het bestrijden van misdaad en terrorisme. Een verwijzing naar George Orwell – die nooit lijkt te kunnen ontbreken in dit debat – dient door voorstanders louter ter aanduiding van hoe de werkelijkheid er niet uit zal zien na invoering van de technologie.
De bestrijding van criminaliteit gebeurt in deze niet alleen door een technologie die ‘predictive policing’ heet. Het betreft een pakket aan analysetechnieken, elk met hun eigen nut en bijdrage aan de algemene doelstelling. Het aanpakken van straatcriminaliteit of diefstal zal bijvoorbeeld eerder gebaat zijn bij het opdelen van steden (of landen) in rasters, in combinatie met de toekenning van een risicocijfer, zoals in Nederland gebeurt aan de hand van het CAS-systeem ((Criminaliteits Anticipatie Systeem). Het proactief tegengaan van radicalisering bij jongeren daarentegen steunt vooral op het crawlen van sociale media en het internet. De veiligheid van luchthavens kan dan weer gerealiseerd worden via behavioural detection.
Hoewel dergelijke technieken allen worden gekarakteriseerd door hun bijdrage aan een proactief beleid, houden ze elk, binnen het ruime kader van de preëmptieve automatisering, hun eigen risico’s en gevaren in. Een kennis van de specifieke technieken zou burgers niettemin toelaten een geïnformeerd oordeel te vormen over elke technologie, alsook betere inschatting te maken van hun risico’s. Waar de samenleving mogelijk weinig argwaan heeft tegenover het gebruik van historische criminaliteitscijfers binnen steden, heeft ze dat misschien wel ten aanzien van een ongebreidelde gegevensverzameling van Facebook- en Twitter-posts. Bovendien, waar de risico’s onderliggende de techniek gelijkaardig kunnen zijn, zoals het gevaar voor discriminatie en stigmatisatie, kunnen deze zich in realiteit en afhankelijk van de technologie, in een andere vorm manifesteren. Een focus op de doelstelling alleen, waarbij technologie wordt aangeduid met een nikszeggende algemene noemer, maakt dat deze gevaren en hun mogelijke impact, niet afzonderlijk zullen worden bevraagd. Het is noodzakelijk dat deze verschillen aangeduid worden zodanig dat elke technologie naar goed vermogen kan worden ingeschat. Met andere woorden: de wijze waarop de implementatie van nieuwe technieken wordt gecommuniceerd, en de invoering ervan wordt beargumenteerd, moet op een transparant en bovenal eerlijke, wijze gebeuren indien je het publiek debat op een volwaardige wijze wil openen.
Oneerlijke ongelijkheid
De discussie met betrekking tot predictive policing betreft niet louter de bescherming van privacy en persoonlijke gegevens. Een grootschalige en ongebreidelde verzameling van gegevens behelst inderdaad een inmenging met het privéleven, maar ook andere grondrechten kunnen worden aangetast. Een van de vaak aangehaalde risico’s met betrekking tot voorspellende systemen, en niet louter wanneer deze worden ingezet voor politiedoeleinden, is de kans dat deze leiden tot stigmatisatie en discriminatie. Bij het inschakelen van een preëmptief model is het daarom veelal noodzakelijk rekening te houden met de historische en sociale context waarbinnen dit wordt geïntegreerd. Zonder correcte voorzorgsmaatregelen zullen vooroordelen of historisch gegroeide ongelijkheden, gecapteerd door de data, zonder meer door algoritmen worden overgenomen en zelfs worden versterkt. Zelfs wanneer deze systemen op een volstrekt neutrale manier worden gebouwd, berusten zelflerende en voorspellende technieken inherent op differentiatie en categorisatie. Een bevolking zal altijd opgedeeld worden in verschillende deeltjes.
Hoewel bestaande ongelijkheden uit een systeem gefilterd kunnen worden, kunnen na verloop van tijd nieuwe (oneerlijke) ongelijkeden ontstaan. Op lange termijn heeft dit mogelijk tot gevolg dat een samenleving wordt geherstructureerd volgens nieuwe nog te ontdekken verschillen binnen de algemene bevolking. Met andere woorden: hoewel u momenteel misschien niet behoort tot een onderdrukte of benadeelde bevolkingsgroep, kunt u daar in de toekomst wel tot gaan behoren. Mogelijk weet u dit laatste nog niet en zal u dat op voorhand ook nooit kunnen weten.
Een groter probleem verbonden aan dit laatste betreft de temporele en contextuele gevolgen van een technologie wanneer deze geïmplementeerd wordt binnen een concrete werkelijkheid. Technologie interageert immers niet louter met gegevens, maar evenzeer met zijn omgeving. Deze contextuele factoren noodzaken een goede omkadering, zoals het voorzien in een opleiding met betrekking tot predictive policing voor de agenten op de straat, maar ook voor de operatoren van analyseplatformen. Men dient bijvoorbeeld te vermijden dat politieagenten, op basis van statistieken en gegevens, op voorhand een verdraaide perceptie hebben wat betreft de te patrouilleren omgeving, doordat ze bijvoorbeeld op generaliserende wijze de lokale inwoners associëren met het generieke risicocijfer toebedeeld aan een wijk. Daarnaast staan ook de basisprincipes van een procedureel rechtsbestel, zoals het recht op een eerlijke proces en het vermoeden van onschuld, onder druk. Wie optreedt op basis van voorspellingen, velt reeds een oordeel alvorens een handeling gesteld werd.
Voor diegenen die wensen vast te houden aan de idee dat wie niks te verbergen heeft, niets te vrezen heeft, kunnen andere belangen worden aangesproken. Zoals monetaire interesses. Stel dat u in een wijk woont waarvan u als inwoner weet dat deze een herwaardering ondergaat. Waar het straatbeeld wordt gedefinieerd door historische gegevens die criminaliteit aangeven, eerder dan de concrete realiteit, zou dit wel eens een negatieve invloed kunnen hebben op de prijzen binnen de lokale vastgoedmarkt. Een politiebeleid dat wordt gevoerd op basis van generalisaties – vaak een gevolg daar waar algoritmen worden ingezet – zal altijd meer mensen treffen dan louter de criminelen naar wie men op zoek is.
Vertrouwen in een democratie?
Elk systeem waarbij op grote schaal gegevens worden verzameld en verwerkt, dient te worden bevraagd. Het democratisch en eerlijk gebruik van zelflerende en voorspellende systemen mag dan wel enig vertrouwen genieten binnen een samenleving waar een onaantastbaar geloof heerst in een democratisch geheel, maar een politiek bestel blijft onderhevig aan verandering, inclusief een verandering naar een manifest ondemocratisch en oneerlijk bestuur. Wat tegenwoordig nog niet kan worden verondersteld is dat de rol van informatie en kennis, vaak vertegenwoordigd door verzamelde persoonsgegevens, binnen de samenleving zal afnemen. Integendeel, datagestuurde technologieën lijken aan belang toe te nemen.
Wat ook meespeelt is dat een overheid geen verantwoording hoeft af te leggen tegenover de technologie die ze wenst te gebruiken. Een technologische infrastructuur blijft onder een gewijzigd politiek klimaat ongewijzigd voortbestaan en moet aldus worden geëvalueerd met toekomstig misbruik in het achterhoofd. Evenzeer kunnen we de vraag stellen of we alle bestaande overheidstaken zo maar willen uitbesteden aan machines die behoefte hebben aan onze gegevens.
De wetgeving rond gegevensbescherming heeft niet als doel de gehele problematiek met betrekking tot predictive policing te verzachten. Niettemin kan ze daar wel indirect toe bijdragen door zijn basisprincipes als doelbinding, proportionaliteit en gegevensminimalisatie. Maar zelfs wanneer technische en organisatorische maatregelen worden genomen om de verzameling en het gebruik van persoonsgegevens te beperken, kan misbruik nooit uitgesloten worden. Daarom is ook een overzichtsmechanisme nodig dat de goede en eerlijke werking van algoritmen controleert, rekening houdend met hun temporele en contextuele gevolgen. Een dergelijk orgaan kan ook dienen als doorgeefluik naar het brede publiek met betrekking tot de werking van predictive policing en de waarachtigheid van geproduceerde resultaten. De vraag naar de wenselijkheid van dergelijke systemen begint en eindigt hoe dan ook niet bij hun mogelijke bijdrage aan de strijd tegen criminaliteit, maar bij hun impact op de algehele samenleving.
Laurens Naudts is doctoraal onderzoeker aan de KU Leuven (Centrum voor IT & IP Recht). Binnen zijn onderzoek bestudeert hij de relatie tussen technologie en artificiële intelligentie, gerechtigheid, eerlijkheid, ethiek en het recht. Daarnaast is Laurens tevens actief in verscheidene nationale en internationale onderzoeksprojecten.
