Beleid op datatechnologie is hard nodig de komende kabinetsperiode. Enthousiaste plannen over de inzet van big data en algoritmen moeten gepaard gaan met een even enthousiast verhaal over mensenrechtelijke waarborgen.
Beeld: Shutterstock
Aspirant-bestuurders hebben wat uit te leggen over datatechnologie. Niet hoe hip en veelbelovend het is, maar hoe ze er verantwoordelijk mee om zullen gaan. De kansen liggen voor het oprapen. Alleen al binnenslands laten recente affaires zien hoezeer het misgaat als het ‘systeembeheer’ van de politiek faalt. Op hol geslagen boetemachines, onrechtmatige fraudeopsporing, gestolen gezondheidsgegevens: het zijn geen incidenten meer.
Het door politici zelf erkende gebrek aan expertise over digitale systemen is daarvoor geen excuus, noch een verklaring. Omgekeerd moet de rechtsbescherming van burgers niet afhangen van een lespakketje algoritmes. Daarmee staat de burger niet sterk genoeg tegenover een automatiserende overheid, laat staan tegenover big tech. En in het licht van de digitale plannen van zowel overheid als bedrijfsleven is een goed geïnformeerde kamer belangrijker dan ooit. Daar hoort een eerlijk verhaal bij over technologie, mensenrechten en politiek. Wat horen we te weinig?
1. Datatech: lucratieve handel in geautomatiseerde voorspellingen
Datatechontwikkelaars timmeren al sinds halverwege de vorige eeuw aan de weg om steeds meer gegevens steeds sneller te verwerken. Toen al werd toegewerkt naar naar toepassingen die we kennen als Google en Facebook, datagedreven detectie en preventie, (inter)nationale veiligheid en profilering van mensen op rangorde van geschiktheid voor werk, krediet, investering of ondersteuning. En toen al werd er gewaarschuwd voor discriminatie, misbruik van gevoelige informatie en een op de loer liggende surveillancestaat.
Er is vrijwel géén menselijke handeling die geen digitale sporen nalaat.
Aanvankelijk ontbrak het techbedrijven nog aan meer rekenkracht, en vooral: véél data. Sporen van menselijk gedrag, verscholen in overheids- en nutsgegevens, maar ook in beeld, geluid en data over hoe mensen kopen, lezen, eten, sporten en communiceren. Die data zijn er gekomen: er is vrijwel géén menselijke handeling die geen digitale sporen nalaat. Ondersteund door AI speuren systemen inmiddels steeds zelfstandiger naar patronen in verzamelde data, waarmee voorspellingen gedaan worden die garanties moeten bieden voor succesvolle resultaten in de toekomst. Er is een lucratieve handel ontstaan in dat soort geautomatiseerde voorspellingen. Datatechbedrijven verdienen grof geld aan online advertentieruimte, medische softwareontwikkeling en diensten aan internationale organisaties, overheden, wetenschap en onderwijs. En net als op ‘gratis’ social media vindt daarbij niet zelden een uitruil plaats tussen dienst en data.
2. Mensenrechten: hoe gaat het mis?
Inmiddels is duidelijk dat de digitale krachten die zijn losgelaten op de samenleving grote groepen mensen gevaarlijk kwetsbaar maakt. Waar gaat het mis? Enerzijds in de ontwikkeling en toepassing van technologie zelf. Zo versterkt profilering bestaande effecten van discriminatie en creëert het nieuwe. Maatschappelijke patronen van uitsluiting, kansenongelijkheid en ingesleten vooroordelen komen tot uiting in geautomatiseerde beslissingen. Wie is geschikt of overtuigend? Wie lijkt betrouwbaar, welke groep is commercieel interessant?
De betekenis van verbanden die systemen vinden tussen heel verschillende soorten informatie worden vaak niet onderzocht (als dat al kan), maar wel gebruikt. Mensen worden verdacht, geweerd en gemonitord op basis van huidskleur, accent, woonomgeving, school, inkomen, afkomst, gezinssamenstelling, maar ook online verspreide vermoedens, roddels, en verdachtmakingen – letterlijk, you name it.
Ook andere mensenrechten worden geraakt. Wanneer persoonlijke data niet worden beschermd, social media niet veilig en zoekmachines niet betrouwbaar worden gemaakt, ontstaan schendingen van privacy, vrijheid van meningsuiting en organisatie, van veiligheid en lichamelijke integriteit. Betrouwbare medische (en andere) informatie wordt onbereikbaar, journalisten en politici worden bedreigd, gedoxt en ge-deepfaked. Slordig gebruik en beheer van medische, etnische, politieke gegevens brengt burgers op de vlucht voor hun regering in gevaar.
Bedrijven missen de expertise, de bedrijfsvoering en de wil om mensenrechten voorop te stellen.
De bescherming van mensenrechten op al deze fronten is onder andere moeilijk omdat wettelijk nog vaak wordt geëist dat schendingen van individuele rechten worden aangetoond. Dat is in toenemende mate een illusie, vooral bij discriminatie. Effecten van de genetwerkte, vaak internationale systematiek spelen zich steeds meer op groepsniveau af. Dat komt naast en bovenop de technologische en bureaucratische complexiteit die de bewijsbaarheid van acties tegen een individu bemoeilijken. Burgers, maar ook hun advocaten, staan niet sterk genoeg.
Op de zelfregulering (zoals ethische principes) van bedrijven kan daarbij niet worden vertrouwd. Die is onvoldoende controleerbaar. Bovendien missen bedrijven de expertise, de bedrijfsvoering en de wil om mensenrechten voorop te stellen. Techgiganten hebben data, onderzoeksgeld en afnemers nodig, en die willen een positief verhaal. Maar regelmatig werken techbedrijven mee aan het niet-zo-positieve verhaal van een overheid die het zelf niet zo nauw neemt met mensenrechten. Waarmee we zijn aanbeland bij de politiek.
3. De petten van de politiek
Politiek beïnvloedt de ontwikkeling van (on)veilige datatechnologie op verschillende manieren. De overheid financiert wetenschappelijk onderzoek, betrekt bedrijven bij de ontwikkeling van beleidsinstrumenten, creëert financiële voorwaarden en voordelen voor sectoren en behoort van oudsher tot de grootste softwareklanten. Overheidsinstanties zijn ‘bezitter’ van veel gevoelige data en informatie. Daarnaast ontwerpt de politiek de wetgevende kaders, en stelt het voorwaarden aan de verzameling en gebruik van data en datagedreven toepassingen.
Dit zijn allemaal bepalende factoren in het kader van de bescherming en verwezenlijking van mensenrechten. En dat gaat lang niet altijd goed. Vroeger niet, nu niet, en doorgaans niet per ongeluk. Verschillende studies beschrijven de verwevenheid van publiek geld, politieke wil en technologische lobby, zowel bij de ontwikkeling als de uitvoering van bewust mensenrechtenschendend beleid.
Datatech bedrijven waren actief betrokken bij de bureaucratische moordmachine van het naziregime en onrechtmatige surveillance door de VS. Ook nu zijn datatechbedrijven wereldwijd onderdeel van discriminerende politieactiviteiten, grensbewaking en het faciliteren van massale mensenrechtenschendingen zoals die tegen de Oeigoeren.
Uit politieke hoek klinkt wel eens dat vasthouden aan wettelijke kaders de technologische en de maatschappelijke vooruitgang hindert.
Alle reden dus om op te letten, zowel door als óp de regering. Toch klinkt uit politieke hoek weleens dat vasthouden aan wettelijke kaders de technologische en de maatschappelijke vooruitgang hindert, overigens zonder bewijs. Regelmatig moet er juist gecorrigeerd en gerepareerd worden, met grote financiële en maatschappelijke schade tot gevolg.
Recente voorbeelden als onrechtmatig fraudebeleid (SyRI, toeslagenaffaire) worden nu al opgevolgd door falend toezicht op de inlichtingen- en veiligheidsdiensten. Het haast-theater rond de COVID-app is al bijna vergeten. En het volgende controversiële systeem ligt al klaar, en hierbij gaat het precies om de samenwerking tussen publieke en private spelers: het Wetsvoorstel Gegevensverwerking door Samenwerkingsverbanden.
Conclusie: doe het veilig, of doe het niet
Het mag duidelijk zijn dat de ontwikkeling en toepassing van datatechnologie niet zonder stevige rechtsstatelijke en democratische controle kan. Enthousiaste plannen over de inzet van big data, algoritmes en artificiële intelligentie moeten gepaard gaan met een even enthousiast verhaal over mensenrechtelijke waarborgen. Kandidaten hebben wat uit te leggen, en te beloven: hoe ze lessen trekken uit het verleden, zich warmlopen voor een betere toekomst en het digitale hoofd koel houden. Alleen dan is vooruitgang mogelijk.
Aviva de Groot is promotieonderzoeker aan Tilburg Institute for Law, Technology, and Society
