We maken steeds vaker gebruik van big data. Maar wie betaalt de prijs hiervoor? En hoe moet de politiek hiermee omgaan?
De overheid wordt steeds meer een ‘iOverheid’, maar het ambtelijk en bestuurlijk apparaat heeft het zelf nog niet door. Onzichtbaar, onder de oppervlakte en op een niet transparante wijze worden allerlei beslissingen genomen die impact hebben op ons leven. Om ons gedrag te voorspellen en te beïnvloeden wordt er, door zowel publieke als private partijen, gebruikgemaakt van big data. Wie profiteert hiervan en wie betaalt de prijs hiervoor? En hoe moet de politiek met deze ontwikkeling omgaan?
‘Data discrimineert niet’ of ‘algoritmes kunnen niet discrimineren’: met dit soort laconieke uitspraken worden risico’s van grootschalig datagebruik vaak afgedaan. We zien echter steeds vaker hoe de overheid – denk aan de Belastingdienst, gemeente of politie – risicoprofielen creëert en gebruikt, met alle gevolgen van dien, inclusief etnisch profileren. Meestal zoekt men in oude data patronen om risicoprofielen te creëren. Zo werden er vroeger veel data verzameld in zogeheten ‘achterstandswijken’. Deze plekken werden sowieso al gemonitord, waaruit meer mogelijkheden ontstonden voor dataverzameling. Als dit soort eenzijdige data de basis vormt, versterkt dit effect zich logischerwijs in de loop der jaren. Hierdoor ontstaat er een steeds vertekender beeld over één plek, met specifieke dynamieken en omstandigheden. Dit leidt vervolgens tot een beeld dat als algemene standaard wordt opgevat. Het zijn deze vertekende data die steeds meer impact op ons leven hebben. Ze worden onder andere gebruikt voor gedragsbeïnvloeding, in mooie beleidstaal nudging genoemd. Datagestuurd werken dringt steeds verder door tot de gemeentelijke beleidsterreinen, van de openbare ruimte tot het sociale domein. Diezelfde data komen vaak terecht bij verzekeraars, kredietverstrekkers en andere private partijen.
Uit eigen ervaring kan ik stellen dat de algoritmen op sociale media voor mij vaak niet werken. De meeste dataverzameling wordt verzameld door een ‘witte’ maker met een Westerse bril op, wat betekent dat hun focus onbedoeld meer is gericht op de perspectieven van witte mensen. De ’slimme data gedreven algoritmes’ van Facebook, Twitter en LinkedIn kunnen die biases echter niet zien en draaien op de aanname van representatieve dataverzameling. Toch is de overheid ditzelfde gedrag aan het overnemen. Bij sociale media heb ik in ieder geval een theoretische keuze om wel of niet op een bericht te klikken, maar bij de Belastingdienst en gemeente is deelname onvermijdelijk. En de gevolgen zijn niet mals: bij het invoeren van datagestuurd werken vorm je de samenleving rondom de data die je binnenkrijgt en vallen de ondervertegenwoordigde groepen de facto buiten de boot. Bovendien, datagestuurd werken impliceert dat we de samenleving gebaseerd op data ‘objectief’ kunnen inrichten, maar de samenleving wordt niet of beperkt ingericht voor of door mensen van kleur.
Er worden allerlei databases opgetuigd met gegevens van niet-criminele jongeren en er worden interventies gepleegd bij familieleden waar risicoscores afwijken van de ‘gemiddelde’ score. Deze interventies worden gelegitimeerd met ‘risicoprofielen’ die door pseudowetenschap is gecreëerd. Afwijking van gemiddeldes leidt in potentie tot disciplinering, uitsluiting of bij voorbaat al ‘verdacht’ zijn zoals bij de Belastingdienst. Maar in een rechtsstaat ben je onschuldig tot het tegenovergestelde is bewezen. Zo wordt er een systeem opgetuigd dat in de grote steden bijvoorbeeld tot twintig procent van alle kinderen als risico voor de veiligheid labelt. Maar daarvoor is wel nodig dat alle kinderen als potentieel probleem worden beschouwd.
SyRi
Een tijd geleden is de Nederlandse overheid op de vingers getikt door de rechter voor het gebruiken van een fraude opsporingssysteem, genaamd Systeem Risico Indicatie (SyRi). De rechter kreeg de vraag of dit fraude opsporingssysteem daadwerkelijk functioneerde. Feitelijk is er met dit SyRi-systeem nog geen additionele fraude opgespoord, dus het werkt niet. Daarnaast is het ook nog onduidelijk hoe de algoritmes eigenlijk werken, wat de doorslag gaf voor het vonnis van de Raad van State. De overheid moet nu een nieuw fraude opsporingssysteem ontwikkelen dat niet tegen de internationale mensenrechten indrijft.
Het Europees Hof voor de Rechten van de Mens heeft uitgesproken dat er bij zo’n dergelijk fraudesysteem nauwkeurig moet worden beschreven wat de bevoegdheden en taken van de uitvoerende organisaties zijn. De overheden zijn nog strak gekaderd, daarom laten de overheidsdiensten soms het controversiële werk opknappen door de commerciële bedrijven die nog geen goede wettelijke regulering kennen. Deze tendens zien we steeds vaker.
Wie profiteert van deze tendens? Commerciële partijen als Google, Facebook en Amazon verdienen bakken met geld door onze persoonlijke gegevens te verzamelen. Wie betaalt de prijs hiervoor? De gebruikers van het systeem betalen een prijs, de prijs van vrijheid. De vrijheid van keuze, de vrijheid om geen cookies te accepteren, de vrijheid van denken en nog veel meer gevolgen die wij nog niet kunnen overzien. Daarom moet de politiek, van landelijk tot lokaal en provinciaal bestuur, de wetgeving rondom digitalisering en de bevoegdheden van de private en publieke partijen goed inkaderen. Dit moet samengaan met het kwantificeren van echte ‘veiligheidsindicatoren’ en ‘risicoprofielen’. In de Rotterdamse Veiligheidsindex wordt een wijk bijvoorbeeld automatisch ‘minder veilig’ wanneer er meer ‘niet-Westerse allochtonen’ wonen. Dit soort indicatoren zijn niet objectief, maar juist bevooroordeeld. En daarom moeten we stoppen met dit soort kwalificaties en afstappen van de schijnzekerheid die we nastreven. Verandering is de enige zekerheid in het leven.
Armine Stepanyan is Statenlid voor GroenLinks in de provincie Zuid-Holland
