Op 25 mei ging de AVG van kracht en organiseerden we samen met het Rathenau Instituut het debat 'Leven met algoritmen'. Sindsdien zijn we een hoop privacy-illusies armer en algoritme-wijsheden rijker. Terwijl kleine ondernemers zich het leplazerus werken om aan alle AVG regels te voldoen, hebben grote bedrijven vrij spel.
Beeld: Sebastiaan ter Burg / CC BY 2.0
Overheden, bedrijven en privacy waakhonden investeren veel tijd en geld in het voldoen aan alle nieuwe privacyregels. Maar wat gaat ons dat opleveren?
Volgens Vera Jourová die in Brussel verantwoordelijk is voor de nieuwe privacywet, zijn sinds eind mei de data van Europese burgers de best beschermde data ter wereld.
In aanloop naar 25 mei probeerden privacyschenders zoals Facebook een graantje mee te pikken van de jubelstemming over de inwerkingtreding van de Algemene Verordening Gegevensbescherming (AVG).
Inmiddels zijn we ruim een maand en zeshonderd privacyklachten verder. De Autoriteit Persoonsgegevens kon het aantal meldingen van mensen die vermoeden dat hun persoonlijke data niet goed worden beschermd amper aan. Ook is er een vals AVG-keurmerk in omloop en wordt gewaarschuwd voor valse AVG boetes.
Leven met AVG-proof algoritmen
Tijdens ons debat Leven met algoritmen gingen we met kunstenaars, wetenschappers, bedrijven en geinteresseerden in gesprek over de manier waarop big data en algoritmen ons leven beïnvloeden en wat de AVG wel en niet regelt omtrent algoritmische besluitvorming.
We openden de avond met de stelling ´Ik heb er vertrouwen in dat de AVG mijn gegevens voldoende beschermt´. Via smartphone kon het publiek laten weten of ze het al dan niet eens waren met deze stelling. De blauwe balk loog er niet om:
Klik op illustratie voor vergroting
Of toch wel? Het publiek had twijfels over deze dubieuze uitslag. Gelukkig kon SETUP opheldering geven: de uitslag was tot stand gekomen met behulp van een sùperhandig algoritme dat alleen meningen meetelt van mensen die er echt toe doen.
Of we nog wel even wilden uitleggen hoe ons ‘sùperhandige algoritme’ dat kan berekenen. Maar volgens het intellectuele eigendomsrecht hoeven bedrijven helemaal geen uitleg te geven over de rekenregels van hun algoritmen, zolang de dataverwerking en data opslag maar AVG-proof zijn. Deze informatie gingen wij dus mooi niet gratis weggeven.
Met ons black box algoritme stelden we een belangrijke vraag aan de kaak: als onze data voldoende worden beschermd, mogen bedrijven en overheden dan alles met onze data doen? Om deze vraag naar de hedendaagse praktijk te halen presenteerde kunstenares Isabel Mager haar werk over recruitment algoritmen.
De filterbubbel van de algoritmische recruitment
Tegenwoordig hebben bedrijven wel wat beters te doen dan afgezaagde motivatiebrieven lezen, cv’s uitkammen en sollicitatiegesprekken voeren met ongeschikte kandidaten. Het selecteren van een geschikte kandidaat wordt steeds vaker uitbesteed aan een algoritme.
De recruitment software industrie is een groeimarkt. Een van de koplopers is het miljoenenbedrijf Hirevue, met klanten als Unilever en Goldman Sachs. De algoritmen van Hirevue beoordelen videosollicitaties op woordkeuze, stemklank en micro-expressies die onze ‘ware’ emoties en persoonlijkheid zouden verraden.
Als we hun marketingsprookje moeten geloven selecteren algoritmen de juiste kandidaat op een neutrale en eerlijke manier. Een algoritmische screening bevrijdt sollicitanten van discriminerende werkgevers die op basis van onderbuikgevoelens personeel zouden aannemen.
Bedrijven die de boodschap verkopen dat technologie neutraal is slaan de plank faliekant mis. Dat een algoritme elke individu op dezelfde manier beoordeelt, betekent nog niet dat dit ook op een neutrale manier gebeurt. Zo kunnen algoritmen consistent discrimineren en ongelijkheid tussen bevolkingsgroepen vergroten. Cathy ‘O Neil is niet de enige die een boek kan vullen met voorbeelden waaruit dat blijkt. Virginia Eubanks laat in haar boek Automating inequality zien op welke manier arme mensen stelselmatig door algoritmen worden benadeeld omdat er meer data over hen beschikbaar zijn.
Algoritmen reflecteren niet alleen ongelijkheid en menselijke vooroordelen, ze kunnen deze ook nog eens op grote schaal verspreiden door ze vast te leggen in systemen. Bij het voeden met datasets en wegen van variabelen worden indirect morele aannames in het algoritme geprogrammeerd.
Zo liet Isabel in haar presentatie zien dat de scores van recruitment algoritmen allerlei morele aannames bevatten over persoonlijkheid, taalgebruik en gezichtsuitdrukkingen. Denk aan mensen die vriendelijk kijken – zijn zij ook echt aardig? En wat als je een zenuwtrekje in je gezicht hebt? We weten niet op basis van welke uitgangspunten de data aan persoonlijkheidstyperingen worden gekoppeld en welke standaarden recruitment algoritmen hierin hanteren. Dit blijkt voer te zijn voor gedragswetenschappers; naar aanleiding van het werk van Isabel gaat Tilburg University wetenschappelijk onderzoek doen naar algoritmische recruitment.
Het algoritme selecteert kandidaten die qua scores lijken op de scores van kandidaten die al binnen zijn
Voor sollicitanten is een ouderwets sollicitatiegesprek een kans om kennis te maken met de bedrijfscultuur. Nu moeten zij eerst een algoritme verleiden voordat ze in gesprek mogen met een bedrijf. Daarbij moet je maar hopen dat jouw profiel toevallig lijkt op dat van sollicitanten die al zijn aangenomen. Isabel ontdekte in het promotiemateriaal van Hirevue dat het algoritme kandidaten selecteert die qua scores lijken op de scores van kandidaten die al binnen zijn. Welkom in de filterbubbel van de algoritmische recruitment.
Door menselijk gedrag te vangen in algoritmen en alleen het meetbare prioriteit te geven, verliezen we menselijke verschillen uit het oog. Bedrijven die sollicitanten algoritmisch screenen moeten zich afvragen welke menselijke kwaliteiten ze daarmee over het hoofd kunnen zien. Historicus Edward Tenner, die een boek schreef over wat big data allemaal niet voor ons kunnen doen, wijst erop dat mensen die volledig op een recruitment algoritme vertrouwen de parels missen die juist met onderbuikgevoelens ontdekt worden.
Privacy gaat over macht
Algoritmen die ons gedrag meten kunnen volledig AVG-proof zijn en tegelijkertijd een schadelijk effect hebben op de samenleving. Ze kunnen bijvoorbeeld verkeerde verbanden leggen, onderhevig zijn aan bias of oneerlijke morele aannames bevatten.
In het slotdebat werd dan ook duidelijk dat privacy over veel meer gaat dan gegevensbescherming. Privacy gaat over de mogelijkheid om je te ontrekken aan onwenselijke en onzichtbare interventies van algoritmen die jouw keuzes, acties en kansen in het leven beïnvloeden.
Deze beinvloeding is alom aanwezig. Zodra je online gaat zijn de algoritmen van big data-bedrijven in charge: zij gaan tussen elk stukje communicatie zitten, maken profielen op grond van jouw klikgedrag en wijzen je de weg vanuit een winstmaximalisatie doelstelling. Om te bepalen wat we willen eten, lezen, kopen, kijken, verzekeren, beluisteren en beminnen hoeven we niet meer zelf na te denken of een beroep te doen op onze zintuigen, we besteden het uit aan bedrijven die onze keuzes sturen met algoritmen. Zij weten precies welke berichten, meldingsgeluiden, buttons en swipes ons veranderen in beeldschermzombies die doorlopend data blijven genereren om hun verdienmodel te waarborgen.
Dataslurpers als Google en Facebook kunnen zich vanwege hun monopoliepositie gemakkelijk onttrekken aan publieke waarden als democratie, autonomie en inclusiviteit. Met strenge overheidsregulering wordt getracht de uit de hand gelopen machtsbalans te herstellen. Zo krijgt Google voor de tweede keer een torenhoge boete van de Europese Commissie, dit keer omdat het zijn eigen apps en diensten voortrekt op Android.
De Europese Commissie wil dat fabrikanten zelf kunnen bepalen welke apps ze op hun Android-apparaat plaatsen en dat Google een einde maakt aan het misbruiken van hun machtspositie.
Terwijl kleine ondernemers zich het leplazerus werken om aan alle AVG regels te voldoen, hebben grote bedrijven vrij spel
Machtsmisbruik en het waarborgen van een gezonde machtsbalans; dàt is waar privacy in essentie over gaat. De AVG en de Autoriteit Persoonsgegevens hebben daar maar in beperkte mate invloed op omdat overheidsregulering en wetgeving vaak achter de markt aan hobbelen.
Terwijl kleine ondernemers zich het leplazerus werken om aan alle AVG regels te voldoen, hebben grote bedrijven vrij spel. Van torenhoge boetes worden dataslurpers namelijk niet bang. Om ze daadwerkelijk in hun machtspositie te raken zouden ze bijvoorbeeld verplicht kunnen worden om hun dienstverlening -en daarmee hun dataverzameling, een poosje uit de lucht te halen. Dat geeft concurrerende bedrijven de ruimte om te kunnen groeien.
De macht van datagiganten en aantasting van publieke waarden moeten we niet alleen van bovenaf met privacywetten en boetes inperken, maar ook van onderop. Door alternatieve en innovatieve technologieën te ontwikkelen waarbij publieke waarden het uitgangspunt vormen.
Om de kater na de AVG te bestrijden hebben we Civil Weapons of Math Retaliation nodig. Daarmee kunnen we de macht van moraliserende algoritmen inzichtelijker maken en eerlijker verdelen.
Op 16 september presenteert Isabel Mager haar Weapon of Math Retaliation tijdens Culturele Zondag Utrecht in de Winkel van Sinkel. Bezoekers kunnen zelf een mock-up recruitment algoritme uitproberen en realtime ervaren hoe zij door het algoritme worden beoordeeld.
Benieuwd naar onze andere Weapons of Math Retaliation? Hou komende periode onze website en events in de gaten.
