Gezichtsherkenning??

Ongeveer een decennium terug had ik een ondernemersduo als cliënt dat enige overeenkomsten met de Gebroeders Bever vertoonde. Buitengewoon inventief in het verzinnen van nieuwe oplossingen, met name op het gebied van marketing.

Op een dag belde één van de twee ondernemers mij op. Hij had samen met een afstudeerder dé oplossing verzonnen voor het privacygeneuzel rond loyaliteitskaarten van winkelketen. Een loyaliteitskaart die niet langer meer met persoonsgegevens zou werken, maar met gezichtsherkenning. Enigszins uit het veld geslagen was mijn reactie dat ze mogelijk wat fundamentele kwesties over het hoofd hadden gezien. Dat was niet helemaal wat verwacht was en na wat praten besloten wij de afstudeerder een kop koffie op mijn toenmalige kantoor te laten drinken en een stoomcursus gegevensbescherming te geven. Het zal niemand verbazen dat de afstudeerder wat gedesillusioneerd terugkeerde naar zijn afstudeerplek, want zijn hele afstudeeronderzoek kon terug naar te tekentafel. Anekdotes zijn geen vervanging van data, maar soms wel illustratief voor het wensdenken rond informatietechnologie, zo ook in dit geval.

De reden dat deze herinnering bij mij opkwam was toen in korte tijd IBM, Amazon en Microsoft aankondigden hun gezichtsherkenningstechnologieën veel beperkter te vermarkten vanwege de ethische implicaties hiervan. Microsoft en Amazon sluiten specifiek de politiedoeleinden van inzet van hun technologie uit, IBM gaat een stap verder en sluit ‘generiek gebruik’ uit. Wat daar precies mee bedoeld wordt, is niet duidelijk. Wel is duidelijk dat drie technologiereuzen publiekelijk een signaal afgeven dat aan gezichtsherkenning een ethische dimensie kleeft dat zij zich tot op het hoogste niveau niet langer gemakkelijk voelen bij een ongebreidelde inzet hiervan bij met name handhaving en opsporingsactiviteiten.

Wat is er nu aan de hand? Gezichtsherkenning, net als veel andere vormen van biometrie, leunt op machine-learning en neurale netwerken. Zoals wel vaker blijkt dat toepassing van dit soort ‘soft-AI’ technologieën op mensen een ethisch mijnenveld is. De datasets van decennia aan onderzoek op dit terrein blijken bij toepassing in de praktijk eenzijdig van samenstelling te zijn. Gezichtsherkenning blijkt vooral het meest volwassen te zijn zolang de gezichten van witte mannen herkend moeten worden. De foutpercentages rijzen de pan uit zodra er andere gezichten herkend moeten worden. Heel platgeslagen: voor een gezichtsherkenningscamera lijken alle Aziaten en andere mensen met wortels buiten Europa op elkaar. En als die gezichtsherkenningscamera in China is ontwikkeld, dan lijken alle Europeanen en alle mensen met wortels in Afrika en Zuid-Azië op elkaar. Waarbij met de wetmatigheden van de grote getallen ook al snel acute problemen ontstaan.

Een vrij pregnant probleem uit de afgelopen tijd: de Londense Metropolitan Police zet camera’s met gezichtsherkenning in om gezochte (zware) criminelen op drukbezochte plaatsen in Londen te herkennen en deze te kunnen arresteren. De
‘Met’ beweert daarbij dat er in slechts op één van de duizend gevallen fouten worden gemaakt. Wie bedenkt dat London in coronavrije tijden zo’n dertig miljoen toeristen per jaar trekt en daarnaast dat Groot-Londen ruim acht miljoen inwoners heeft, kan op een bierviltje uitrekenen dat één op de duizend fouten dan toch al snel enkele tienduizenden onterechte staandehoudingen en arrestaties op jaarbasis kan opleveren. Die arrestaties zullen disproportioneel vaak andere mensen van een niet-Europese afkomst betreffen en in termen van uitkomsten discriminatoir zijn.

Daarbij komt nog dat het enige onafhankelijke onderzoek naar de accuratesse van de techniek die in dit specifieke project wordt ingezet tot volstrekt andere inschatting van de betrouwbaarheid komt, namelijk dat het systeem slechts in 19 procent van de gevallen het bij het goede eind heeft. Dus dat bovenstaand probleem van fout-positieve herkenningen wel eens een paar maatjes groter is dan het lijkt.

Ergens is het tragisch dat het vooral de onvolwassenheid van de techniek is die het debat aanjaagt. Want ook naast de tamelijk evidente discriminatie op etniciteit die op de loer ligt, gaat dit volledig voorbij aan de gedachte dat de burger zich onbespied mag wanen in de openbare ruimte. Hoe dan ook, als zelfs eeuwige techno-optimisten IBM, Amazon en Microsoft op de rem trappen, dan is het zeker voor het openbaar bestuur in Nederland raadzaam om zich eens te bedenken of deze technologie zich wel leent voor inzet in een democratische rechtsstaat en wat nu eigenlijk de waarborgen en randvoorwaarden moeten zijn bij inzet. Sommige Amerikaanse steden, zoals San Francisco, hebben al besloten tot een volledig verbod van inzet van deze technologie. En dan kan het wellicht geen kwaad om de oude syllabi uit de studietijd over betrouwbaarheidsintervallen en fout-negatief versus fout-positief weer eens onder het stof vandaan te halen.

Walter van Holst is senior adviseur bij Hooghiemstra & Partners