Wel of niet meegaan in de roep om Client Side Scanning?

Op woensdagavond 11 oktober heeft de commissie Digitale Zaken een rondetafelgesprek op het programma over Client Side Scanning. Het kabinet is geen voorstander van dit middel waarbij tekstberichten op o.a. WhatsApp en Signal gescand mogen worden in de strijd tegen kinderporno. 

Via chat-apps wordt veel illegale inhoud verspreid. In Brussel wordt onderhandeld over een verordening om de verspreiding van online kinderporno tegen te gaan, waaronder een zogeheten detectiebevel. Op basis hiervan kunnen bedrijven onder voorwaarden worden verplicht om hun diensten te scannen op de aanwezigheid van materiaal van online seksueel kindermisbruik.

Niemand zal tegen het verspreiden van kinderporno gaan. Ongeachte de vraag of het technisch haalbaar is om deze vorm van scanning toe te passen en wie daarvoor verantwoordelijk zou moeten zijn, moet een antwoord gegeven worden op een ethische vraagstuk dat hieraan vooraf gaat. Moeten we dit wel willen? Is het gerechtvaardigd om een soort van ‘sleepwet’ in te voeren waarbij berichten van alle gebruikers gescand worden op kinderporno voorafgaan aan publicatie?

“Een digitale samenleving waarin grote bedrijven moeten meelezen op alles wat ik schrijf voordat ik de envelop dicht doe, daar moet ik persoonlijk niet aan denken,” schrijft Ron Roozendaal in zijn laatste blog

Rondetafelgesprek

De commissie Digitale Zaken gaat hier woensdagavond over in gesprek met een aantal gerenommeerde experts, waaronder:

• Jaap-Henk Hoepman, universitair hoofddocent Radboud Universiteit, Rijksuniversiteit Groningen en Karlstad University
• Frederik Zuiderveen Borgesius, hoogleraar ICT en recht aan Radboud Universiteit
• Bert Huber, cybersecurity-ondernemer
• Michel van Eeten, hoogleraar Cybersecurity aan de TU Delft

Position Papers

Dat de Europese Commissie serieus werk wil maken van de bestrijding van online kindermisbruik is te begrijpen, maar de inzet van het middel, de inzet van zogenaamde Client Side scanning technologie, is buitengewoon risicovol en disproportioneel, is de conclusie van de experts.

‘Deze technologie is onbetrouwbaar en daarmee potentieel stigmatiserend. Ook is de noodzakelijkerwijs brede inzet van deze technologie buitenproportioneel, met grote risico’s ten aanzien van de bescherming van de persoonlijke levenssfeer. Door de installatie van deze technologie op de telefoons van nagenoeg alle Nederlanders wordt daarnaast een onomkeerbare stap gezet naar een verregaande Europese infrastructuur voor massasurveillance’, schrijft Jaap-Henk Hoepman.

Experts wijzen ook op de grote kans op ‘false positives’. ‘De Europese Commissie noemt een AI-systeem dat zich weinig zou vergissen: 1 op de 1000 keer zou het systeem een onschuldige foto aanzien voor verboden CSAM-materiaal’, schrijft Frederik Zuiderveen Borgesius. ‘Maar elke dag worden er miljoenen beelden uitgewisseld. Een foutmarge van 1 op 1000 zou tot duizenden ‘false positives’ leiden: beelden en onterechte verdenkingen die gemeld worden aan het EU-centrum. Op zo’n manier wordt het EU-centrum overstelpt met onterechte meldingen. Het EU-centrum zal niet genoeg menskracht hebben om al die beelden te checken.’

En een onterechte melding is niet schadeloos, stelt Bert Huber. Het leidt tot veel ellende bij betrokkenen. ‘Er komen onderzoeken,
telefoons worden leeggetrokken, ouders worden verdachten, iedereen wordt met de nek aangekeken. Veilig Thuis komt over de vloer om onderzoek te doen.’ Onterechte meldingen kunnen ook nog eens leiden tot veroordelingen die soms pas na vele jaren hoger beroep teruggedraaid worden.

Alles hangt af van de kwaliteit van de zogenoemde ‘classifiers’ en de manier waarop onterechte meldingen worden afgehandeld. Op beide fronten zijn de tekenen niet goed, stelt Hubert. ‘Cruciaal, beide onderwerpen worden in het voorstel nauwelijks concreet besproken, behalve door vast te leggen dat de technologie gewoon geen fouten moet maken. Maar in eerdere gevallen hebben we gezien dat overheidsalgoritmes er wel degelijk naast kunnen zitten, met alle gevolgen (en parlementaire enquêtes) van dien.

Conclusie

Niet meegaan dus in de roep om Client Side Scanning, maar wat dan wel?  Een oplossing wordt niet echt aangedragen in de position papers. Huber ziet nog een mogelijkheid om telefoons zo in te richten dat dat ze gevaarlijk gedrag/ervaringen van kinderen melden bij hun eigen ouders in plaats van bij Europol, maar verder gaat het niet. We moeten verder nadenken over de manier waarop online misbruik van kinderen kunnen terugdringen. ‘Met specifiekere regelgeving zou het mogelijk moeten zijn dit te bereiken zonder al onze prive-communicatie via nog onbewezen software direct naar overheden te sturen,’ aldus Huber.