Verantwoorde inzet van AI: kansen, risico’s en de noodzaak van menselijke controle

Tijdens het recente iBestuur congres vond een levendige discussie plaats tijdens de workshop “AI kan democratie versterken door afspraken en modelbeheer”. Onder leiding van André van der Meer, senior Business development manager overheid bij SAS, gingen Sven Stevenson (Directeur Coördinatie Algoritmes bij de Autoriteit Persoonsgegevens), Geert-Jan van de Ven (Directeur CIP-Overheid) en Véronique Van Vlasselaer (Analytics en AI lead voor Zuid-, West- en Oost-Europa bij SAS) met elkaar in gesprek over de mogelijkheden en risico’s van AI in de publieke sector.

AI is niet meer weg te denken uit ons dagelijks leven en de vraag naar het toepassen ervan binnen de overheid groeit. Tegelijkertijd bestaan er zorgen over privacy, ethiek, samenleving en de betrouwbaarheid van AI-modellen. Zeker nu het vertrouwen in de politiek al laag is, kan de inzet van modellen zelfs leiden tot meer onrust. De toeslagenaffaire ligt nog als een open wond in de samenleving. Juist door het maken van afspraken over hoe modellen ontwikkeld en toegepast kunnen worden, nemen die risico’s af. Het werken met AI gaat verder dan technologie. Betrouwbare data en de manier waarop de uitkomsten worden beoordeeld of toegepast (de mens) zijn ook kritisch voor een betrouwbare resultaat.

In deze discussie namen de verschillende partijen hun standpunt in. Geert-Jan van de Ven vergeleek AI met een dubbelsnijdend zwaard: het biedt enorme kansen en mogelijkheden voor de samenleving, maar de impact kan ook groot zijn. Hij riep op tot constante evaluatie van de ethische vragen rondom AI: wordt de data op een verantwoorde manier verzamelt en gebruikt, is het model eerlijk en is er sprake van (onbedoelde) bias? Allemaal vragen die gedurende de gehele levenscyclus van een AI-model gesteld moeten worden om de waarde van AI voor de samenleving te waarborgen.

Sven Stevenson benadrukte vanuit de Autoriteit Persoonsgegevens (AP) dat de democratische controle op AI-systemen op dit moment tekortschiet. In het laatste rapport van de AP over AI- & algoritmerisico’s in Nederland worden verschillende voorbeelden genoemd. Een belangrijke constatering is dat om de kwaliteit en betrouwbaarheid van AI- en algoritmische modellen te vergroten, deze tijdens de gehele levenscyclus moeten worden afgestemd op de grondrechten en publieke waarden. Dit vereist constante acties zoals een actieve kwaliteits- en risicobeheersing, periodieke audits op kwaliteit, risicobeheersing, non-discriminatie en effectiviteit, registratie van het AI-systeem en transparantie in de rapportage. Dit alles leidt tot de conclusie dat adequate democratische controle en sturing op AI-systemen aanzienlijke investeringen vereist in tijd, financiële middelen, IT-middelen, governance en personeel. Hier is meer actie op nodig.

De derde en laatste bijdrage aan de discussie kwam van Véronique Van Vlasselaer, die waarschuwde voor blind vertrouwen in AI-systemen. Als professional met ruime ervaring in het ontwikkelen en implementeren van AI-modellen, benadrukte zij het gevaar van het blindelings vertrouwen op AI-systemen! Het is een groot risico dat de huidige hype rond GenAI, grotendeels gebaseerd op de ervaringen met ChatGPT, te eenvoudig wordt door vertaald naar zakelijke toepassingen. Véronique stelt zelfs: the Devil is in the data. Ieder AI- of algoritmisch model zal eerst getraind moeten worden voordat het effectief kan worden ingezet. Ze benadrukt dat de kwaliteit en betrouwbaarheid van de trainingsdata cruciaal is voor de betrouwbaarheid van het model. Technologie kan zeker helpen bij het beoordelen van de kwaliteit van het model, het gecontroleerd in productie brengen en het technisch en functioneel beheer ervan. Dit biedt eindverantwoordelijken in (overheids)organisaties waardevolle rapportages over zaken als gebruik (autorisaties en authenticatie), de kwaliteit (is het model nog betrouwbaar – risico van drift), ethiek en privacy, en gebruik van juiste data.  Hoewel hiermee de hele levenscyclus van een AI-model kan worden beheerd, ontslaat dit de mens niet van de taak om zorgvuldig na te denken en het model kritisch te beoordelen. De inzet van AI-modellen in de samenleving moet op een doordachte en verantwoorde manier plaatsvinden. Samenwerking in multifunctionele teams gedurende deze levenscyclus is daarbij cruciaal om een zorgvuldige en verantwoorde ontwikkeling en toepassing van AI-modellen te waarborgen

Tijdens de discussie die volgde werd vanuit het publiek duidelijk onderschreven dat data als het grootste risico wordt gezien voor betrouwbare AI-modellen, gevolgd door het gecontroleerd in productie brengen van modellen, en het hebben van een duidelijk governanceproces. Zo’n 60% van de aanwezigen was het erover eens dat betrouwbare AI-systemen mogelijk zijn, mits er sprake is van duidelijke governance gedurende de gehele levenscyclus van het model.