Aerdts: AI-ontwikkelaars verantwoordelijk bij incidenten

AI-agents die uit een testomgeving breken, zich organiseren op een forum en zelfs een database voor AI-ontwikkelaars hacken. Het klinkt als een scenario voor sciencefiction, maar deze zomer waren er meerdere incidenten met AI-modellen waarin AI-agents van onder meer OpenAI en Antrophic zich gedroegen als digitale hooligans. Dinsdag bood OpenAI excuses aan voor een hack op een Australische overheidswebsite. De AI-modellen in kwestie werden intern getraind en geëvalueerd toen ze aan het hacken sloegen, zonder dat ze daartoe opdracht hadden gegeven, aldus OpenAI.

Verantwoordelijkheid voor ontwikkel- en testfase

‘Deelt u de mening dat de verantwoordelijkheid voor dit soort incidenten primair bij de ontwikkelaars van AI-modellen ligt, en niet louter kan worden afgedaan als een onvermijdelijk gevolg van toenemende AI-capaciteiten?’ vroegen de Kamerleden El Boujdaini (D66) en Zwinkels (CDA) aan de staatssecretaris. Zij schrijft terug dat het kabinet deze mening deelt. 

‘Ontwikkelaars zijn verantwoordelijk voor de AI-modellen en -systemen die zij creëren en het mitigeren van mogelijke risico’s. Deze verantwoordelijkheid geldt als producten op de markt zijn gekomen, maar ook voor de ontwikkel- en testfase', schrijft Aerts. Aanbieders van AI-modellen moeten zich in Europa houden aan de AI-verordening (AI Act) en onder meer veilige ontwikkel- en testomgevingen bouwen. Op basis van de wettelijke eisen zijn richtlijnen opgesteld voor AI-ontwikkelaars, die ze kunnen vinden in de General-Purpose AI Code of Practice.

Ingewikkeld is wel dat de AI-verordening niet geldt voor test- en ontwikkelactiviteiten, zoals het geval was bij OpenAI en Antropic. Aerdts schrijft dat de Europese AI Office deze gevallen bestudeert. De beoogde coördinerende Nederlandse toezichthouders, de Rijksinspectie Digitale Infrastructuur (RDI) en de Autoriteit Persoonsgegevens (AP), hebben contact met de AI Office.

Nederlandse organisaties de dupe?

De Kamerleden wilden ook weten of AI-modellen ongeautoriseerd toegang kregen tot Nederlandse organisaties. Aerdts moet ze op die vraag het antwoord schuldig blijven. ‘Hierbij moet opgemerkt worden dat het niet eenduidig te herkennen valt of een cyberaanval door een AI agent, een mens, of een combinatie daarvan is uitgevoerd. In de genoemde incidenten hebben AI-ontwikkelaars zelf publiekelijk gemeld dat AI agents een inbraak hadden uitgevoerd.’

Geen idee hoe modellen te beheersen

De vraag is overigens wel of AI-ontwikkelaars in staat zijn om hun verantwoordelijkheid te nemen. Maandag zei een voormalig Anthropic-onderzoeker tijdens een hoorzitting in New York dat AI-bedrijven geen idee hebben hoe ze AI-modellen moeten beheersen.