5 tips voor het beveiligen van AI-systemen (van de AIVD…)

De Algemene Inlichtingen- en Veiligheidsdienst (AIVD) deelt in de brochure ‘AI-systemen: ontwikkel ze veilig’ verschillende manieren waarop AI-systemen aangevallen kunnen worden en hoe organisaties zich hiertegen kunnen verdedigen.

De AIVD signaleert in zijn handreiking vijf mogelijke aanvallen op AI-systemen, waarmee aanvallers bijvoorbeeld kunnen proberen om een AI-model om de tuin te leiden, de werking te saboteren of om erachter te komen hoe een algoritme werkt. Dat levert grote risico’s op. Als voorbeeld noemt de AIVD een automatische scanner voor de doorvoer van goederen die onbedoeld wapens doorlaat, of malware-detectieprogramma’s die verkeerde trainingsdata hebben gekregen en daardoor niet meer werken. “Het is dan ook niet genoeg om je AI-systemen enkel van algemene cybersecuritymaatregelen te voorzien”, aldus de AIVD.

Vijf principes voor het veilig ontwikkelen AI-modellen

Om te zorgen dat AI-modellen wel afdoende beveiligd zijn, beschrijft de AIVD vijf principes voor het veilig ontwikkelen van zo’n model of systeem. Aan de hand daarvan hoopt de AIVD dat AI-experts en cybersecurityexperts binnen organisaties hierover in gesprek gaan. Een echt stappenplan voor het veilig ontwikkelen van AI-systemen geeft de AIVD echter niet. Volgens de inlichtingendienst kan dat namelijk de illusie wekken “dat je daarna klaar bent en niet meer verder aan de beveiliging hoeft te werken”.

1. Houd de datakwaliteit op orde

De eerste twee principes die de AIVD noemt, draaien om data die gebruikt worden voor het trainen van systemen. Allereerst is van groot belang dat nagedacht wordt over de kwaliteit van data. Hoe gestructureerd is die data bijvoorbeeld? Waar komt de data vandaan? Is de kwaliteit te controleren? Door aandacht te besteden aan datakwaliteit wordt bovendien ook de prestatie van het model verbeterd, beargumenteert de AIVD. Daardoor kunnen aanvallen waarbij data gemanipuleerd worden, tegen worden gegaan.

2. Zorg voor validatie van je data

De validatie van data is net zo goed belangrijk, zeker als er data uit externe bronnen worden gebruikt. In dat geval moeten experts nadenken over vragen als: hoe is de dataset tot stand gekomen? En: hoe zorg ik ervoor dat ik niet te afhankelijk ben van een enkele databron? Ook adviseert de AIVD om het datamodel constant te monitoren en proactief te controleren waar mogelijk.

3. Houd rekening met supply chain security

Er zijn ook bedrijven die niet zelf AI-modellen maken, maar die een kant-en-klaar model downloaden of er één door anderen laat inrichten. Maar volgens de AIVD is daarmee de kans op een achterdeurtje reëel en is het lastig om dit te voorkomen. Mocht het echt niet mogelijk zijn om een model zelf te bouwen, dan adviseert de AIVD om te kijken naar de garanties die er zijn om de leverancier te vertrouwen. Organisaties kunnen bijvoorbeeld extern binnengehaalde data of modellen steekproefsgewijs beoordelen op mogelijke fouten en met bepaalde technieken zorgen dat onjuiste of data met verkeerde bedoelingen zo min mogelijk impact hebben op het model.

4. Maak je model robuust tegen aanvallen

Verder wordt geadviseerd om het AI-model zo robuust mogelijk te maken. Dat betekent dat een AI-model zo goed mogelijk kan functioneren bij afwijkende input, veranderingen in de data of pogingen tot misbruik. De eerder genoemde adviezen helpen daar volgens de AIVD al bij, maar er zijn meer mogelijkheden. Zo kan ingezet worden op adversarial training, wat ervoor zorgt dat een AI-model aangepaste en kwaadaardige data herkent en hiertegen bestand is. Ook adviseert de inlichtingendienst om red teaming-oefeningen met het AI-model te houden, waarbij een team van aanvallers kwetsbaarheden in het model probeert te ontdekken en te misbruiken, zodat hiertegen beveiligd kan worden.

5. Zorg dat een AI-model controleerbaar is

Tot slot benadrukt de AIVD dat het belangrijk is dat een AI-model controleerbaar is. Het is immers niet altijd duidelijk hoe een voorspelling tot stand is gekomen, waardoor het lastig kan zijn om te zien of er sprake is van misleiding. “Als je bij het bouwen en trainen van je model vooraf rekening houdt met controleerbaarheid, dan zal het achteraf minder als een black box voor je zijn”, aldus de AIVD.

Dit artikel werd eerder gepubliceerd bij onze collega’s van AG Connect