Het gebruik van AI-algoritmes biedt nieuwe kansen voor bedrijven en overheidsinstanties. De Europese Commissie heeft eind april 2021 een voorstel gedaan voor de eerste Europese wetgeving op het gebied van AI. De betrouwbaarheid van AI-algoritmes kan verder vergroot worden met een nationale faciliteit waarin verschillende partijen participeren.
Algoritmes ondersteunen en verbeteren vaak processen in de bedrijfsvoering en dienstverlening. Daarnaast bieden deze algoritmes ook kansen om deze processen transparanter, eerlijker, betrouwbaarder en meer controleerbaar te maken. Foto: Pexels
Het imago van algoritmes, in het bijzonder AI-algoritmes, heeft de laatste jaren een flinke deuk opgelopen. Het vertrouwen van burgers in de overheid staat op gespannen voet met de vooruitgang die AI met zich meebrengt. De kans op onvoorziene bijeffecten van AI-algoritmes is ook groter geworden, vanwege de toegenomen complexiteit van AI en het toegenomen aantal AI-toepassingen. Zeker in het Openbaar Bestuur, waar betrouwbaarheid, transparantie en verantwoording hoog in het vaandel staan, kan de negatieve impact van deze bijeffecten aanzienlijk zijn, onder andere op burgers.
De Europese Commissie heeft eind april 2021 een voorstel gedaan van de eerste Europese wettelijke regelgeving op het gebied van AI. Deze voorgestelde regelgeving hanteert een risico-georiënteerde benadering: als er kans is dat een AI-toepassing schade veroorzaakt, dan moet de toepassing aan voorwaarden voldoen. Dit is een stap voorwaarts richting betrouwbaardere AI-algoritmen, maar er is meer nodig dan dat. Er zal verder geïnvesteerd moeten worden in een nationale faciliteit waarin verschillende partijen participeren, die in gezamenlijkheid en in een veilige omgeving stappen kunnen maken op het gebied van betrouwbare AI.
Regelgeving leidt tot meer realistisch vertrouwen in AI
In de afgelopen jaren wordt er steeds meer AI ingezet voor het verbeteren van processen. Tegelijkertijd is er ook wantrouwen in de maatschappij ten aanzien van AI-algoritmes, vooral “hoog-risico” AI-algoritmes die potentieel schade kunnen toebrengen aan burgers. Denk hierbij aan algoritmes die op een slimme wijze inzichten uit data halen die implicaties hebben voor burgers, zie bijvoorbeeld deze briefing over de AI-uitdagingen voor EU-burgers en EU-consumenten. Het pijnpunt van deze algoritmes voor burgers en de maatschappij is dan veelal het gebrek aan transparantie. Transparantie rondom de werking van het AI-algoritme, maar ook rondom de gebruikte databronnen en waarop de uitkomsten exact zijn gebaseerd. Daarnaast zijn er ook andere belangrijke pijnpunten, zoals mogelijke discriminatie door het algoritme en onvoldoende waarborging van de privacy van burgers.
Nederlandse en Europese richtlijnen hebben reeds een groot aantal belangrijke aspecten beschreven waaraan AI-algoritmen zouden moeten voldoen. Ook diverse branches komen met eigen richtlijnen. Zo heeft NOREA, de Nederlandse beroepsorganisatie van IT-auditors, in maart 2021 haar eigen principes voor onderzoek naar betrouwbare AI gepubliceerd. Met behulp van dergelijke richtlijnen kunnen betrouwbare en ethisch-verantwoorde AI-algoritmes ontwikkeld, onderhouden, gebruikt en geëvalueerd worden. De voorgestelde Europese regelgeving bouwt voort op de richtlijnen. Het doel is om heldere eisen te formuleren waaraan verantwoorde en betrouwbare AI-algoritmes aan moeten voldoen, waardoor handhaving mogelijk wordt. Vooral het gebruik van AI door overheden en publieke instanties kan hiermee in een beter daglicht worden gesteld, met als positief gevolg meer vertrouwen in de overheid bij burgers.
Technische uitwerking van de EU-wetgeving is essentieel
Er is een goede eerste stap richting “AI-rehabilitatie” gezet met de voorgestelde Europese wetgeving. Naar verwachting zal deze wetgeving binnen enkele jaren zijn intrede doen. De technische interpretatie en implementatie van de eisen dienen echter nog wel verder uitgewerkt te worden. Dit zal tijd en aandacht vergen, onder andere omdat de wetenschap rondom betrouwbare en verantwoorde AI en de bijbehorende ethiek nog relatief jong is. Ook de bovengenoemde richtlijnen voor AI-algoritmes, zijn nog aan veranderingen onderhevig. Dit heeft ermee te maken dat de inzichten veelal afkomstig zijn van kennis en ervaring die met bestaande (ook vaak relatief nieuwe) AI-algoritmes worden opgedaan.
Het is echter niet altijd duidelijk welke ‘bijwerkingen’ er zijn bij het gebruik van AI-algoritmes. Dit komt onder andere door de complexiteit maar ook de state-of-the-art van technologie. De bijwerkingen komen veelal pas aan het licht zodra de AI-algoritmes operationeel ingezet worden. Zo kan bijvoorbeeld blijken dat de uitkomsten van deze algoritmes onvoldoende transparant of uitlegbaar zijn. Door het navolgen van de richtlijnen en later het voldoen aan de wetgeving worden niet alleen de zichtbare bijeffecten aangepakt, maar ook de minder zichtbare, zoals mogelijke impliciete discriminatie in het algoritme. Verder kan het mitigeren van deze negatieve bijeffecten ook leiden tot lessons learned, die gebruikt kunnen worden voor concretisering en aanscherping van de richtlijnen en wetgeving.
Op weg naar een nationale faciliteit voor betrouwbare AI-toepassingen
Meer innovatieonderzoek is vereist om de verschillende richtlijnen te vergelijken, interpreteren en eventueel te combineren, zodat er voor elke AI-toepassing een geschikt kader is waarbinnen deze toepassing verder ontwikkeld, gebruikt en gevalideerd kan worden. Daarnaast is het van belang om de richtlijnen en wetgeving te “vertalen” naar concreet instrumentarium dat men kan gebruiken bij AI-ontwikkeling. Denk hierbij bijvoorbeeld aan randvoorwaarden voor softwaremodules waarin de uitkomsten van de AI-methodes verklaard worden, discriminatie automatisch gedetecteerd wordt en de kwaliteit van de uitkomsten van algoritmes vastgesteld kan worden. Het uitwerken van zo’n technische gereedschapskist is een belangrijke innovatie waar meerdere partijen aan kunnen werken. Deze partijen kunnen de basis vormen van een nationale faciliteit, met een specifieke rol voor elke partij:
• universiteiten en kennisinstituten die de praktische innovatie aanleveren vanuit de wetenschap van betrouwbare AI, maar ook de technische interpretatie kunnen doen van de wetgeving,
• auditors die daarna de formele audits van AI-algoritmen uitvoeren,
• softwareontwikkelaars en gebruikers (zoals overheden) die zowel input leveren vanuit hun dagelijkse praktijk als ook output ontvangen om mee te nemen om de AI-algoritmen verder te verbeteren.
De meerwaarde van zo’n nationale faciliteit zit dan vooral in het gezamenlijk zetten van de stappen richting een ecosysteem waarin over een langere periode gewerkt wordt aan betrouwbare en verantwoorde AI-toepassingen. Hierbij kan er geprofiteerd worden van elkaars kennis, expertise, ervaring en perspectief. In gezamenlijkheid en in een veilige omgeving kan er dan aandacht besteed worden aan de verschillende AI-aspecten die ook terug gaan komen in de wetgeving. Hiermee vergroten we de kans dat zoveel mogelijk van de (vooral hoog-risico) AI-algoritmen gaan voldoen aan de Europese norm. Daarnaast krijgen de partijen die AI ontwikkelen, gebruiken en evalueren de ondersteuning en ruimte die ze nodig hebben, zonder dat ze vroegtijdig bezwijken onder het huidige negatieve imago van algoritmes. Het investeren in zo’n faciliteit sluit goed aan op het idee van AI regulatory sandboxes, wat ook terug te vinden is in het voorstel van de EU-wetgeving. Zo’n sandbox is een gecontroleerde omgeving om innovatieve technologieën rondom AI te testen in een beperkte tijd en op basis van een testplan dat overeengekomen is met autoriteiten.
Innovaties vanuit TNO als bouwblok voor de nationale faciliteit
Kennisinstituut TNO doet innovaties die relevant kunnen zijn voor deze nationale faciliteit. Hierbij gaat het om het formuleren en ontwikkelen van:
• Beleidsadvies rondom het gebruik van AI-algoritmes;
• Criteria voor de technische gereedschapskist voor betrouwbare en verantwoorde AI;
• Prototypes van deze technische gereedschapskist die voldoen aan de principes en richtlijnen van betrouwbare AI en die zoveel mogelijk getest zijn in de praktijk zonder directe impact op burgers;
• Praktische implementaties voor developers om algoritmes te ontwikkelen die in elke stap transparant, uitlegbaar en robuust zijn.
Een van de lopende TNO-projecten is het AI Oversight Lab. Dit Lab zich richt op zowel de theoretische als praktische kanten van het ontwikkelen en toepassen van betrouwbare AI bij publieke instanties. Dit is direct gelinkt aan zowel TNO’s eigen AI-programma Appl.AI als ook aan de Nederlandse AI Coalitie, waarin wordt samengewerkt met zowel andere kennispartijen als ook overheden en commerciële partijen.
In het kader van AI Oversight Lab en op verzoek van de gemeente Nissewaard heeft TNO in de eerste helft van 2021 een technisch-inhoudelijke evaluatie uitgevoerd van een AI-algoritme van deze gemeente. De toepassing van het AI-algoritme is het opsporen van misbruik en oneigenlijk gebruik van bijstandsuitkeringen. Het eindrapport is op de website van de gemeente te vinden. Er zijn in de evaluatie gebreken geconstateerd rondom het AI-algoritme, waaronder een onvoldoende robuustheid van het AI-algoritme. Maar daarnaast zijn er ook positieve bevindingen gedaan in de evaluatie van het AI-algoritme, zoals dat de gemeente duidelijk heeft geïnvesteerd in de verschillende aspecten van betrouwbare AI, denk hierbij aan datagebruik, non-discriminatie en transparantie. Deze belangrijke lichtpunten worden in mediaberichten en door kritische partijen regelmatig onderbelicht en dat is zonde. Er is goede wil, ook bij andere overheden en partijen, om dit soort AI op een zo adequaat mogelijke wijze en met volledige transparantie te willen gebruiken en te verbeteren. Maar vanwege de negatieve publiciteit rondom algoritmes, wordt de drempel om hiermee door te gaan (of om ermee te starten) alleen maar groter.
Ook in dit licht kan de bovengenoemde innovatieve faciliteit helpen. Hiermee kunnen met meerdere partijen in een veilige omgeving AI-algoritmes verder ontwikkeld, getest en gevalideerd worden, zonder directe impact op burgers en maatschappij. Een mooie basis voordat de EU-wetgeving zijn intrede zal doen.
TNO blijft de verbinding met publieke autoriteiten en andere partners zoeken, om gezamenlijk betrouwbare en verantwoorde AI mogelijk te maken en gezamenlijk te investeren in het innovatieve AI-ecosysteem. Er kunnen bijvoorbeeld use-cases ingebracht worden voor verder innovatieonderzoek met en bij TNO. Auditors, kennisinstellingen en commerciële partijen zijn welkom om met TNO het innovatie-onderzoek naar betrouwbare AI uit te voeren en te implementeren.
Dr. ir. J.M. (Jok) Tang is Senior Project Manager TNO ICT Data Science
Dit artikel is tot stand gekomen in samenwerking met meerdere TNO-experts, waaronder Freek Bomhof, Madelon Molhoek, Tjerk Timan, Cor Veenman en Berry Vetjens.
