Meer ondersteuning nodig bij invulling Algoritmeregister

Het Algoritmeregister, waarin overheden hun algoritmes inzichtelijk maken, bestaat inmiddels ruim drie jaar. Met enige regelmaat verschijnt er een update van de hoeveelheid opgenomen algoritmes en het aantal deelnemers aan het register. Maar hoe staat het eigenlijk met de inhoud? Tijd voor een evaluatie, dachten ze bij CIO Rijk.

Om een algoritme te registeren, moet een overheid een aantal administratieve en een aantal inhoudelijke velden invullen. Met die administratieve velden zit het wel snor, blijkt uit het onderzoek. Die worden netjes en volgens de standaard gevuld. Ook de meer inhoudelijke velden krijgen meestal een invulling, maar daar wordt nogal eens afgeweken van de standaard. Dat komt soms omdat organisaties de instructies niet goed snappen en soms omdat er onduidelijkheid is over de interpretatie van de standaard.

Redelijk beeld voor de leek

Het is de bedoeling dat de werking van het algoritme ook in gemakkelijke taal wordt beschreven. Dat lukt redelijk, volgens de ADR. De meeste organisaties schakelen zowel inhoudelijk deskundigen als communicatiedeskundigen als ze hun algoritmes registeren. Dat werpt zijn vruchten op. Als je als ‘gewone inwoner’ een beeld wil krijgen van de werking van een algoritme van jouw gemeente, of je wil weten bij welk proces dit wordt ingezet, dan krijg je hier over het algemeen wel een redelijk beeld van. Een beetje jargon is niet te vermijden, schrijft de Auditdienst Rijk, maar dit kan soms wel beter worden uitgelegd.

Een evaluatie op uniformiteit (zijn de registraties op een vergelijkbare manier gedaan?) zat er niet, omdat er in de meeste gevallen te weinig registraties per organisatie zijn. De ADR onderzocht wel van tien organisaties waarom ze bijdragen aan het Algoritmeregister en hoe ze dat aanpakken.  Daaruit blijkt dat de helft algoritmes registreert om afspraken na te komen (compliancy), terwijl de andere helft al begon voordat het verplicht was en vooral een maatschappelijke meerwaarde ziet. De helft van de onderzochte organisaties heeft een geformaliseerd proces voor inventarisatie, classificatie en registratie van algoritmes.

Meer ondersteuning nodig

De definities, instructies en hulpmiddelen van het Algoritmekader roepen bij verschillende organisaties vragen op. Ze weten bijvoorbeeld niet altijd wanneer er sprake is van een algoritme of van AI. En wanneer spreek je van een impactvol algoritme? Daarom luidt één van de aanbevelingen uit het onderzoek aan het ministerie van BZK om organisaties actief te ondersteunen bij de registraties. De inzet van technische hulpmiddelen kan helpen, net als een verklarende woordenlijst. ‘Verdere verbetering en monitoring zijn nodig om te zorgen dat het Algoritmeregister daadwerkelijk bijdraagt aan transparantie en verantwoording’, concludeert de ADR.

Momenteel wordt het technisch beheer van het Algoritmeregister overgedragen van ICTU naar Logius. Logius neemt de aanbevelingen mee.

Evaluatie Algoritmekader

Behalve het Algoritmeregister lag ook het Algoritmekader voor overheden onder de loep. Het Algoritmekader is een hulpmiddel voor overheidsorganisaties om algoritmes verantwoord in te zetten. Uit de evaluatie blijkt dat lang niet alle organisaties het beleidskader kennen en dat zij die het wel kennen, het op verschillende manieren interpreteren.

Dat gaat wel veranderen, want in de toekomst wordt het Algoritmekader auditeerbaar, in het kader van de prioriteit AI in de Nederlandse Digitaliseringsstrategie (NDS). Het hernieuwde kader zal een formele status krijgen via de NDS en het CIO-stelsel. Uiteindelijk moet dat ertoe gaan leiden dat algoritmes beter toetsbaar worden.