Brits AI-systeem voor frauderisicoselectie blijkt bevooroordeeld
Een frauderisicoselectiesysteem dat het Verenigd Koninkrijk gebruikt om bijstandsfraude te bestrijden, blijkt bias te bevatten. Dat onthult de Britse krant The Guardian. Ondanks dat het ook in het Verenigd Koninkrijk verplicht wordt om een algoritmeregister bij te houden, is de overheid er heel terughoudend met het vrijgeven van details over de algoritmes die het gebruikt.
Onterecht vaker geselecteerd
Het AI-systeem wordt ingezet om bijstandsfraude op te sporen, maar uit onderzoek blijkt dat het mensen uit sommige groepen onterecht vaker selecteert dan andere. Het systeem is bevooroordeeld waar het gaat om leeftijd, beperkingen, burgerlijke staat en nationaliteit. Er is niet onderzocht of het systeem ook potentiële bias bevat met betrekking tot ras, sekse, seksuele oriëntatie en religie, of bias tegenover zwangerschap, moederschap of transgenders.
Intern onderzoek
Het Departement for Work and Pensions (DWP) liet een intern onderzoek naar de eerlijkheid van het systeem uitvoeren in februari. Dat is nu met een beroep op de Britse versie van de Woo openbaargemaakt. Het onderzoek volgde op een claim van het DWP dat het AI-systeem geen onmiddellijk gevaar oplevert op discriminatie, oneerlijke behandeling of nadelige impact of klanten. De ambtenaren kwamen tot die conclusie omdat de beslissing of iemand bijstand krijgt nog steeds bij een mens ligt.
Volgens het ministerie is de inzet van het systeem redelijk en proportioneel. Een woordvoerder van het DWP zei tegen the Guardian: ‘Onze AI-toepassingen vervangen geen menselijke oordeel en een ambtenaar zal een beslissing altijd baseren op alle beschikbare informatie.’
Misbruik voorkomen
Het is niet bekend welke leeftijdsgroepen door het systeem onterecht werden aangewezen als mogelijke fraudeurs. Dat deel van de eerlijkheidsanalyse werd door het DWP weggecensureerd. Ook bracht het ministerie niet naar buiten of mensen met een beperking vaker of juist minder vaak werden geselecteerd, of hoe het algoritme verschillende nationaliteiten verschillend behandelt. Dit om te voorkomen dat mensen het systeem misbruiken, aldus het DWP.
Burgerrechtenorganisaties vinden dat de overheid transparanter moet zijn over welke groepen mogelijk onterecht werden verdacht door het algoritme. ‘DWP moet stoppen met deze ‘hurt first, fix later-aanpak’ en geen toepassingen meer uitrollen als het niet duidelijk begrijpt welke risico’s ze representeren,’ zegt Caroline Seldman, onderzoeker bij het Public Law Project tegen the Guardian.
Niet transparant
Het openbaar bestuur in het Verenigd Koninkrijk zou ten minste 55 geautomatiseerde toepassingen gebruiken, blijkt uit een onafhankelijk onderzoek, terwijl het Britse algoritmeregister er maar 9 bevat. Vorige maand ontdekte The Guardian dat geen enkel ministerie een algoritme in het algoritmeregister had gepubliceerd nadat bekend was gemaakt dat dit verplicht zou worden. Britse overheidsinstellingen, waaronder het DWP, zijn volgens de krant terughoudend met het naar buiten brengen van informatie over algoritmes, omdat ze zeggen te vrezen dat mensen de systemen anders mogelijk gaan manipuleren.
lees ook:
