TNO en Kieskompas testen AI-taalmodellen: ze zijn inconsistent en neigen naar links

Wie met een generatieve AI-taalmodel, zoals bijvoorbeeld ChatGPT, de stemhulp van Kieskompas invult heeft grote kans uit te komen aan de linkerkant van politieke spectrum. Daarnaast geven de modellen niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag. Dat concluderen TNO en Kieskompas 2023 na een experiment waarin ze verschillende taalmodellen de Kieskompas lieten beantwoorden.

Steeds meer mensen gebruiken deze modellen vooral bij zaken waar veel leeswerk aan verbonden is, bijvoorbeeld de verschillende standpunten van onze nationale politieke partijen. Handig, maar de aanwezigheid van bias (vooringenomenheid) en inconsistentie in huidige taalmodellen kunnen grote gevolgen hebben, waarschuwt TNO. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

Uit bovenstaande resultaten concludeert TNO dat de taalmodellen heel wisselvallig zijn, te zien aan de ingekleurde oppervlakte, en ook dat de modellen met name links georiënteerd.

De modellen van OpenAI consistenter

De onderzochte modellen zijn beoordeeld op populariteit, beschikbaarheid, toegankelijkheid en herkomst. Hierbij is de keuze gevallen op Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is klaargemaakt voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Uit nader (handmatige) analyse bleek:

• OpenAI’s GPT modellen zijn zeer snel bereid zijn om antwoord te geven op de stellingen.
• TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden.
• De modellen van OpenAI zijn consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.
• Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag.
• Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft die wel zijn mening.

GPT-NL in de maak

Onduidelijk is hoe de modellen getraind zijn. Het is dus onmogelijk om te achterhalen waarom een model tot bepaalde antwoorden komt. In een andere context kan het model wellicht een hele andere mening geven. Deze black box-aanpak kan grote gevolgen hebben, waarschuwt TNO. Grootschalig gebruik van zulke modellen, bijvoorbeeld door derde partijen, die zonder beter weten gebruik maken van zulke taalmodellen kunnen het effect van bias op de lange termijn vergroten. Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit.

TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.