Onderzoek TNO en Kieskompas: AI-taalmodellen zijn inconsistent en neigen naar links

Thema:
Artificiële intelligentie

Generatieve AI-taalmodellen (‘large language models’) die de stemhulp van Kieskompas invullen komen uit aan de linkerkant van het politieke spectrum. Daarnaast geven de modellen niet consistent antwoord op subjectieve vragen en vertonen ze door kleine veranderingen in de vraag al snel heel ander gedrag. Dat blijkt uit een experiment van TNO en Kieskompas waarbij ze verschillende taalmodellen de vragen van de stemhulp van het Kieskompas 2023 meerdere malen lieten beantwoorden.

De aanwezigheid van bias (vooringenomenheid) en inconsistentie in huidige taalmodellen lijkt misschien onschuldig, maar de gevolgen kunnen groot zijn. Grootschalig gebruik van zulke taalmodellen kan de effecten van vooroordelen bij mensen op de lange termijn vergroten.

Door de ontwikkeling van generatieve AI zijn Large Language Models de laatste tijd sterk in opkomst, met ChatGPT als meest bekende voorbeeld. Steeds meer mensen gebruiken deze modellen vooral bij zaken waar veel leeswerk aan verbonden is, bijvoorbeeld de verschillende standpunten van onze nationale politieke partijen.

Met deze ontwikkelingen ontstaat ook veel onzekerheid over de huidige capaciteit en kwaliteit van AI, vooral op het gebied van betrouwbaarheid, mogelijke vooringenomenheid, en beperkte consistentie van modellen. Samen met Kieskompas heeft TNO daarom getoetst hoe deze taalmodellen een stemhulp invullen.

Populaire modellen

De onderzochte modellen zijn beoordeeld op populariteit, beschikbaarheid, toegankelijkheid en herkomst. Hierbij is de keuze gevallen op Meta’s Llama-2, OpenAI’s GPT3.5, 4, en 4.5-turbo en Falcon-40b-Instruct van TII. Elk model is klaargemaakt voor het experiment, bijvoorbeeld door het opzetten van één consistente vraag. Deze is voor elk model licht aangepast om aan het specifieke format van het model te voldoen (zoals het vertalen in het Engels).

Modellen kunnen naast direct een vraag beantwoorden ook gebruik maken van context. Het toevoegen van context geeft modellen een indicatie hoe de gebruiker de antwoorden graag terug wil zien, waardoor soms beter resultaat teruggegeven wordt. Vandaar dat elk model zowel getoetst is met en zonder contextuele toevoegingen (zie ook een van de voorbeelden in de tabel met in het groen de meegegeven context. Alle modellen hebben dezelfde contextuele vraag gekregen). Ze begrijpen bijvoorbeeld beter wat voor antwoord er van ze verwacht worden als ze al een voorbeeld gehad hebben van een vraag met een antwoord dat binnen de keuzemogelijkheid van het Kieskompas valt ("helemaal mee eens", "mee eens", "neutraal", "niet mee eens", "helemaal niet mee eens" en "geen mening").

De antwoorden zijn door Kieskompas vertaald in coördinaten die TNO over het politiek landschap van Nederland heeft gelegd zoals te zien in de figuren. Elke beurt van een model dat minimaal 10 antwoorden heeft gegeven, is hierin te zien.

Figuur 1
Figuur 1: Resultaat van alle getoetste modellen op het Nederlands Politiek Landschap (waar een enkel puntje staat betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf)
Figuur 2
Figuur 2: Resultaat van alle getoetste modellen zonder context, geplaatst over het Nederlands politiek landschap (waar een enkel puntje staat betekent dit dat het model op elke stelling bij 10 pogingen 10 keer hetzelfde antwoord gaf)

Wisselvallige antwoorden

Uit de resultaten is te halen dat deze modellen heel wisselvallig zijn, te zien aan de ingekleurde oppervlakte, en ook dat de modellen met name links georiënteerd zijn (zie figuren 1 en 2). Handmatige analyse liet zien dat OpenAI’s GPT modellen zeer snel bereid zijn om antwoord te geven op de stellingen.

Meta’s Llama geeft beter aan dat het daadwerkelijk een model is dat antwoord geeft. Maar zodra context gegeven wordt, geeft ook Llama altijd antwoord op de vraag. Falcon is nog het meest voorzichtig, maar ook met gegeven context door het geven van een voorbeeldvraag verandert het gedrag van dit model aanzienlijk en geeft die wel zijn mening (zoals ook te zien hieronder).

TII en Meta hebben hun modellen getraind om voorzichtiger te zijn en om controversiële vragen niet te beantwoorden. Bovendien zijn de modellen van OpenAI consistenter; als je ze meerdere keren dezelfde vraag voorlegt krijg je vaker hetzelfde antwoord dan bij de geteste concurrenten.

Voorbeeld stemhulp AI
Figuur 3: Voorbeeld van het effect van context (modellen kregen allen dezelfde voorbeeldvraag) bij het antwoord van AI-taalmodel Falcon op een vraag van Kieskompas

Black box

Doordat de wijze van training van de modellen niet transparant is, is het niet te zeggen of een model in een andere context een hele andere mening kan geven. Deze black box aanpak maakt het onmogelijk om te achterhalen waarom het model tot bepaalde antwoorden komt. De daaropvolgende bias en inconsistentie in huidige taalmodellen lijkt misschien niet erg, maar het kan grote gevolgen hebben. Grootschalig gebruik van zulke modellen, bijvoorbeeld door derde partijen, die zonder beter weten gebruik maken van zulke taalmodellen kunnen het effect van bias op de lange termijn vergroten.

Mede daarom gaat Nederland een eigen open taalmodel ontwikkelen: GPT-NL. Dit model is nodig voor het ontwikkelen, versterken en bestendigen van de digitale soevereiniteit. TNO, NFI en SURF gaan samen het model ontwikkelen om zo een belangrijke stap te zetten richting transparant, eerlijk en toetsbaar gebruik van AI naar Nederlandse en Europese waarden en richtlijnen en met respect voor het eigenaarschap van data.

Laat je verder inspireren

55 resultaten, getoond 1 t/m 5

Nieuw consortium ontwikkelt geavanceerde AI voor bewakingsrobots

Informatietype:
Nieuws
4 september 2024
TU Delft, Universiteit van Amsterdam, TNO en de Koninklijke Marechaussee bundelen hun krachten in een baanbrekend project om kunstmatige intelligentie (AI) te ontwikkelen voor bewakingsrobots.

Human-AI, want samen kunnen mens en machine grotere uitdagingen aan

Informatietype:
Insight
1 juli 2024

Steeds meer kunstmatige intelligentie ingezet door overheid

Informatietype:
Nieuws
25 juni 2024

AI in opleiding: FATE ontwikkelt digitale doktersassistent

Informatietype:
Insight
21 mei 2024

Impuls voor TNO faciliteiten voor duurzame mobiliteit, biobased bouwen en AI

Informatietype:
Nieuws
2 november 2023