AI Oversight Lab

Dat doen we door gezamenlijk onderzoek te doen, ontwikkeltrajecten te begeleiden, de mogelijkheid te bieden aan organisaties om in een veilige omgeving te leren en te reflecteren op keuzes en beslissingen. We zetten interdisciplinaire samenwerking centraal, omdat wij geloven dat het gezamenlijk oppakken van ethische, organisatorische en technische aspecten essentieel is voor waardevolle en verantwoorde AI toepassingen. Je kan bij ons onder andere terecht voor:

• Evaluatie van algoritmes en (gen)AI-modellen, bijvoorbeeld op robuustheid, betrouwbaarheid en bias
• Verantwoorde ontwikkeling van algoritmes en AI-systemen
• Begeleiding bij het maken van afwegingen over doelen, waarden, risico’s en middelen via onze DWMR-methode
• Begeleiding bij opzetten van governance structuren en ethische kaders
• Begeleiding bij het toepassen van standaarden en kaders
• Analyse en vergroten van AI-volwassenheid binnen de organisatie
• Trainingen en workshops over verantwoorde AI, op maat gemaakt voor jouw organisatie

We voeren interdisciplinair onderzoek uit naar overheidsbrede vraagstukken, zoals de opschaling van AI, we vertalen wetenschappelijke inzichten naar de praktijk en praktijkinzichten naar de wetenschap en ondersteunen in de vertaling naar beleid. We helpen met:

• Ontwikkeling van richtlijnen en kaders
• Trendanalyses

Daarbij delen we ervaringen en best practices en maken we wetenschappelijke kennis toegankelijker. Zo creëren we een netwerk waarin leren, reflectie en samenwerking centraal staan.

De uitdaging

De Immigratie- en Naturalisatiedienst (IND) ontwikkelde een risicomodel om overtredingen door Erkende Referenten sneller te signaleren. De organisatie wilde zeker weten dat het model geen ongewenste vooroordelen bevatte en betrouwbaar werkte. Daarbij was het belangrijk om te begrijpen welke factoren invloed hadden op de uitkomsten en hoe inspecteurs het model verantwoord konden gebruiken.

De oplossing

Het AIOL voerde gesprekken met inspecteurs, managers en ontwikkelaars om inzicht te krijgen in het werkproces en het gebruik van het model. Vervolgens brachten we samen in workshops de mogelijke vormen van bias in kaart en analyseerden we technisch hoe het model omging met gevoelige variabelen zoals nationaliteit. Deze combinatie van praktijkinzicht en technische toetsing maakte het mogelijk om risico’s helder te benoemen.

Het resultaat

De bevindingen zijn opgenomen in een rapport dat met de Tweede Kamer is gedeeld. De IND is aan de slag gegaan met de aanbevelingen en heeft samen met het AIOL vervolgonderzoek gedaan naar de aansluiting tussen het risicomodel en het werkproces.

De uitdaging

De gemeente Nissewaard gebruikte een algoritme om mogelijke bijstandsfraudecases te selecteren. De vraag was of dit model op een verantwoorde manier kon worden ingezet: werkte het betrouwbaar, eerlijk en transparant? De gemeente wilde helderheid voordat het model verder werd gebruikt.

De oplossing

Het AIOL onderzocht het model aan de hand van bestaande richtlijnen voor verantwoord gebruik van AI. We interviewden betrokken medewerkers van de gemeente en de ontwikkelaar om te begrijpen hoe het model was gebouwd en ingezet. De technische evaluatie richtte zich op drie punten: is het model te controleren, werkt het zoals bedoeld en past het goed binnen de organisatie? Daarmee brachten we de belangrijkste risico’s scherp in beeld.

Het resultaat

De evaluatie liet zien dat het algoritme op dat moment niet verantwoord kon worden ingezet. De gemeente besloot daarom te stoppen met het gebruik ervan. Het onderzoek onderstreepte het belang van kritische evaluatie en zorgvuldig afwegen vóórdat AI-toepassingen worden gebruikt.

De uitdaging

De SodM onderzoekt de mogelijkheden om haar inspecteurs te ondersteunen met generatieve AI bij hun bureauonderzoek. Hierbij is het essentieel dat de ontwikkelde systemen verantwoord, betrouwbaar en waardevol zijn. De uitdaging is om het AI systeem op een holistische manier te evalueren om te kunnen beoordelen of het systeem waarde toevoegt en verantwoord kan worden ingezet.

De oplossing

Samen met het SodM hebben we een holistische evaluatiemethodologie opgezet aan de hand van de zeven principes van verantwoorde AI. Elk van deze principes wordt op verschillende niveaus beoordeeld om een overkoepelend beeld te krijgen van de prestaties. Een door het SodM ontwikkelde toepassing werd technisch en met gebruikers geëvalueerd.

Het resultaat

Het SodM kreeg inzicht in hoe verschillende aspecten van verantwoord AI kunnen worden meegenomen en geëvalueerd tijdens de ontwikkeling van GenAI toepassingen. De beoogde toepassing werd technisch en met gebruikers geëvalueerd. Mede op basis hiervan kan SodM een proces ontwerpen voor het soepel en onderbouwd maken van keuzes over AI use cases.

De uitdaging

Het SodM werkt aan verschillende pilots om de mogelijkheden van AI te verkennen. Om structureel verantwoord gebruik van AI te kunnen faciliteren en versnelling mogelijk te maken is het belangrijk om als organisatie AI volwassen te zijn. De stap van pilot naar succesvolle adoptie binnen de organisatie is niet eenvoudig. De organisatie moet hier op verschillende niveaus klaar voor zijn, zoals AI geletterdheid en AI governance. Daarnaast is het belangrijk dat deze AI systemen compliant zijn en blijven met wet- en regelgeving en andere (interne) vereisten.

De oplossing

Het AIOL heeft samen met SodM een AI-volwassenheid en innovatiecapaciteitsscan gemaakt, die inzicht geeft in de verschillende aspecten die nodig zijn om verantwoord gebruik van AI en versnelling van innovatie mogelijk te maken. Daarnaast is in kaart gebracht hoe vereisten vanuit wet- en regelgeving en de organisatie kunnen worden gemonitord bij verschillende typen AI toepassingen.

Het resultaat

Op basis van de volwassenheid en innovatiecapaciteitscan kan het SodM bepalen op welke aspecten ze moeten investeren om verantwoorde inzet van AI te faciliteren in de organisatie klaar. Zo is de organisatie sneller in staat om de kansen van AI op een verantwoorde manier te benutten en versnelling van innovatie mogelijk te maken.

maken.