Betrek burgers bij experimentele proeftuinen AI

Thema:
Artificiële intelligentie
22 juni 2021

In het vandaag gepubliceerde paper ‘Op zoek naar de mens in AI’ pleiten we ervoor om experimentele omgevingen in te richten waarin AI-systemen voor algoritmische publieke besluitvorming worden beproefd. Door verschillende betrokkenen zoals burgers, gebruikers en beleidsmakers daarbij te betrekken komen beperkingen van de systemen en mogelijke negatieve aspecten als onbedoelde discriminatie, ongelijkheid of uitsluiting eerder naar boven om te kunnen worden gecorrigeerd vóór de daadwerkelijke invoering.

Algoritmische besluitvorming publieke sector

Een recente studie van TNO laat zien dat het gebruik van AI binnen de publieke dienstverlening de afgelopen twee jaar sterk is toegenomen. Overheidsorganisaties maken steeds meer gebruik van AI om in zicht te krijgen in maatschappelijke vraagstukken en bij het nemen van besluiten. Bijvoorbeeld voor de snellere afhandeling van visumaanvragen, om beter inzicht te krijgen in armoede- of schuldenproblematiek of voor onderhoud aan bruggen en sluizen. Dit wordt algoritmische besluitvorming genoemd, waarbij het (AI-)algoritme geheel of gedeeltelijk geautomatiseerd de uitkomst bepaalt.

Aan de toepassing van deze zogenoemde algoritmische besluitvorming kleven ook nadelen. Er zijn verschillende gevallen bekend waarbij die toepassing onbedoelde negatieve maatschappelijke gevolgen had, zoals discriminatie, ongelijkheid of uitsluiting. Om deze gevolgen te voorkomen richt bestaand en nieuw beleid zich al op het opstellen van normenkaders voor de ontwikkeling van AI en het reguleren van AI toepassingen. In die kaders zijn principes voor verantwoordelijke toepassing van AI geformuleerd, gebaseerd op mensenrechten. Veel normenkaders zijn echter gericht op AI-ontwikkelaars, dus aan de voorkant van het proces, in plaats van op degenen die de technologie toepassen. Er is mede daardoor een gebrek aan transparantie en uitlegbaarheid van de AI bij de toepassing.

Beperkingen van huidig AI-beleid en toepassing

In het paper ‘Op zoek naar de mens in AI (pdf)’ analyseren we vijftien veelgebruikte normenkaders. Het blijkt dat ze veel verschillende normen bevatten maar niet duidelijk maken wie bepaalt hoe ze worden toegepast. Daarnaast zijn veel normenkaders niet gericht op degenen die de technologie toepassen maar op de ontwikkelaars. Dit zijn vaak commerciële partijen die slechts op onderdelen betrokken zijn bij de uitvoering van de besluitvorming. De eindverantwoordelijkheid voor het systeem ligt in veel gevallen echter bij partijen die de AI-systemen toepassen voor geautomatiseerde besluitvorming. Veel gehanteerde methodieken zijn daarom meestal beter geschikt om achteraf te beoordelen welke impact AI-systemen hebben.

Het opstellen van normenkaders vooraf en toetsing van de systemen achteraf is onvoldoende om ongewenste negatieve effecten te voorkomen zoals bij het anti-fraudeprogramma Systeem Risico Indicatie (SyRI) van de overheid dat vorige jaar van tafel moest. Een andere beperking bij veel huidige AI-systemen in de publieke sector is er een gebrek aan transparantie en uitlegbaarheid bij de toepassing ervan. Burgers weten het vaak niet eens als de overheid op een bepaald vlak AI-systemen inzet. En als dat wel duidelijk is, weten burgers niet welke rol zo’n systeem speelt bij overheidsbeslissingen. Ze weten dan dus ook niet op basis van welke data die beslissingen tot stand komen. Verder is er nog veel onduidelijk over de langetermijngevolgen van algoritmische besluitvorming en welke effecten er kunnen optreden.

Download het paper

Op zoek naar de mens in AI

TNO methodiek om alle partijen te betrekken

Op basis van hoe AI in de publieke sector op dit moment wordt gereguleerd en een analyse van bestaande normenkaders en methodieken hebben onze onderzoekers daarom een aanpak ontwikkeld om AI-systemen voor algoritmische besluitvorming in de publieke sector te beproeven. Bij deze ‘Dynamische impact assessment methodiek voor verantwoordelijke algoritmische besluitvorming’ is het cruciaal dat de verschillende belangen gedurende het experiment meegewogen worden met de toepassing van het AI-systeem. Dit houdt in dat partijen zoals ontwikkelaars, beleidsmakers, overheidsfunctionarissen en burgers betrokken worden om alle belangen mee te wegen. In samenwerking met die partijen wordt volgens die methodiek eerst verkend of AI überhaupt een oplossing kan bieden in een systeem, waarna in een afgeschermde omgeving voor experimenten de toepassing kan worden beproefd. Hierdoor worden onbedoelde nadelige gevolgen in een vroeg stadium geïdentificeerd en kan het AI-systeem aangepast worden.

In deze afgeschermde omgeving wordt op dynamische wijze controle en toezicht uitgeoefend op de toepassing van AI-systemen, ook op lange termijn. Afhankelijk van de complexiteit van het te beproeven systeem, schatten we in dat een dergelijke proeftuin ongeveer anderhalf jaar duurt. Van belang is ook dat de resultaten op begrijpelijke wijze worden gecommuniceerd. Gedurende de toepassing wordt gerapporteerd wat de (verwachte) risico’s en impact zijn. Hiervoor moet een gestandaardiseerde ‘bijsluiter’ worden ontwikkeld die begrijpelijk is voor burgers.

Laat je verder inspireren

37 resultaten, getoond 1 t/m 5

De opvoeding van AI

Informatietype:
Insight
27 september 2022

TNO voorspelt dat intelligente algoritmes snel ‘volwassen’ zullen worden. Zo kunnen ze medisch of juridisch advies bieden, maar ook autonoom worden ingezet waar te weinig man-, denk- of tijdkracht beschikbaar is.

Innovatie met AI

Informatietype:
Insight
27 september 2022

AI-gedreven innovatie voor het bedrijfsleven zal leiden tot een toename van 10% van het huidige Europese BNP in 2030. Hoe ziet die wereld er concreet uit? In de bouw, in de zorg en andere sectoren.

Innovatie innoveren

Informatietype:
Insight
27 september 2022

AI verandert de rol van de onderzoeker. De door AI gegenereerde kennis zal de komende decennia nog niet ‘verklarend’ zijn. Het legt wel verbanden, maar kent geen oorzaak-gevolg. Creativiteit blijft voorlopig voorbehouden aan de mens.

Arnon Grunberg over AI, creativiteit en moreel handelen

Informatietype:
Insight
27 september 2022

Peter Werkhoven, Chief Scientific Officer bij TNO, gaat in gesprek met Arnon Grunberg vanuit zijn standplaats New York. Jaren geleden spraken de twee elkaar tijdens een etentje over AI. Vandaag krijgen ze eindelijk de kans om dat gesprek voort te zetten. Wat is Grunbergs kijk of creativiteit? Kan dit worden geleerd aan een machine? En hoe verhoudt de mens zich moreel tot de machine?

Eppo Bruins over AI in verschillende overheidsdomeinen

Informatietype:
Insight
27 september 2022

Eppo Bruins, Voorzitter Adviesraad voor wetenschap, technologie en innovatie in gesprek met Michiel van der Meulen (TNO) over de ontwikkeling van AI.