Appl.AI Webinar #1 - Kijkersvragen

1. Welk specifiek probleem los je op door data van burgers te gebruiken en welke data heb je daar dan voor nodig?​

De rol van data is niet per se te koppelen aan een ‘probleem – oplossing’, omdat data-gedreven besluitvorming weer allerlei nieuwe problemen met zich meebrengt. Wat je kunt winnen met data (wat voorheen niet kon) is dat we sneller en beter kunnen anticiperen op mogelijke consequenties van een beleid of besluit (vanuit een overheidsperspectief) . De andere kant van de medaille is dat er ook maatschappelijke verwachtingen zijn over het gebruik van algemene digitale middelen in de maatschappij. Met andere woorden, je moet met je tijd mee. Mensen verwachten ze dat ze ook bij de overheid een formulier digitaal kunnen invullen.

1. 2. De Corona app lijkt mij een algemeen nut dienen. Waarom wordt een oplossing dan overgelaten aan bedrijven?
   

Omdat de overheid niet de juiste skills en tools in huis heeft om snel en wendbaar een app te bouwen. Uiteindelijk is er toch gekozen om het zelf te doen, en het is al een tijdje stil. Ook omdat we wereldwijd steeds beter gaan begrijpen dat een app an sich geen oplossing is en dat je veel meer nodig hebt. Met andere woorden, te snel naar een technologische oplossingen grijpen voordat je de sociale problematiek doorhebt, blijft een van de grootste valkuilen van digitalisering.

1. 3. Wie maakt de afweging in hoeverre het individueel belang zich verhoudt tot het groepsbelang? Er zit een enorm verschil tussen een westerse cultuur als de onze en bv Zuid-Korea.

Er zitten enorme cultuurverschillen als het gaat om privacy en de rol van de overheid in de bescherming van persoonsgegevens. In Nederland (en in de Scandinavische landen) is het vertrouwen in de overheid, ook om persoonsgegevens voor de juiste doelen in te zetten en goed te beschermen, relatief hoog, alhoewel de vraag post-Corona is hoe dit vertrouwen veranderd is. De afweging is een politieke, echter wel binnen de kaders van de wet.

1. 4. Wanneer je meerdere disciplines betrekt bij het ontwerpproces (zoals een jurist, beleidsmaker, burger, algoritme ontwikkelaar, mogelijk zelfs een filosoof), hoe zou je de taalbarrière, dat ze elkaars taal niet spreken, kunnen overkomen?

Bij TNO hebben we methode ontwikkeld die we het Policy Lab noemen. In een serie van 'sprints' nemen we alle expertises mee om juist binnen een project elkaar's taal echt te begrijpen. Zelfs tussen statistici en data scientist bestaan grote verschillen over labels, categorieën en weegfactoren van variabelen. Het is een zeer boeiend onderwerp om op het grensvlak van data-gedreven algoritmes en expressie-gebaseerde systemen (iets wat we hybride AI noemen) onderzoek te doen. Op dit thema is onderzoek nog maar net begonnen!

1. 5. Zou je niet iedereen inzicht kunnen geven door de corona app open source te maken? Hierdoor kan iedereen (die er kennis van heeft) ook meedenken in de ontwikkeling.

Goed punt. Bedrijven zijn die een slaatje willen slaan uit de ontwikkeling van dergelijk app, zouden sowieso niet op de shortlist terecht mogen komen. De dominante rol van Apple en Google omtrent dergelijke apps is wat dat betreft zorgwekkend, want ze gaan op de stoel van de overheid zitten en bepalen daarmee ook de regels (zonder deze vrij te geven). In Europa is er een open-source protocol ontwikkeld voor Corona-tracking apps en deze wordt door experts bekeken, bekritiseerd en verbeterd. Het blijft een beetje de vraag waarom de Nederlandse overheid zich niet bij dat initiatief aansluit.

1. 6. Welke overheidstaken zou je probleemloos kunnen vervangen door autonome AI systemen en welke wil je juist niet vervangen?

AI is erg goed in 3 dingen:

• Het kopiëren van experts (expert systems)
• Het voorspellen/classificeren/clusteren (structured & unstructured machine learning)
• Het maken van keuzes die leiden tot een bepaald doel (reinforcement learning)

Dit is allemaal waardevol en zinvol, maar in isolatie onvoldoende om zonder sturing los te laten op heel veel beslissingen. Zo is AI niet goed in staat om creatief te denken of om context op waarde te schatten. Dus als voorspeller wanneer een infrastructureel object onderhoud nodig heeft is het prima om AI in te zetten. Als beoordelaar welke strafmaat nodig is, daar wil je geen AI autonoom laten functioneren. Het goed snappen hoe AI werkt is van belang om te kunnen beoordelen voor welke taken AI ingezet kan worden en welk niveau van autonomie we toestaan.

7. 7. Hoe kun je de interactie tussen separate AI-systemen te bewaken?

Dit is een van de dimensies waar wij toegepast onderzoek op doen. AI systemen zijn nu vaak geïsoleerde systemen die één taak goed doen. Maar we verwachten meer: AI systemen moeten in onderlinge samenhang kunnen werken én kunnen samenwerken met de mens. Dat brengt heel veel, maar is niet eenvoudig te realiseren. Als altijd start het met de vraag: welk doel dient het? Van daaruit kan in deelsystemen en oplossingen gezocht worden.

7. 8. Een zelflerend algoritme baseert zijn uitkomst continue op nieuwe verkregen data en correlaties, waardoor elke uitkomst een andere basis heeft. Maakt dit het niet heel lastig om een zelflerend algoritme te controleren en inzichtelijk te maken?

Uitlegbaarheid is in essentie een semantisch en communicatief proces. Om als mens met AI te kunnen redeneren over een AI-analyse moet het referentiekader van AI verenigbaar zijn met dat van de mens. Er moet een communicatieve relatie bestaan tussen mens en model. AI streeft de mens vaak voorbij, door complexe taak specifieke verbanden te kunnen leren uit zeer grote hoeveelheden data, wat de zaak compliceert.

7. 9. Wordt het straks mogelijk om als burger te vragen hoe een beslissing van een AI systeem tot stand is gekomen? Is hetgeen wat er als basis in het self learning system is gezet, transparant?

Transparantie en controleerbaarheid zijn voorwaarden voor de inzet van AI systemen. Dat betekent dat er een proces moet komen waarin mensen inderdaad overheidsbesluiten kunnen bevragen en uitleg moeten krijgen over hoe een besluit tot stand is gekomen.

10. Zoals bij het genoemde probleem van vrouwen discriminatie bij Amazon, hebben we ook een probleem dicht bij huis: de belastingdienst en de dubbele nationaliteit. Zolang de bias bekend is, en meegenomen word in her-trainingen om het versterkende effect van de bias te voorkomen, is er dan wel echt een probleem?

Wanneer er afdoende maatregelen zijn genomen om deze bias te laten verdwijnen is het wellicht geen AI-probleem (meer). Maar tot dat moment is dat het nog wel. Het echte probleem zit overigens in beide gevallen in de organisatie die deze data heeft opgeleverd waarop het algoritme is getraind. Bij Amazon lieten de data blijkbaar zien dat er bij Amazon in het offline recruitment proces bias was, net als bij de Belastingdienst.

7. 11. AI Technieken worden steeds geavanceerder, en zo wordt ook de uitleg (lees transparantie) steeds complexer. Hoe ziet de toekomst er uit m.b.t. een zo genoemd 'kennis-gat' tussen de AI-technieken (en uitleg daarvan) en besluitvorming over AI?

We zullen moeten accepteren dat in een aantal gevallen de relatie tussen AI-model en menselijke kennis niet goed te leggen valt. Controleerbaarheid achteraf maakt uitlegbaarheid in zulke situaties mogelijk minder belangrijk. Dat raakt aan vertrouwen. Een complex deep learning systeem dat kanker detecteert wordt beter vertrouwd als via een aanvullende diagnostische test (door de mens) achteraf blijkt dat het systeem het in 99% van de gevallen bij het rechte eind heeft.  Uitlegbaarheid is dan minder belangrijk. Het op die manier kunnen calibreren van kwaliteit en uitlegbaarheid biedt een mogelijkheid om modellen in een workflow met de mens op te nemen: in sommige contexten is lagere uitlegbaarheid en hogere nauwkeurigheid te prefereren, in andere gevallen heeft hogere uitlegbaarheid ten koste van wat lagere nauwkeurigheid de voorkeur.