Waarden als motor voor toekomstbestendige AI

Van abstracte waarden naar concrete keuzes voor AI-systemen

Veel organisaties willen AI op een verantwoorde manier inzetten, maar ervaren dat waarden zoals transparantie, privacy en rechtvaardigheid lastig te vertalen zijn naar concrete ontwerp- en implementatiekeuzes. Daarom ontwikkelt TNO praktische methoden die organisaties helpen om maatschappelijke, organisatorische en ethische waarden expliciet mee te nemen tijdens de ontwikkeling en inzet van AI-systemen. Deze methoden helpen niet alleen in kaart te brengen welke waarden het model moet dienen. Denk aan veilige wegen, doelmatig onderhoud en privacy van weggebruikers. Welke gegevens zijn nodig en welke kun je achterwege laten?

Bestaande raamwerken stoppen vaak na het identificeren van abstracte waarden of richten zich vooral op het voltooien van afvinklijsten. Onze methoden worden toegepast in interactieve workshops, zodat we complexe morele discussies toegankelijk maken en uitkomsten omzetten in concrete resultaten. Voor een onderhoudsmodel van wegen, kan dit opleveren dat er geen privacy gevoelige data wordt gebruikt, of dat het ontwerp heldere keuzes bevat over bewaartermijnen van data. Via deze workshops krijgen organisaties onder meer inzicht in relevante waarden en belangen en mogelijke spanningen tussen waarden en praktische aanknopingspunten voor het ontwerpen van verantwoorde AI-toepassingen.

Om inzichten ook na de workshops bruikbaar te houden, ontwikkelt TNO een interactief dashboard waarin workshopresultaten worden samengebracht. Dit biedt organisaties een duidelijk overzicht van de geïdentificeerde waarden, stakeholderperspectieven, gemaakte afwegingen en de daaruit voortgekomen ontwerpkeuzes.

AI die waarden gebruikt, ook in onzekerheid

Het identificeren van de waarden die richting moeten geven aan een AI-systeem, is slechts de eerste stap. Waarden zoals veiligheid en privacy zijn van nature kwalitatief, vatbaar voor interpretatie en moeilijk technisch of kwantitatief te vatten. Dit maakt het moeilijk om waarden in AI-ontwerp op te nemen of om te beoordelen of systeem gedrag aansluit bij de beoogde waarden.

Onze Moral Model-architectuur helpt ontwikkelaars AI-systemen te ontwerpen die afgestemd blijven op de beoogde waarden. De architectuur ondersteunt kernvragen zoals: hoe moet een waarde naar computertaal worden vertaald? En: welke gevolgen hebben keuzes in het systeem voor belangrijke waarden voor het voorspelmodel voor wegen, zoals privacy, veiligheid en kosten? Door impactmodellering, waardenevaluatie, besluitvorming in het AI-systeem en gebruikersinteractie duidelijk van elkaar te scheiden, helpt de ontwikkelde architectuur ervoor te zorgen dat cruciale eisen voor waardenafstemming gedurende het hele ontwerpproces worden meegenomen.

Voor bestaande AI-systemen en autonome toepassingen biedt ons technische meetinstrument, de ethical adherence index, een praktische manier om waardenafstemming te meten. Deze index beoordeelt continu welke gevolgen het systeemgedrag heeft op de betrokken waarden: de index stijgt wanneer systeemgedrag deze waarden ondersteunen en daalt wanneer dat niet het geval is. Dit biedt inzicht in hoeverre het AI-systeem handelt in overeenstemming met de beoogde waarden, zeker in situaties met onvolledige informatie of die volatiel, onzeker, complex en ambigu zijn. Met onze tools kunnen organisaties dergelijke situaties herkennen, voor compenseren en gebruikers van aanvullende context voorzien.

Monitoren van waarden in AI

Het kan gebeuren dat een voorspelmodel voor wegonderhoud gaat afwijken van het originele doel. Veranderend verkeer zorgt voor een ander slijtagepatroon dan historische data zou suggereren. Of het beleid op onderhoud en normen verandert, waardoor voorspellingen van het model niet meer aansluiten bij de realiteit.
Het expliciteren, vertalen en implementeren van waarden is daarom een noodzakelijke eerste stap, maar niet het eindpunt. Waardenafstemming moet ook tijdens het gebruik van een AI-systeem blijven gebeuren. Door veranderingen in de omgeving, het gebruik, of maatschappelijke context kunnen systemen op termijn anders uitpakken dan oorspronkelijk bedoeld. Ook wettelijk gezien is er meer aandacht voor monitoring, zoals in de AI-verordening. Daarom TNO heeft een proces en de nodige tools ontwikkeld om monitoring van waarden mogelijk te maken.

Door monitoring kunnen organisaties tijdig signaleren en handelen waar afwijkingen ontstaan, vóórdat het fout gaat. Ons proces en tools helpen organisaties bij het herkennen van wanneer en met welke oorzaak een systeem het verkeerde gedrag vertoont. Bijvoorbeeld, het voorspelmodel voor onderhoud signaleert op tijd wanneer reparaties nodig zijn, wat zorgt voor de hoge kwaliteit en veiligheid van onze infrastructuur. Maar het resulteert ook in wegafsluitingen en hoge kosten, terwijl dat niet altijd nodig is. Monitoring maakt deze afweging helder en overzichtelijk voor organisaties.

Ons proces doet dit door het monitoren van technische metingen (bijv. statistieken of metrics, zoals intensiteit van weggebruik) en kwalitatieve gegevens (bijv. ervaringen van weggebruikers), krijgen organisaties inzicht in hoe systeemgedrag en gebruikerservaringen zich verhouden tot de beoogde waarden, welke afwegingen nodig zijn en waar bijsturing gewenst is. Monitoring helpt ook bij het herkennen van waarden in gebruik, die vooraf niet meegenomen zijn. In het voorbeeld van wegenonderhoud is het initieel logisch dat verkeersdrukte een belangrijke factor is om op te monitoren. In het buitengebied kan een minder drukke weg juist enorm belangrijk zijn voor lokaal verkeer of hulpdiensten. Als daar geen tijdig onderhoud wordt gepleegd, kan dat grote gevolgen opleveren.

Ons monitoringproces en dashboard helpen organisaties vast te stellen of beoogde waarden worden nageleefd, bij het verhelderen van de interactie tussen verschillende waarden en om geïnformeerde keuzes te maken op basis van monitoring resultaten.

De uitdaging én oplossing van waardengedreven AI

Waardengedreven AI vraagt om afwegingen bij het ontwerp en aanschaf, bij de implementatie en tijdens de inzet. Met de methodes, processen en tools die TNO heeft ontwikkeld, kunnen we gesprekken begeleiden over waarden en AI, organisaties helpen bij het maken van hun afweging van en tussen waarden, bieden we tools om deze waarden te implementeren in het systeem, en maken we het mogelijk voor een organisatie om het systeem en diens gedrag te monitoren.

Headerbeeld: Hanna Barakat & Archival Images of AI + AIxDESIGN / https://betterimagesofai.org / https://creativecommons.org/licenses/by/4.0/