Eerlijk profileren met algoritmes? Er is nu een praktisch hulpmiddel

Algoritmes die onderscheid maken, ook als dat niet de bedoeling is

Veel overheidsorganisaties werken met zogenoemde profileringsalgoritmes: systemen die op basis van gegevens bepalen welke burgers nader worden bekeken, gecontroleerd of geholpen. Denk aan het opsporen van fraude of het toewijzen van toeslagen. Die algoritmes hoeven nergens ‘migratieachtergrond’ of ‘geslacht’ als variabele te hebben om toch een bias op die aspecten in zich te hebben. Dat heet ‘indirect onderscheid’.

Cor Veenman, Senior Scientist Specialist bij TNO en onderzoeker op het gebied van Responsible AI, legt het uit met een voorbeeld. “Stel dat een algoritme mensen die vaak met cash betalen, selecteert als personen die mogelijk aan witwassen doen. Op het eerste gezicht een neutrale indicator. Maar in bepaalde culturen is het heel gebruikelijk om vaker cash-betalingen te doen voor normale transacties. Het algoritme heeft geen idee van die culturele context - en maakt toch onderscheid.”

Dit soort situaties heeft zich de afgelopen jaren in Nederland voorgedaan. En precies daarvoor is een NTA ontwikkeld - een Nederlandse Technische Afspraak. Niet alleen om achteraf te oordelen, maar vooral om vooraf te helpen voorkomen dat algoritmes uit de bocht vliegen.

Een vangnet voor algoritmes buiten de AI-verordening

Wie denkt dat de Europese AI-verordening (de AI Act) dit probleem al oplost, heeft het maar gedeeltelijk goed. De AI-verordening richt zich op hoog-risico AI-systemen op basis van machine learning. Maar veel algoritmes die overheden gebruiken vallen daar buiten: ze zijn handgebouwd, relatief eenvoudig, en bevatten geen zelflerend component. “De NTA is een vangnet,” zegt Veenman. “Als je niet onder de AI-verordening valt, heb je anders geen houvast meer. De NTA vult precies dat gat.”

Vrijwillig toe te passen

Een NTA is geen wet, maar een vrijwillig toe te passen richtlijn die door NEN wordt uitgebracht. Een NTA kan sneller tot stand komen dan een formele norm, waardoor organisaties eerder kunnen beschikken over bruikbare afspraken. De NTA voor profileringsalgoritmes is het resultaat van ruim een jaar werk door 35 organisaties: overheidsorganisaties zoals DUO, de Belastingdienst en het ministerie van Binnenlandse Zaken, onderzoeksinstituten, universiteiten en maatschappelijke organisaties. Techneuten, juristen en ethici zaten samen aan tafel.

Technische kennis ingebracht

TNO heeft aan die tafel een specifieke rol vervuld. “Wij hebben de technische kennis ingebracht over AI-systemen en machine learning,” zegt Veenman. “Over hoe je een algoritme technisch opbouwt, welke methoden er zijn om bias te meten, en hoe je tegelijkertijd zorgt dat het algoritme ook nog effectief blijft. Want een algoritme met nul bias dat vervolgens niets vindt, schiet ook zijn doel voorbij.”

Checklist voor eerlijk gebruik: zo werkt de NTA in de praktijk

De NTA is een document van 65 pagina’s dat je min of meer als een checklist kunt doorlopen. Het biedt handvatten op vier vlakken: het doel en de context van het algoritme, de data en aannames, toetsing en monitoring, en transparantie en verantwoording.

Stel, je bent beleidsmedewerker bij een gemeente en je wil een algoritme inzetten om te bepalen wie er recht heeft op een bepaalde voorziening. Je doorloopt de NTA stap voor stap: heb ik goed nagedacht over het doel van dit algoritme? Welke data gebruik ik, en zitten daar variabelen in die al direct correleren met geslacht of afkomst? Heb ik de juiste mensen in huis - juridisch, ethisch, technisch? En als ik vervolgens een bias-meting doe: wat is dan een aanvaardbare uitkomst, en wat niet?

Veenman legt een kernmeting uit. “Een van de minimale eisen is wat we demografische pariteit noemen. Als 10 procent van de totale populatie een migratieachtergrond heeft, wil je die verhouding ook terugzien in de groep die het algoritme selecteert. Wijkt dat sterk af, dan heb je een signaal dat er iets mis is - en moet je hier een steekhoudende verklaring voor hebben of terug naar de tekentafel.”

Geen garantie, wel een concreet vertrekpunt

De NTA geeft handvatten, maar garandeert geen non-discriminatie. De verantwoordelijkheid blijft bij de organisatie zelf. “De NTA staat niet met een fluitje aan de kant als het misgaat,” zegt Veenman. “Jij als organisatie bent verplicht om je werk goed te doen. Maar de NTA helpt je om te weten wát goed werk betekent in dit geval.”

Dat de NTA vrijwillig is, is niet toevallig. Er is op dit moment geen specifieke wetgeving voor profileringsalgoritmes die buiten de AI-verordening vallen. Verplichten is dus niet mogelijk - maar dat is ook niet wat TNO en de andere initiatiefnemers willen. “We willen dat overheden de NTA gebruiken omdat ze zien dat het hen helpt, niet omdat het moet,” aldus Veenman. Het feit dat meerdere overheidsorganisaties actief hebben meegewerkt aan de ontwikkeling, stemt hem hoopvol. “Zij zaten aan tafel omdat ze er zelf op zaten te wachten.”

Aan de slag met de NTA - en TNO helpt daarbij

Veenman hoopt dat de NTA breed wordt opgepakt - niet alleen door grote rijksinstanties, maar ook door gemeenten en andere overheidsorganisaties. “Als je van plan bent om een algoritme te gebruiken, of als je er al een gebruikt om burgers te adviseren, analyseren of profileren: gebruik de NTA om ervoor te zorgen dat je dat op een zorgvuldige manier doet. Op het gebied van ethiek, wetgeving én techniek.”

TNO kan daarbij ondersteunen. Of het nu gaat om het doorlopen van de checkpoints, het uitvoeren van bias-metingen of het inbedden van de NTA in bestaande werkprocessen: de kennis en ervaring die TNO heeft ingebracht bij de ontwikkeling van de NTA, zetten we ook graag in bij de toepassing ervan.