Cybersecure AI: AI als doelwit én aanvaller

Met GPT-NL ontwikkelt TNO een taalmodel voor Nederland ter versterking van de digitale soevereiniteit. Om ervoor te zorgen dat het model veilig en verantwoord kan worden ingezet, onderzoeken we hoe het model omgaat met risico’s op het gebied van safety en security.

Door modelgedrag te analyseren, experimenten uit te voeren en praktijkgerichte use cases te evalueren, worden kwetsbaarheden, misbruikscenario’s en verbeterpunten in kaart gebracht. Deze inzichten worden gebruikt om de robuustheid, betrouwbaarheid en veiligheid van het model te versterken. Zo draagt TNO bij aan generatieve AI-systemen die niet alleen krachtig zijn, maar ook veilig, betrouwbaar en in lijn met Europese waarden kunnen worden toegepast.

Hoe ontwikkel je een AI-toepassing veilig als de risico's nog onvoldoende bekend zijn? Met een door TNO ontwikkelde workshopaanpak brengen organisaties de belangrijkste risico's van LLM's en AI-agents binnen een specifieke use case in kaart. Deze aanpak wordt ook toegepast bij de veiligheidsbeoordeling van praktijkgerichte toepassingen rondom GPT-NL.

De uitkomst is een concreet handelingsperspectief: welke risico's vragen om aandacht, welke mitigaties zijn nodig en welke aspecten moeten blijvend worden gemonitord om de toepassing veilig en verantwoord te kunnen inzetten.

TNO biedt een betrouwbaar, onafhankelijk beoordelingskader voor beveiliging om organisaties te helpen bewuste, op risico's gebaseerde beslissingen te nemen die hun AI-oplossingen verder beschermen. Dit kader kan ook als basis dienen voor toekomstige standaarden en methodologieën die zullen uitmonden in duidelijke regels en richtlijnen voor toekomstige AI-ontwikkeling.

TAISHA verzamelt de kenmerken van een AI-toepassing: gebruikt model, type data en inzetcontext. Op basis van deze kenmerken bepaalt de tool welke beveiligingsmaatregelen nodig zijn voor jouw organisatie en waar de grootste risico's en prioriteiten liggen.

De output dient als een startpunt voor risicobeheer, compliance-toetsing en besluitvorming op bestuursniveau, en kan daarom gebruikt worden om de behoeften op het gebied van Cybersecure AI voor uw organisatie in kaart te brengen. Ga hier aan de slag met TAISHA:

LLM's en RAG-systemen brengen nieuwe beveiligingsrisico's met zich mee. Denk aan prompt injection, jailbreaking of het ongewenst prijsgeven van gevoelige informatie. Deze kwetsbaarheden zijn sterk afhankelijk van de context waarin een AI-toepassing wordt gebruikt en worden daarom vaak niet ontdekt met generieke LLM red teaming en jailbreaking tools en benchmarks.

Daarom ontwikkelde TNO samen met haar PCSI-partners ProViLE (Prompt for Vulnerabilities in LLM-based Applications with Extensions). Deze open-source methodologie en tool ondersteunt organisaties bij het zelfstandig uitvoeren van AI red teaming experimenten op eigen LLM-applicaties. In vier stappen helpt ProViLE gebruikers om relevante aanvalsscenario's te identificeren, aanvalsprompts op te stellen en de reacties van een AI-systeem te beoordelen.

Het onderscheidende vermogen van ProViLE ligt in de contextgerichte aanpak. In plaats van generieke tests gebruikt de methode prompts die aansluiten bij de specifieke toepassing, data en risico's van een organisatie. Hierdoor ontstaan realistischere testscenario's en beter inzicht in kwetsbaarheden die in de praktijk relevant zijn.

AI-systemen zijn complex en onvoorspelbaar. Integratie met bestaande software introduceert nieuwe kwetsbaarheden, waardoor traditionele beveiligingsmaatregelen vaak onvoldoende zijn.

Het stress-testen van een AI-systeem om beveiligingslekken te identificeren: adversarial prompts bij LLM's, adversarial samples bij beeldverwerkingssystemen, en data-extractietests bij modellen met gevoelige trainingsdata.

Zogenaamde safety en security “alignment” van AI is het ontwikkelen van methoden, technologieën en processen die ervoor zorgen dat AI-systemen veilig, betrouwbaar en in lijn met menselijke doelstellingen, waarden en wetgeving opereren. Het richt zich op het voorkomen van schadelijk gedrag, het beschermen van gevoelige informatie en het vergroten van de weerbaarheid tegen manipulatie, misbruik en cyberaanvallen.

• Manipulatie van input (adversarial attacks) leidt tot foutieve output en “misaligned” gedrag
• Onbedoeld lekken van gevoelige informatie
• Kwetsbaarheden in open-source componenten verspreiden zich door de keten
• Manipulatie van trainingsdata om het model inherent verkeerde patronen aan te leren