Stage | Cross-linguale transfer voor Nederlandse LLM-pretraining

Dataschaarste vormt een grote uitdaging bij de ontwikkeling van Europese, soevereine foundation models, met name voor talen waarvoor slechts beperkte hoeveelheden trainingsdata beschikbaar zijn. Een veelbelovende oplossing is cross-lingual transfer: het trainen van modellen op verwante talen kan de prestaties op een doeltaal soms sterker verbeteren dan het toevoegen van extra data uit die doeltaal zelf.

De recente ATLAS-studie (Longpre et al., 2025) is de grootste empirische studie naar dit effect tot nu toe. In deze studie werden 774 meertalige modellen getraind voor 50 talen en werd de Bilingual Transfer Score (BTS) geïntroduceerd om te meten in welke mate de ene taal bijdraagt aan de prestaties van een andere taal. De belangrijkste conclusie was dat gedeelde taalfamilie en hetzelfde schrift de sterkste voorspellers zijn van succesvolle kennisoverdracht tussen talen.

Het Nederlands maakte echter geen deel uit van de taalset van ATLAS. Hierdoor ontstaat zowel een wetenschappelijke als een praktische kennisleemte. Op basis van de huidige voorspellers van ATLAS is bijvoorbeeld niet vast te stellen of Engels of Duits een betere brontaal is voor het Nederlands, aangezien beide talen tot de Germaanse taalfamilie behoren en het Latijnse schrift gebruiken. In de praktijk kan het effect van deze talen op Nederlandse prestaties echter aanzienlijk verschillen.

Het beantwoorden van deze vraag is direct relevant voor Nederlandse en Europese initiatieven rond soevereine LLM's. Deze projecten moeten bepalen hoe Nederlandse, Engelse en andere verwante talen het best kunnen worden gecombineerd in pretrainingdatasets om de prestaties van modellen te maximaliseren.

Doelstelling

Het doel van dit project is om de ATLAS-methodologie uit te breiden naar het Nederlands en te onderzoeken:

• Of Nederlands tijdens pretraining meer profiteert van Engels of Duits, en in hoeverre dit kan worden verklaard door de taalfamilie- en scriptgebaseerde voorspellers van ATLAS.
• Welke verhouding van Nederlandse, Engelse en Duitse data leidt tot de beste gecombineerde prestaties op Nederlands en Engels binnen een vast compute-budget.

Aanpak

Fase 1: Bilingual Transfer Scores voor het Nederlands

• Bestuderen en reproduceren van de BTS-methodologie uit ATLAS.
• Trainen van een Nederlands monolinguaal basismodel en verschillende tweetalige varianten, waaronder Nederlands-Engels en Nederlands-Duits, aangevuld met één of twee controletalen.
• Berekenen van BTS-scores voor Nederlands.
• Vergelijken van de overdrachtskracht van verschillende brontalen en beoordelen of de bestaande taalfamilie- en scriptcategorieën van ATLAS de resultaten voldoende verklaren.

Fase 2: Optimalisatie van meertalige datamengsels

• Uitvoeren van een beperkte experimentele studie naar verschillende Nederlands-Engels-Duits-verhoudingen.
• Evalueren van de modellen op Nederlandse en Engelse testsets met vergelijkbare metrics als gebruikt in ATLAS.
• Vergelijken van de prestaties met eenvoudige baselines, zoals een Nederlands monolinguaal model en een gelijke verdeling van de drie talen.
• Onderzoeken of optimale mengverhoudingen kunnen worden voorspeld op basis van BTS-scores, of dat hiervoor directe experimenten noodzakelijk zijn.

Onderzoeksvragen

1. Profiteert het Nederlands meer van Engelse of Duitse pretrainingdata, en kan dit worden verklaard door de bestaande voorspellers van ATLAS?
2. Welke verhouding van Nederlandse, Engelse en Duitse data maximaliseert de gecombineerde prestaties op Nederlands en Engels binnen een vast compute-budget?

Op te leveren resultaten

• Een reproduceerbare, Nederlands-gerichte replicatie van de BTS-methodologie uit ATLAS.
• Een empirische vergelijking van de overdracht van Engels naar Nederlands versus Duits naar Nederlands.
• Een aanbevolen verhouding van Nederlandse, Engelse en Duitse pretrainingdata voor de ontwikkeling van soevereine LLM's.
• Een scriptie waarin de methodologie, resultaten en beperkingen van het extrapoleren van conclusies uit kleinschalige proxy-modellen worden besproken.

Deze opdracht is bedoeld voor studenten van de MSc Artificial Intelligence of aanverwante richtingen. Er is wekelijks een overleg met de begeleider, mogelijk samen met andere studenten om kennis tussen projecten te delen.

Een stage bij TNO betekent werken in een omgeving waar inhoud en impact centraal staan. Je komt terecht in een kennisorganisatie waar onderzoek en praktijk samenkomen en waar experts samenwerken aan oplossingen voor actuele maatschappelijke en technologische vraagstukken.

Je stage is een periode om te ontdekken wat bij jou past, waar je goed in bent en wat je nog wilt leren. Je maakt deel uit van een professionele werkomgeving, leert hoe het er in de praktijk aan toegaat en krijgt de ruimte om ervaring op te doen die verder reikt dan alleen deze stage. Voor veel studenten is een stage dan ook een eerste stap om te ontdekken of TNO past als mogelijke volgende stap na de studie.

Verder bieden we je:

• Een professionele en innovatieve stageomgeving waarin je actief bijdraagt aan maatschappelijke en technologische vraagstukken, samen met toonaangevende experts in jouw vakgebied.
• Betrokken en persoonlijke begeleiding, met aandacht voor jouw leerdoelen, ontwikkeling en studieopdracht.
• Ruimte om jezelf te ontplooien: je doet relevante werkervaring op, ontwikkelt zowel je vakinhoudelijke als professionele vaardigheden en bouwt een waardevol netwerk op.
• Gebruik van een laptop en de faciliteiten die je nodig hebt om je werk goed te kunnen uitvoeren.
• Een passende stagevergoeding van € 615,- per maand bij een fulltime stage, voor wo-, hbo- en mbo‑studenten.
• Tot acht uur verlof per stagemaand bij een fulltime stage, zodat je je stage goed kunt combineren met je studie en privéleven.
• Een tegemoetkoming in je reiskosten als je geen recht hebt op een studentenreisproduct.
• Een gratis lidmaatschap van Jong TNO: het netwerk voor jonge collega’s, waar je andere TNO’ers ontmoet en kunt deelnemen aan sportactiviteiten, inhoudelijke en persoonlijke ontwikkelactiviteiten en sociale evenementen, zoals de jaarlijkse skireis.

Onze mensen vormen het hart van TNO. Hun nieuwsgierigheid, expertise en proactiviteit maken het mogelijk om impactvolle onderzoeken en innovaties te creëren voor duurzaam welzijn en welvaart van de samenleving. Daarom investeren wij in een inspirerende en inclusieve werkomgeving waarin collega’s kunnen excelleren, autonomie hebben en kunnen groeien.

Jouw talent en ambitie krijgen bij TNO alle ruimte. Je werkt samen met experts (zowel binnen als buiten TNO), je hebt toegang tot geavanceerde technologie en de vrijheid om te onderzoeken, te experimenteren en te vernieuwen. Onze kracht ligt in onafhankelijkheid, betrouwbaarheid en samenwerking. Door samen te werken met bedrijven en overheden en door verschillende perspectieven te verbinden, versterken we onze innovatiekracht. En we creëren verantwoord en betekenisvol resultaat. We vinden elkaar in verwondering en vindingrijkheid, en we zijn gedreven om grenzen te verleggen.

Bij TNO geloven we dat dit onze tijd is om de samenleving, de overheid en het bedrijfsleven sneller vooruit te helpen. Samen met gedreven collega’s zet je kennis om in concrete innovaties of ondernemingen die écht verschil maken. Door de kracht van wetenschap en ondernemerschap te bundelen. Druk jouw stempel op ónze tijd.

Je kunt reageren op deze stagevacature tot en met 2 november 2026. Na je aanmelding ontvang je een bevestiging per e-mail.

TNO draagt zorg voor een passende stageovereenkomst. Mocht je vragen hebben over de inhoud van de stage of de procedure, dan kun je terecht bij de onderstaande contactpersoon.

Wanneer je bij ons start met een stage, vragen wij je ook om een Verklaring Omtrent het Gedrag (VOG) aan te leveren.

Belangrijk om te weten voordat je solliciteert:

• Voor de start van de stage moet een stageovereenkomst worden getekend. Voor studenten van een Nederlandse hogeschool of universiteit maakt TNO gebruik van het UNL-template, aangevuld met enkele TNO‑specifieke afspraken. Voor studenten van buitenlandse onderwijsinstellingen en MBO‑opleidingen geldt de TNO‑stageovereenkomst. TNO tekent geen andere stageovereenkomsten.
• Voor de start van de stage zal de onderwijsinstelling schriftelijk moeten bevestigen dat:
  1. jij gedurende de stage bent ingeschreven bij de onderwijsinstelling, en;
  2. de stage plaatsvindt in het kader van de opleiding.

Deze bevestiging vindt plaats via ondertekening van het UNL‑template of formulieren die door TNO worden verstrekt.

• Stagiairs bij TNO moeten bij de start van de stage beschikken over een Nederlands woonadres. Het uitvoeren van stage-activiteiten vanuit het buitenland is niet mogelijk.
• Ben je een internationale student? Houd er dan rekening mee dat je vóór de start van de stage een BSN (Burgerservicenummer) nodig hebt. Het aanvragen hiervan kan enkele weken duren, dus zorg dat je hier op tijd mee begint.