Begin deze maand vond de veertiende editie van het symposium E-Discovery plaats, georganiseerd door het lectoraat Digital Forensics & E-Discovery van Hogeschool Leiden. Dit jaar lag de focus op de praktische toepassingen taalmodellen in digitaal forensisch onderzoek. Zelf was ik vooral geïnteresseerd in de lezing over GPT-NL.
Het symposium E-Discovery 2024 bouwde voort op de vorige editie waarbij de inzet van ChatGPT als digitale speurneus voor rechercheurs werd belicht. Een jaar later hebben experts nieuwe taalmodellen en technieken onthuld die voorgaande tekortkomingen adresseren. Deze innovaties werden op 2 april besproken, met speciale aandacht voor hun toepasbaarheid in het opsporen van ondermijning en financiële criminaliteit.
Tijdens het symposium werden diverse lezingen gehouden:
- Jakub Zavrel van Zeta Alpha presenteerde “The R in RAG: Large Language Models for the next generation of search“, waarin hij de volgende generatie zoektechnologieën besprak.
- Abdul Boztas van het NFI en Hogeschool Leiden gaf inzicht in “Aardwolf: inzicht in digitale sporen bij gebruik van mobiele telefoons“, gericht op het traceren van digitale activiteit via mobiele apparaten.
- Edwin Rijgersberg, eveneens van het NFI, behandelde de “LLaMA’s en GEITjes: successen en uitdagingen van Nederlandse generatieve taalmodellen“, waarbij hij de vooruitgang en obstakels van Nederlandse taalmodellen belichtte.
- Yolanda van Setten van Cum Sensu verkende in “Zet 37: hoe AI de aanpak van criminaliteit kan innoveren” de rol van AI in de moderne criminaliteitsbestrijding.
- Hans Henseler van het NFI en Hogeschool Leiden sprak over het “Ontcijferen van digitale sporen met behulp van taalmodellen”, waarbij hij de toepassing van taalmodellen in forensisch onderzoek toelichtte.
Zelf was ik vooral geïnteresseerd in de lezing “NL-GPT: De waarde van een Nederlands taalmodel” door Saskia Lensink van TNO.
Dit initiatief, bekend als GPT-NL, is een samenwerking tussen TNO, het Nederlands Forensisch Instituut (NFI), SURF en wordt financieel ondersteund door het Ministerie van Economische Zaken en Klimaat met een bedrag van 13,5 miljoen euro. GPT-NL is ontworpen als een open model om de transparantie, eerlijkheid en verifieerbaarheid van AI-gebruik te versterken, waardoor het breed inzetbaar is binnen academische, onderzoek- en overheidsinstellingen en Nederland minder afhankelijk maakt van commerciële AI-leveranciers (bron: digitaleoverheid.nl).
Begin dit jaar presenteerde het Nederlandse demissionaire kabinet haar visie op generatieve AI, gericht op veiligheid, rechtvaardigheid en het bevorderen van menselijk welzijn. Deze visie streeft ernaar AI te ontwikkelen die duurzaam is en de Nederlandse welvaart ondersteunt, met een focus op publieke waarden en grondrechten. De regering wil Nederland positioneren als een leider in dit veld, zowel nationaal als internationaal, door samen te werken met Europese partners en te streven naar passende regulering en bewustwording over AI. Een specifiek voorbeeld van deze aanpak is het GPT-NL taalmodel.
Het streven van Nederland om een eigen taalmodel zoals GPT-NL te ontwikkelen is begrijpelijk en lovenswaardig, maar eerlijk gezegd heb ik twijfels over de haalbaarheid. Met een budget van slechts 13,5 miljoen euro en de strikte privacywetgeving is het de vraag of een model op het niveau van ChatGPT haalbaar is. De architectuur van een LLM is weliswaar toegankelijk, maar de essentiële menselijke input en de vereiste data zijn dat veel minder. Dit betekent dat, om een competitief taalmodel te ontwikkelen, concessies moeten worden gedaan.
Ben erg benieuwd naar de eerste resultaten van GPT-NL die dit najaar worden verwacht, maar heel eerlijk heb ik er niet heel veel vertrouwen in. Wat denken jullie?
12 reacties
Zie ook de reacties op LinkedIn:
https://www.linkedin.com/feed/update/urn:li:activity:7186087023361830912
Als je er vanuit gaat dat je altijd heel veel data nodig hebt wellicht niet. Maar dat is niet gezegd: https://www.zylstra.org/blog/2023/05/effective-llms-on-less-than-1gb-training-data/
Er zijn Europese initiatieven al ruim tien jaar om voor alle EU talen corpora bijeen te brengen. Daarop is de vertaaltool van de EU gebaseerd sinds eind 2017. Dat lijkt me een bruikbaar startpunt. Je begint dus niet met nul, of met de noodzaak om je trainingsdata per se online te halen met alle ethische haken en ogen die daaraan zitten.
Daarbij rijst bij mij eerder de vraag of je het speciaal voor Nederlands (Frysk?) nog wil doen, als er bijvoorbeeld via de Language Data Space een model is/komt voor alle EU talen gemeenschappelijk?
Als je LLMs ook als strategisch relevant ziet, dan ontkom je er niet aan om te zorgen dat er meer alternatieven zijn dan nu. Op NL of EU niveau.
Dank voor je reactie Ton en ik denk dat je gelijk hebt als het gaat om taalmodellen voor specifieke taken, maar ik vraag me af of die ook in staat zijn voor generiek gebruik zoals we dat nu steeds meer doen met GPT, Claude of Mistral. Daar is de beschikbaarheid van rechtmatig verkregen data en menselijke capaciteit voor finetuning de grootste uitdaging lijkt me. Hebben we die? Zeker niet als je het op niveau Nederland gaat doen, op Europees niveau zou dat moeten lukken maar daar vrees ik dat de samenwerking te traag is. Benieuwd hoe jij daar naar kijkt.
Hoi Marco,
Klopt, ik werk aan systemen gebaseerd op RAG, maar werk ook aan pre-training van taal modellen. Voordat ik mijn gedachten spui over de haalbaarheid van een Nederlands taalmodel, wil ik wel aangeven dat ik dit een goed initiatief vind: dit is een belangrijke stimulans om kennis op dit gebied in Nederland verder op te bouwen, om Nederland meer “AI native” te maken. Verder, een taalmodel die de nuances van onze taal, cultuur, normen en waarden en ethiek omvat, en waar “we” zelf controle over hebben is een mooi idee. Als het hele process inderdaad maar wel volledig transparant is.
Is een Nederlands taalmodel haalbaar? Een paar gedachten. Met betrekking tot de kosten van de rekenkracht is een kleiner model (bijv. 7B parameters) wel haalbaar binnen het genoemde budget lijkt me. Hierbij moet ook rekening gehouden worden met de verschillende experimentele training iteraties die je moet uitvoeren; het is niet zo dat je een dataset opzet en wat code schrijft en dan in één keer een goed taal model trained. Er kunnen onzuiverheden in de data zitten die de training onstabiel maken, of er kan iets in de data zitten waardoor bepaalde benchmarks tegenvallen.
Over benchmarks gesproken, waar komen de benchmarks in het Nederlands vandaan? Bepaalde tests, waar taal nuances van minder belang zijn, kan je ze direct de Engelse versie gebruiken, of automatisch vertalen uit het Engels. Maar als we een Nederlands taal model willen maken zullen er ook benchmarks ontwikkeld moeten worden die het model test met betrekking tot de nuances van de Nederlandse taal, onze cultuur, normen en waarden, etc.. Ik weet dat op dit gebied al een en ander bestaat maar is dat genoeg? Hoeveel van het budget wordt hier aan besteed?
Dan over de dataset zelf, goed dat hier veel aandacht aan besteed wordt. Er wordt continue nieuw onderzoek gepubliceerd dat concludeert dat niet zozeer de kwantiteit van de data, maar de kwaliteit van groot belang is om tot een goed model te komen. Er zal daarom niet alleen hard gewerkt moeten worden om interessante bronnen van Nederlands tekst te ontsluiten (ik denk ook aan bijv. transcriptie van alle publieke televisie en radio uitzendingen sinds de jaren 1920), maar ook om filter mechanismen te ontwikkelen om de beste stukken tekst te houden.
Als laatste wil ik de instruction-tuning datasets noemen, als je aan Nederlands “AI alignment” wilt doen dan zal je toch ook zeker nieuwe Nederlandse datasets hiervoor moeten ontwikkelen.
Al met al zal het niet makkelijk zijn om tot een goed resultaat te komen met het gegeven budget. Maar weet je, de eerste modellen hoeven niet perfect te zijn, dit het begin. Ik hoop vooral dat de Nederlandse overheid hier volhard en dat in de aankomende decennia meerdere van dit soort initiatieven op elkaar kunnen voortborduren.
O ja, het is erg uitzonderlijk dat ik zulke stukjes in het Nederlands schrijf, er zal dus taalkundig genoeg aan mis zijn; ik kan een Nederlands taal model wel gebruiken!
Wat kan GPT-NL leren van DeepSeek?
Als de recente publicaties over het Chinese DeepSeek kloppen – en dat moet nog blijken – dan moet ik mijn eerdere kritische houding ten opzichte van GPT-NL wellicht herzien.
Voor wie het de laatste dagen heeft gemist, DeepSeek is een Chinese AI-startup die op dit moment de aandacht trekt met DeepSeek-R1, een open-source large language model (LLM) dat niet alleen gratis toegankelijk is, maar ook energiezuinig en kosteneffectief.
https://www.deepseek.com
DeepSeek-R1 maakt gebruik van een zogeheten Mixture of Experts (MoE)-architectuur, waarbij gespecialiseerde neurale netwerken taken verdelen, wat leidt tot hogere efficiëntie en lagere kosten. Volgens eigen zeggen kostte het trainen van DeepSeek-R1 slechts zes miljoen dollar. Volgens insiders heeft OpenAI ruim honderd miljoen dollar uitgegeven om hun GPT-model te trainen.
https://arxiv.org/abs/2501.12948
GPT-NL, het Nederlandse AI-project van TNO, SURF en het NFI, heeft destijds bewust een andere route gekozen dan de commerciële bedrijven als OpenAI. Het project is opgezet om een transparant en ethisch verantwoord taalmodel te ontwikkelen dat aansluit bij Europese wet- en regelgeving en bijdraagt aan digitale soevereiniteit. In tegenstelling tot veel commerciële modellen richt GPT-NL zich op verantwoorde data-acquisitie en juridische compliance, wat het proces complexer en tijdrovender maakt.
https://gpt-nl.nl/
Met een budget van 13,5 miljoen euro had ik daar vorig jaar eerlijk gezegd niet heel veel vertrouwen in.
DeepSeek laat nu echter zien dat het ontwikkelen van krachtige AI-modellen niet per se extreem duur hoeft te zijn. Als hun aanpak inderdaad zo effectief is, zou GPT-NL daar dan inspiratie uit kunnen halen? Kan een efficiëntere architectuur zoals MoE helpen om sneller vooruitgang te boeken zonder de ethische kernwaarden van het project op te geven? Of liggen de echte kosten toch vooral aan de kant van data verzamelen en bewerken?
Ik ben benieuwd hoe jullie hierover denken. Ik moet in ieder geval mijn mening van afgelopen jaar iets nuanceren 😉
Zie ook mijn bericht op LinkedIn:
https://www.linkedin.com/posts/mderksen_ai-deepseek-gptnl-activity-7290263472053923842-i4xy
Interessante update in NRC met over GPT-NL deze week. Het bevestigt wat we al langer wisten: een ethisch, transparant AI-model bouwen is taai, zeker met beperkt budget en onder strikte Europese regels. Maar het laat ook zien dat er wél beweging zit in het project. De inzet op ‘schone’ data is bewonderenswaardig, al blijft de achterstand op Big Tech enorm. GPT-NL is geen technisch antwoord op ChatGPT, maar een principiële keuze. De vraag blijft: is dat genoeg om relevant te blijven?
Een Nederlands, ethisch AI-model bouwen? ‘Moeilijk, maar we geloven dat het gaat lukken’
https://www.nrc.nl/nieuws/2025/04/13/een-nederlands-ethisch-ai-model-bouwen-moeilijk-maar-we-geloven-dat-het-gaat-lukken-a4889777
Zie ook mijn bericht op LinkedIn:
https://www.linkedin.com/posts/mderksen_tno-gptnl-ai-activity-7317787373356937216-ppv8
Nederlandse media dragen bij aan ontwikkeling GPT-NL
NDP Nieuwsmedia en persbureau ANP gaan bijdragen aan de verdere ontwikkeling van GPT-NL, het eerste grootschalige Nederlandse AI-taalmodel. Dat meldt ontwikkelaar TNO in een persbericht. De samenwerking zorgt ervoor dat de hoeveelheid hoogwaardige Nederlandse data waarop het taalmodel wordt getraind in één klap verdubbelt. Volgens TNO is het wereldwijd de eerste keer dat nieuwsuitgevers op deze manier bijdragen aan de ontwikkeling van een AI-model. “De leden van NDP Nieuwsmedia leveren niet alleen hoogwaardige data, maar geven ook een krachtig signaal af: door samenwerking kan AI verantwoord worden ontwikkeld, met respect voor auteursrecht en publieke waarden”, zegt Selmar Smit, Manager Science & Technology bij TNO en grondlegger GPT-NL.
https://www.tno.nl/nl/newsroom/2025/07/omvangrijke-dataset-nieuwsbedrijven/
Vanmorgen de aflevering van De Technoloog geluisterd waarin Ben van der Burg en Daniël Mol spreken met Saskia Lensink, productmanager van GPT-NL:
https://www.bnr.nl/podcast/de-technoloog/10580320/gpt-nl-is-bijna-klaar-maar-zoekt-nu-klanten-en-daadkracht-van-de-overheid
In het kort:
GPT-NL is vanaf nul opgebouwd met legaal verkregen data, waaronder journalistieke content van NDP Nieuwsmedia. Data-eigenaren ontvangen 50% van de licentie-inkomsten. De eerste versie, gepland voor 1 januari 2026, zal naar verwachting op het niveau van GPT-3.5 opereren, met kernfuncties als samenvatten, versimpelen en vragen beantwoorden. Het model telt 26 miljard parameters en richt zich in eerste instantie op professioneel gebruik. De ontwikkelingskosten bedragen tot nu toe 13,5 miljoen euro, grotendeels gefinancierd door de overheid. Er is nog geen ‘launching customer’, hoewel de Rijksoverheid als belangrijkste kandidaat wordt genoemd.
Het succes van GPT-NL is afhankelijk van vervolgfinanciering, duidelijke governance en een volledige Europese techstack voor hosting en integratie. Zonder brede adoptie in de publieke sector en commerciële markt dreigt het model beperkt te blijven tot nichetoepassingen of afhankelijk te worden van infrastructuur van Big Tech. Het project balanceert daarmee tussen de ambitie van digitale soevereiniteit en de realiteit van markt- en schaalvoordelen van grote internationale spelers.
Respect dat men doorpakt, ben wel erg benieuwd of ze het gaan redden.
In een recente podcast AI Today Live spreken Joop Snijder en Niels Naglé met Jesse van Oort, Responsible AI Researcher bij TNO. Het gesprek draait om GPT-NL, een Nederlands initiatief dat een eigen taalmodel ontwikkelt als alternatief voor de diensten van grote Amerikaanse technologiebedrijven.
https://aitoday-live.buzzsprout.com/899785/episodes/17903599-s07e85-responsible-ai-agents-met-gpt-nl
Van Oort legt uit dat GPT-NL met overheidssubsidie van 13,5 miljoen euro in 2023 is gestart. Daarmee wordt gewerkt aan een taalmodel van 24 miljard tokens. In vergelijking met de honderden miljarden parameters van modellen als GPT-4 is dit kleiner, maar de scope is bewust beperkt. Waar OpenAI mikt op brede, mondiale toepasbaarheid, richt GPT-NL zich op de Nederlandse taal en gebruik in specifieke domeinen. “We proberen niet hetzelfde te maken als OpenAI, dat zouden we niet winnen,” aldus Van Oort.
Een belangrijk verschil zit in de manier waarop data wordt verzameld en verwerkt. GPT-NL gebruikt uitsluitend data die legaal en permissief beschikbaar is, zoals teksten uit de Koninklijke Bibliotheek, documenten van Nederlandse gemeenten en krantenarchieven via de NDP. Daarnaast worden ook Engelse teksten meegenomen, bijvoorbeeld uit open source software en internationale public domain-bronnen. Dit heeft als doel het model logischer te maken en bruikbaar te houden in contexten waar tweetalige data nodig is. Volgens Van Oort levert dit niet alleen een beter herleidbare, maar ook maatschappelijk beter verdedigbare databasis op. Hij benadrukt dat bias onvermijdelijk blijft, maar dat GPT-NL inzet op het zichtbaar maken ervan, onder meer door workshops met gemarginaliseerde groepen en speciale benchmarktests.
Een concreet voorbeeld betreft de toepassing van filters tijdens de datacuratie. Zo worden persoonlijke gegevens verwijderd en schadelijke taal herkend en uitgefilterd. Ook is afgesproken dat alle niet-gecopieerde en permissieve datasets herpubliceerd worden via platforms zoals Hugging Face, inclusief metadata over herkomst en kwaliteit. “Het mooie is dat we veel beter weten wat er precies in de data zit,” zegt Van Oort.
Naast de technische keuzes komt in het gesprek ook de vraag naar autonomie en verantwoordelijkheid van AI-systemen aan bod. Van Oort onderscheidt AI agents, die vooral workflows volgen, en agentic AI, dat abstracte doelen zelfstandig kan nastreven. Juist die laatste vorm brengt risico’s met zich mee, zoals snelle foutpropagatie tussen systemen en hoge energie-emissies. Hier ligt een belangrijk verschil met de praktijk van commerciële modellen: waar OpenAI inzet op schaal en brede toepasbaarheid, kiest GPT-NL voor controle, transparantie en domeinspecifieke kwaliteit.
Het gesprek maakt duidelijk dat GPT-NL niet alles wil vervangen. Het model zal bijvoorbeeld niet goed presteren op algemene wereldkennis, omdat daarvoor Common Crawl-data nodig zou zijn. De focus ligt op goede Nederlandse taalverwerking, samenvatting en ondersteuning van retrieval augmented generation (RAG)-systemen. Daarmee positioneert GPT-NL zich als aanvulling op bestaande technologie, niet als directe concurrent.
De belangrijkste conclusies zijn dat GPT-NL een realistisch alternatief biedt voor organisaties die niet afhankelijk willen zijn van Big Tech. De schaal is kleiner, maar de meerwaarde zit in transparantie, legitieme data en aansluiting bij Nederlandse en Europese waarden. Tegelijkertijd is de uitdaging groot: met beperkte middelen moeten keuzes worden gemaakt die impact hebben op prestaties en bruikbaarheid. Van Oort benadrukt dat dit slechts het begin is en dat vervolgprojecten meer investeringen in rekenkracht zullen vragen.
Aanbevelingen en reflecties richten zich vooral op de governance rondom dit soort initiatieven. Transparantie en biasmonitoring zijn belangrijke stappen, maar de vraag blijft wie bepaalt welke doelen agentic AI mag nastreven en hoe duurzame inzet wordt geborgd. Het succes van GPT-NL hangt niet alleen af van technische realisatie, maar ook van politieke en maatschappelijke keuzes over de rol van soevereine AI in Europa.
Saskia Lensink op VINT Symposium 2025 over GPT-NL: