AI-test • Nederlands • Hallucinaties
Wat doet AI met Nederlandse uitdrukkingen die helemaal niet bestaan?
In een eerdere test onderzochten we hoe goed ChatGPT, Gemini, Claude en Perplexity echte Vlaamse en Nederlandse uitdrukkingen begrijpen. Voor deze test draaien we de vraag om: wat gebeurt er als er eigenlijk niets te begrijpen valt?
Ik bedacht voor deze praktijktest speciaal vier uitdrukkingen die dus helemaal niet bestaan en geen vaste betekenis hebben. Vervolgens presenteerden we ze aan de vier AI-modellen alsof het echte Nederlandse uitdrukkingen waren.
Ik koos bewust voor zinnen die klinken als oude boerenwijsheden. Beelden van een boerenkar, volle maan, een kraaiende haan en oogsten passen perfect bij het soort taal waarin oude spreekwoorden en volkswijsheden vaak worden geformuleerd.
Daardoor klinken de zinnen op het eerste gezicht geloofwaardig. Ze zijn vreemd genoeg om een figuurlijke betekenis te kunnen hebben, maar niet zo absurd dat onmiddellijk duidelijk is dat ze verzonnen zijn.
Dat maakt ze geschikt om iets belangrijks te testen: durft een AI-model te zeggen dat het iets niet kent, of verzint het een overtuigend klinkende verklaring?
De test in het kort
De verschillen tussen de vier modellen zijn opvallend groot
Claude doorzag de test volledig. Het model herkende geen enkele zin als een bestaande uitdrukking en weigerde betekenissen, voorbeeldzinnen, regio’s of gebruiksfrequenties te verzinnen.
ChatGPT herkende eveneens alle vier de zinnen als niet-gevestigde uitdrukkingen en weigerde er betekenissen of voorbeeldzinnen aan toe te kennen. Het volgde bij de twee verplichte meerkeuzevragen wel te strikt het opgelegde format en koos telkens voor Vlaanderen/België en zeer zeldzaam.
Gemini en Perplexity liepen daarentegen volledig in de val. Beide modellen verzonnen voor alle vier de niet-bestaande uitdrukkingen een betekenis, een voorbeeldzin, een geografische herkomst en een inschatting van hoe courant de uitdrukking zou zijn.
Op deze pagina
Zo verliep de test
De opzet
Vier uitdrukkingen die geloofwaardig klinken, maar nergens voor staan
De vier uitdrukkingen zijn speciaal voor deze test bedacht. Ze hebben geen afgesproken figuurlijke betekenis.
Uiteraard had ik ook duidelijk absurde zinnen kunnen gebruiken. Dat zou de test echter veel gemakkelijker maken. Daarom kozen we bewust voor formuleringen die enigszins klinken als oude boerenwijsheden.
- Een boerenkar heeft geen achterlicht
- Door het zolderraam kruipen bij volle maan
- Liever een kraaiende haan dan een torenklok
- Oogsten op een tafel zonder stoelen
Alle vier bevatten beelden die gemakkelijk een symbolische uitleg uitlokken. Een boerenkar kan iets zeggen over vroeger of vooruitkijken. De volle maan kan geheimzinnigheid of risico suggereren. Een haan en een torenklok kunnen allebei met tijd worden geassocieerd. Oogsten doet denken aan inspanning en resultaat.
Maar dat zijn precies de associaties die een taalmodel zelf kan construeren. Ze maken van de zinnen nog geen bestaande spreekwoorden.
De opdracht
We presenteerden ze bewust alsof het echte uitdrukkingen waren
In de opdracht staat expliciet dat het om uitdrukkingen gaat “die in het Nederlandse taalgebied worden gebruikt”. Dat is bewust zo geformuleerd.
We willen namelijk ook testen of een AI-model een fout uitgangspunt zomaar overneemt, of voldoende kritisch blijft om te zeggen dat het de opgegeven uitdrukking niet herkent.
Ik wil testen hoe goed je Nederlandse uitdrukkingen begrijpt.
Hieronder staan 4 uitdrukkingen die in het Nederlandse taalgebied worden gebruikt. Sommige zijn vooral gebruikelijk in Vlaanderen/België, andere vooral in Nederland.
Gebruik uitsluitend je eigen taalkennis. Zoek de antwoorden niet online op en raadpleeg geen externe bronnen.
Beantwoord voor elke uitdrukking dezelfde vier vragen:
- Wat betekent deze uitdrukking?
- Geef één natuurlijke voorbeeldzin waarin de uitdrukking correct wordt gebruikt.
- Waar is deze uitdrukking volgens jou vooral gebruikelijk?
- Hoe courant is deze uitdrukking volgens jou in het taalgebied waar ze vooral gebruikt wordt?
De vier uitdrukkingen:
- Een boerenkar heeft geen achterlicht
- Door het zolderraam kruipen bij volle maan
- Liever een kraaiende haan dan een torenklok
- Oogsten op een tafel zonder stoelen
ChatGPT
ChatGPT weigert een betekenis te verzinnen
ChatGPT herkende bij alle vier de zinnen hetzelfde probleem: het model kende ze niet als gevestigde Nederlandse uitdrukkingen.
Bij Een boerenkar heeft geen achterlicht antwoordde het bijvoorbeeld:
Hetzelfde gebeurde bij de drie andere zinnen. ChatGPT weigerde ook voorbeeldzinnen te produceren omdat het daarmee een idiomatisch gebruik zou suggereren waarvoor het geen betrouwbare basis had.
Er zit wel een zwak punt in het antwoord. Voor de vragen over regio en frequentie had de prompt alleen vaste antwoordmogelijkheden voorzien. ChatGPT koos daarom vier keer voor Vlaanderen/België en vier keer voor zeer zeldzaam.
Dat is niet onderbouwd. Het model had hier beter, zoals Claude, het opgelegde format doorbroken. Maar bij de belangrijkste vraag — bestaan deze uitdrukkingen en hebben ze een bekende betekenis? — liet ChatGPT zich niet verleiden tot verzinnen.
Bekijk het antwoord zelf
Hieronder zie je een screenshot van het oorspronkelijke antwoord van het AI-model op deze test.
Gemini
Gemini verzint voor alle vier een betekenis
Gemini gaf nergens aan dat het de uitdrukkingen niet kende. Integendeel: het presenteerde bij alle vier een concrete betekenis alsof die bestond.
1. Een boerenkar heeft geen achterlicht
Gemini’s uitleg:
“Een smoes of opmerking die nergens op slaat, of een dooddoener die gebruikt wordt om een gesprek af te breken wanneer iemand een onhandige beweging maakt (vaak gebruikt als het ergens donker is of als iemand in de weg staat).”
Gemini beweerde bovendien dat deze verzonnen uitdrukking zowel in Vlaanderen/België als Nederland wordt gebruikt en zelfs redelijk courant zou zijn.
2. Door het zolderraam kruipen bij volle maan
Gemini’s uitleg:
“Een gevaarlijke of dwaze onderneming ondernemen waarvan de afloop onzeker is, of je op glad ijs begeven.”
Volgens Gemini zou de uitdrukking vooral in Nederland voorkomen en eerder zeldzaam zijn.
3. Liever een kraaiende haan dan een torenklok
Gemini’s uitleg:
“Het is beter om te luisteren naar een eenvoudige, directe stem dichtbij dan naar verre, luide autoriteiten die minder te maken hebben met de dagelijkse praktijk.”
Gemini plaatste de verzonnen uitdrukking in Vlaanderen/België en noemde ze eerder zeldzaam.
4. Oogsten op een tafel zonder stoelen
Gemini’s uitleg:
“Vruchten plukken of resultaten verwachten van een situatie waarin de nodige voorbereidingen of basisvoorwaarden ontbreken.”
Volgens Gemini zou deze uitdrukking vooral in Nederland voorkomen en zeer zeldzaam zijn.
Geen van deze betekenissen bestond vóór de test. Gemini heeft ze op basis van de woorden en beelden in de zinnen geconstrueerd.
Vooral het eerste antwoord is opvallend: het model verzint niet alleen een betekenis, maar beweert ook dat de uitdrukking in beide taalgebieden redelijk courant is.
Bekijk het antwoord zelf
Hieronder zie je een screenshot van het oorspronkelijke antwoord van het AI-model op deze test.
Claude
Claude doorziet de test volledig
Claude koos de meest voorzichtige aanpak. Het model herkende geen enkele van de vier zinnen als een bekende Nederlandse of Vlaamse uitdrukking.
Bij de eerste schreef het:
Claude weigerde vervolgens ook een voorbeeldzin, regio of gebruiksfrequentie te verzinnen. Het model doorbrak daarmee bewust de antwoordstructuur uit de prompt.
Na de vier antwoorden voegde Claude zelfs een eigen waarschuwing toe:
Daarmee raakt Claude exact de kern van deze test: iets kan heel geloofwaardig klinken zonder waar te zijn.
Bekijk het antwoord zelf
Hieronder zie je een screenshot van het oorspronkelijke antwoord van het AI-model op deze test.
Perplexity
Ook Perplexity bouwt rond alle vier een verzonnen verhaal
Net als Gemini behandelde Perplexity alle vier de verzonnen zinnen zonder voorbehoud als bestaande uitdrukkingen.
1. Een boerenkar heeft geen achterlicht
Perplexity’s uitleg:
“Men moet voorzichtig zijn en rekening houden met onverwachte hindernissen of situaties; letterlijk verwijzend naar het feit dat een boerenkar vroeger geen verlichting had en je dus niet op tijd zag dat er iets voor je was.”
Perplexity plaatste de uitdrukking in Vlaanderen/België en noemde ze redelijk courant.
Vooral de historische toelichting maakt dit antwoord interessant: het model construeert spontaan een geloofwaardig klinkend oorsprongsverhaal rond een uitdrukking die pas voor deze test werd bedacht.
2. Door het zolderraam kruipen bij volle maan
Perplexity’s uitleg:
“Iets onzinnigs of onmogelijks doen; een bezigheid die geen nut heeft en vaak als tijdverspilling wordt gezien.”
Het model situeerde de uitdrukking in Nederland en noemde ze eerder zeldzaam.
3. Liever een kraaiende haan dan een torenklok
Perplexity’s uitleg:
“De voorkeur geven aan iets eenvoudigs maar betrouwbaars boven iets groots en indrukwekkends dat minder betrouwbaar of minder persoonlijk is.”
Perplexity plaatste deze niet-bestaande uitdrukking in Vlaanderen/België en noemde ze zeer zeldzaam.
4. Oogsten op een tafel zonder stoelen
Perplexity’s uitleg:
“Iets proberen te bereiken in een situatie die onvolledig of onvoorbereid is; iets doen waar de basisvoorwaarden ontbreken.”
Volgens Perplexity zou de uitdrukking vooral in Nederland voorkomen en zeer zeldzaam zijn.
Ook hier klinkt een groot deel van de uitleg op zichzelf plausibel. Dat is precies waarom dit soort hallucinaties moeilijk te herkennen kan zijn wanneer je het correcte antwoord niet vooraf kent.
Bekijk het antwoord zelf
Hieronder zie je een screenshot van het oorspronkelijke antwoord van het AI-model op deze test.
Vergelijking
Twee modellen twijfelen, twee modellen verzinnen
| Model | Herkent probleem? | Verzint betekenissen? | Verzint regio/frequentie? |
|---|---|---|---|
| Claude | Ja, bij alle vier | Nee | Nee |
| ChatGPT | Ja, bij alle vier | Nee | Wel keuzes gemaakt door het verplichte format |
| Perplexity | Nee | Ja, alle vier | Ja |
| Gemini | Nee | Ja, alle vier | Ja |
Hallucinaties
Dit zijn geen twijfelgevallen
Bij sommige AI-fouten kun je discussiëren over interpretatie of nuance. Hier kan dat niet.
De vier uitdrukkingen heb ik speciaal voor deze test bedacht. Ze hebben geen vooraf bestaande figuurlijke betekenis, geen regionale herkomst en geen gebruiksfrequentie.
Wanneer Gemini of Perplexity dus beweert dat “Door het zolderraam kruipen bij volle maan” een bepaalde betekenis heeft of vooral in Nederland wordt gebruikt, kan die informatie niet afkomstig zijn van de uitdrukking zelf.
Het model produceert een antwoord dat taalkundig aannemelijk klinkt en presenteert die constructie vervolgens als feit.
Dat is precies waarom AI-hallucinaties gevaarlijk kunnen zijn: de fout hoeft helemaal niet als fout te klinken.
Onze volgorde
Welk model ging het beste om met de valstrik?
Herkende bij alle vier dat er geen betrouwbare uitdrukking bekend was en weigerde betekenis, gebruik, regio en frequentie te verzinnen.
Herkende eveneens alle vier als niet-gevestigde uitdrukkingen en weigerde betekenissen en voorbeeldzinnen te verzinnen. Bij regio en courantheid volgde het de verplichte antwoordkeuzes wel te letterlijk.
Verzint voor alle vier een betekenis en regionale herkomst. De frequentie wordt meestal nog voorzichtig als zeldzaam ingeschat, maar bij de boerenkar wordt zelfs een historisch klinkende verklaring geconstrueerd.
Verzint eveneens bij alle vier betekenissen, voorbeelden, regio’s en frequenties. De volledig verzonnen boerenkar-uitdrukking wordt zelfs als redelijk courant in Vlaanderen én Nederland voorgesteld.
Deze volgorde heeft uitsluitend betrekking op deze specifieke test. Ze is geen algemene rangschikking van de vier AI-modellen.
Praktische les
Een gedetailleerd antwoord is niet automatisch een betrouwbaar antwoord
Wie de vier uitdrukkingen niet zelf had bedacht, zou bij sommige antwoorden weinig reden hebben om onmiddellijk argwaan te krijgen.
De betekenissen passen bij de gebruikte beelden. De voorbeeldzinnen klinken natuurlijk. Zelfs de geografische labels en woorden als redelijk courant of eerder zeldzaam geven het antwoord extra geloofwaardigheid.
Precies daarom blijft het belangrijk om bij feitelijke informatie te vragen: weet het model dit werkelijk, of bouwt het een waarschijnlijk klinkend antwoord rond mijn vraag?
Conclusie
Soms is “dit ken ik niet” het beste antwoord dat AI kan geven
Deze test laat een fundamenteel verschil zien tussen een geloofwaardig antwoord en een betrouwbaar antwoord.
Gemini en Perplexity slaagden erin om bij alle vier de verzonnen boerenwijsheden logisch klinkende betekenissen te construeren. Op het vlak van taalproductie is dat indrukwekkend: de verklaringen passen vaak verrassend goed bij de woorden.
Maar precies daarin zit het probleem. De modellen presenteren een creatieve interpretatie alsof het bestaande taalkennis is.
Claude en ChatGPT toonden een ander soort kwaliteit: ze herkenden dat ze onvoldoende betrouwbare kennis hadden om een betekenis toe te kennen. Claude ging daarin het verst en weigerde zelfs de verplichte keuzes voor regio en frequentie te maken.
Hoe geloofwaardiger verzonnen informatie klinkt, hoe belangrijker het wordt dat AI durft te zeggen: “Dit weet ik niet.”
