AI-test • Hallucinaties • Muziek
Kan AI een bekend lied correct uitleggen?
Het nummer Kayleigh van Marillion verscheen in 1985 en werd een van de bekendste nummers van de Britse rockgroep. Achter het lied zit een persoonlijk verhaal van zanger Fish, die terugblikt op een mislukte liefdesrelatie.
De betekenis van het nummer is bovendien goed gedocumenteerd. Fish heeft in verschillende interviews verteld over zijn vroegere vriendin Kay Lee en over de persoonlijke herinneringen die hij in de songtekst verwerkte.
Dat maakt Kayleigh een interessant onderwerp voor een nieuwe test rond AI-hallucinaties.
Ik stelde aan de gratis versies van ChatGPT, Gemini, Claude en Perplexity exact dezelfde eenvoudige vraag: waarover gaat het nummer, en kun je dat uitleggen met verwijzingen naar de tekst?
De antwoorden leverden een opvallend resultaat op. Drie modellen bleven grotendeels bij de werkelijke betekenis van het nummer. Eén model gaf eveneens een overtuigende uitleg, maar gebruikte daarbij verschillende songtekstregels die helemaal niet bestaan.
In deze test bekijken we wat de vier modellen antwoordden, welke informatie klopt en waar AI zelf details begon te verzinnen.
Op deze pagina
Zo verliep onze test
- De test in het kort en de exacte prompt
- Het echte verhaal achter Kayleigh
- Wat antwoordde ChatGPT?
- Gemini verzint songtekstregels
- Claude blijft bij de grote lijnen
- Perplexity verwijst naar de echte tekst
- De vier modellen naast elkaar
- Waarom is dit een AI-hallucinatie?
- Hoe hebben we de antwoorden gecontroleerd?
- Conclusie: geloofwaardig is niet altijd correct
De testopzet
Eén eenvoudige vraag voor vier AI-modellen
Ik wilde deze keer geen ingewikkelde prompt gebruiken. Ook gaf ik de modellen bewust geen foutieve informatie om ze op een verkeerd spoor te zetten.
Het gaat om een gewone vraag die een muziekliefhebber aan een AI-assistent zou kunnen stellen. We vragen niet alleen naar de algemene betekenis van het nummer, maar ook naar concrete verwijzingen naar de songtekst.
De exacte prompt:
Waarover gaat het nummer “Kayleigh” van Marillion? Geef verwijzingen naar de tekst.
Deze opdracht werd aan de gratis versies van ChatGPT, Gemini, Claude en Perplexity gegeven.
Bij de beoordeling kijken we naar drie zaken:
- De betekenis: begrijpt het model waarover het nummer werkelijk gaat?
- De tekstverwijzingen: gebruikt het model woorden en passages die echt in het nummer voorkomen?
- De feitelijke uitleg: verzint het model geen gebeurtenissen, locaties of achtergrondinformatie?
Dit is een kleinschalige praktijktest met één vraag per model. De resultaten gelden voor deze antwoorden en vormen geen algemene beoordeling van de vier AI-tools.
De werkelijkheid
Het echte verhaal achter Kayleigh
Kayleigh is geen volledig fictief liefdesverhaal. De titel is gebaseerd op Kay Lee, een vroegere vriendin van Fish, de toenmalige zanger van Marillion.
Fish en Kay begonnen in 1981 een relatie. In 1983 gingen ze samenwonen in Belsize Park, een wijk in Londen. Maar Fish was steeds meer bezig met zijn muzikale carrière. Toen hij terugkeerde van een tournee in Amerika, bleek Kay vertrokken te zijn.
Het nummer werd voor Fish een manier om terug te kijken op zijn gedrag en om zijn spijt uit te drukken.
Belangrijk is dat niet alle herinneringen in de songtekst uitsluitend over Kay Lee gaan. Fish heeft zelf verklaard dat hij ervaringen uit verschillende vroegere relaties in het nummer verwerkte.
Enkele echte verwijzingen in de tekst
- Belsize Park: een werkelijke locatie in Londen waar Fish en Kay samenwoonden.
- Stilettos in the snow: Fish koppelde deze herinnering aan een gebeurtenis in Galashiels, Schotland, met een vroegere vriendin genaamd Lesley.
- Cherry blossom in the market square: een beeld uit de echte songtekst waar Fish in een interview zelf naar verwees.
- De verontschuldigingen: in het refrein erkent de verteller dat hij zijn geliefde pijn heeft gedaan en vraagt hij zich af of het te laat is om sorry te zeggen.
Over deze achtergrond bestaat betrouwbare documentatie, waaronder de officiële website van Marillion en een interview met Fish in het muziekblad Classic Rock.
ChatGPT
ChatGPT geeft een uitgebreide uitleg met echte achtergrondinformatie
ChatGPT beschrijft Kayleigh als een nummer over verloren liefde, spijt en het besef dat je zelf hebt bijgedragen aan het mislukken van een relatie.
Het model gaat verder dan een algemene interpretatie en vertelt ook over de persoonlijke achtergrond van Fish.
“Het is eigenlijk een liefdesbrief achteraf: de zanger kijkt terug op mooie herinneringen, erkent dat hij zijn geliefde pijn heeft gedaan en zou zich willen verontschuldigen, maar vreest dat het te laat is.”
Uit het antwoord van ChatGPT
ChatGPT noemt correct Kay Lee als inspiratiebron voor de titel en vermeldt dat Fish herinneringen aan meerdere vroegere relaties samenbracht.
Ook de verwijzing naar het dansen in de sneeuw wordt correct gekoppeld aan een persoonlijke herinnering van Fish in Galashiels, Schotland.
Wat valt op?
ChatGPT bespreekt vooral de betekenis van verschillende beelden en passages, zonder voortdurend letterlijke songtekstregels te citeren.
Daardoor is het antwoord inhoudelijk uitgebreid, maar kan de lezer de verwijzingen minder gemakkelijk rechtstreeks naast de originele tekst leggen.
De belangrijkste achtergrondinformatie komt overeen met wat Fish zelf over het nummer heeft verteld. In dit antwoord vonden we geen duidelijk verzonnen gebeurtenis of niet-bestaande songtekstpassage die als letterlijk citaat wordt opgevoerd.
Bekijk het antwoord zelf
Hieronder zie je een screenshot van het oorspronkelijke antwoord van ChatGPT op deze test.
Gemini
Gemini verzint songtekstregels en geeft er uitleg bij
Het antwoord van Gemini begint veelbelovend. Het model herkent Kayleigh als een autobiografisch nummer van Fish en vertelt correct dat de titel verwijst naar zijn voormalige vriendin Kay Lee.
Ook de algemene uitleg over spijt, liefdesverdriet en de invloed van Fish’ muzikale carrière sluit aan bij het werkelijke verhaal.
Maar zodra Gemini specifieke verwijzingen naar de songtekst geeft, gaat het mis.
De opvallendste fout: Cherry Lane
Gemini presenteert twee zogenaamd letterlijke songtekstregels waarin de plaats Cherry Lane voorkomt.
In die regels zou Fish zingen over het aanbreken van de dag en over dansen in Cherry Lane.
Vervolgens geeft Gemini deze verklaring:
“Cherry Lane verwijst naar de kamer/het adres in Edinburgh waar ze samen verbleven.”
Het probleem: Cherry Lane komt helemaal niet voor in de officiële songtekst. De vermelde regels bestaan niet en ook de uitleg over een gezamenlijk adres in Edinburgh wordt niet onderbouwd.
In de echte tekst verwijst Fish wel naar een studentenverblijf en naar kersenbloesem op een marktplein. Gemini lijkt verschillende elementen te hebben gecombineerd tot een nieuwe, niet-bestaande locatie.
Het blijft niet bij één verzonnen passage
Verderop in het antwoord verschijnen nog meer regels die niet letterlijk in Kayleigh voorkomen.
| Wat Gemini schrijft | Wat er misgaat |
|---|---|
| Twee regels over Cherry Lane | Geen van beide staat in de echte tekst. De locatie wordt verzonnen. |
| “As I never thought I’d ever fool around…” | Deze regel komt niet voor. Gemini introduceert daarmee een verwijzing naar ontrouw die niet in de songtekst staat. |
| Een regel over het schrijven van tien liefdesliedjes | De tekst spreekt over het proberen te schrijven van één liefdeslied. Gemini verandert de passage en voegt een aantal toe. |
| “Please forgive me, I never meant to hurt you.” | De echte tekst bevat een verontschuldiging, maar niet deze letterlijke formulering. |
| Een verwijzing naar het breken van een hart “in two” | Gemini verandert bestaande woorden in een nieuwe formulering en presenteert die als letterlijk citaat. |
Waarom dit antwoord zo overtuigend klinkt
Het merkwaardige is dat Gemini geen volledig onzinnige uitleg geeft. Integendeel: de algemene betekenis van het nummer is grotendeels juist.
De verzonnen tekstregels passen bovendien bij het onderwerp. Een romantische herinnering aan Edinburgh of een passage over liefdesliedjes klinkt helemaal niet vreemd in een nummer als Kayleigh.
Gemini verdeelt de uitleg ook netjes in thema’s en presenteert de verzonnen zinnen als letterlijke citaten. Dat geeft de indruk dat het model de songtekst zorgvuldig heeft geanalyseerd.
Precies daarin zit de hallucinatie: het model presenteert niet-bestaande informatie als een bestaand onderdeel van een echte songtekst.
Bekijk het antwoord zelf
Hieronder zie je een screenshot van het oorspronkelijke antwoord van Gemini. Let vooral op de niet-bestaande tekstregels over Cherry Lane.
Claude
Claude geeft de juiste betekenis, maar voegt enkele interpretaties toe
Claude geeft een veel korter antwoord dan ChatGPT en Gemini. Het model beschrijft Kayleigh als een nummer over spijt na een mislukte relatie.
Volgens Claude kijkt de verteller terug op zijn eigen fouten en probeert hij zijn voormalige geliefde alsnog zijn excuses aan te bieden.
Die algemene uitleg klopt met de betekenis van het nummer.
Opvallend is dat Claude aangeeft de songtekst niet letterlijk te willen citeren vanwege auteursrecht. Het kiest daarom voor een beschrijving van de verschillende delen van het nummer.
Een paar details zijn minder nauwkeurig
Bij de bespreking van het eerste couplet schrijft Claude dat de verteller zich een ruzie herinnert en zijn trots boven de relatie heeft gesteld.
Een dergelijke ruzie wordt echter niet expliciet in de songtekst beschreven. Ook de uitleg dat de krijtharten op een speelplaatsmuur door de regen wegspoelen, gaat verder dan wat de tekst letterlijk vermeldt.
Interpretatie of hallucinatie?
Hier is nuance nodig. Claude beschrijft enkele elementen die niet letterlijk in de tekst staan, maar die wel als interpretatie van het lied kunnen worden gelezen. Dat is niet hetzelfde als volledig verzonnen songtekstregels presenteren als echte citaten.
Claude blijft dus dicht bij de hoofdboodschap van het nummer, maar maakt niet altijd duidelijk waar de songtekst ophoudt en de eigen interpretatie begint.
Bovendien verwijst Claude nauwelijks naar de gedocumenteerde achtergrond van Fish en Kay Lee. Daardoor is de uitleg minder concreet dan bij sommige andere modellen.
Bekijk het antwoord zelf
Hieronder zie je een screenshot van het oorspronkelijke antwoord van Claude op deze test.
Perplexity
Perplexity gebruikt bestaande tekstverwijzingen en vermeldt zijn bronnen
Perplexity geeft een beknopte uitleg over Kayleigh. Het nummer gaat volgens het model over spijt na een stukgelopen liefdesrelatie.
Het model vermeldt correct dat Kay Lee de belangrijkste inspiratiebron was, maar dat Fish ook herinneringen aan andere vrouwen in de tekst verwerkte.
Welke verwijzingen geeft Perplexity?
Perplexity verwijst onder meer naar de krijtharten op de speelplaatsmuur, de kersenbloesem op het marktplein, de vallende sterren en Belsize Park.
Die beelden komen allemaal daadwerkelijk in de originele songtekst voor.
Daarnaast bespreekt het model de verontschuldigingen in het refrein en de angst van de verteller om opnieuw contact op te nemen met zijn vroegere geliefde.
Perplexity verwijst hiervoor naar de officiële songtekst van Marillion en een achtergrondartikel van NPO Radio 2.
Wat valt op?
Het antwoord bevat minder achtergrondinformatie dan dat van ChatGPT, maar blijft dicht bij de echte songtekst.
De bronverwijzingen maken bovendien duidelijk waar bepaalde informatie vandaan komt en geven de gebruiker de mogelijkheid om de uitleg zelf te controleren.
Bij controle vonden we in dit antwoord geen duidelijke verzonnen songtekstregels of gebeurtenissen.
Bekijk het antwoord zelf
Hieronder zie je een screenshot van het oorspronkelijke antwoord van Perplexity op deze test.
De vergelijking
Vier modellen, dezelfde vraag, verschillende antwoorden
Alle vier de modellen begrijpen de algemene boodschap van Kayleigh. Het verschil ontstaat vooral wanneer ze hun uitleg proberen te onderbouwen met concrete verwijzingen naar de songtekst.
| Model | Algemene betekenis | Tekstverwijzingen | Vastgestelde problemen |
|---|---|---|---|
| ChatGPT | Correct | Vooral beschrijvend | Geen duidelijke hallucinaties vastgesteld |
| Gemini | Grotendeels correct | Meerdere niet-bestaande citaten | Verzonnen songtekstregels, locatie en achtergronduitleg |
| Claude | Correct | Parafraseert zonder letterlijke citaten | Enkele interpretatieve toevoegingen zonder duidelijke onderbouwing |
| Perplexity | Correct | Bestaande passages, met bronnen | Geen duidelijke hallucinaties vastgesteld |
Opvallend is dat het model met de duidelijkste hallucinaties niet volledig verkeerd zat over de betekenis van het nummer.
Gemini kende het algemene verhaal, maar maakte fouten bij het aanhalen van concrete bewijzen. Daardoor kreeg een grotendeels juiste uitleg toch een onbetrouwbare onderbouwing.
AI-hallucinaties
Wat is het verschil tussen interpreteren en hallucineren?
Bij muziek, films en literatuur zijn verschillende interpretaties mogelijk. Twee mensen kunnen dezelfde songtekst lezen en er een andere betekenis in herkennen.
Dat betekent niet automatisch dat een van beiden ongelijk heeft.
Maar er is een belangrijk verschil tussen een persoonlijke interpretatie geven en beweren dat bepaalde woorden letterlijk in een bestaande songtekst staan.
Een interpretatie
“De beelden van krijtharten en kersenbloesem roepen herinneringen op aan een jonge, kwetsbare liefde.”
Dit is een mogelijke uitleg van beelden die werkelijk in de tekst voorkomen.
Een hallucinatie
“Cherry Lane was de plaats in Edinburgh waar Fish en zijn vriendin samen verbleven.”
Hier wordt een concrete locatie en een gebeurtenis uit het leven van Fish als feit gepresenteerd, terwijl de songtekst die locatie niet noemt en de uitleg niet wordt onderbouwd.
Een AI-hallucinatie ontstaat wanneer een model informatie produceert die niet door betrouwbare gegevens wordt gedragen, maar wel als feit wordt voorgesteld.
Dat kan een volledig verzonnen gebeurtenis zijn, maar ook een niet-bestaand citaat, een foutieve bronvermelding of een detail dat heel plausibel klinkt.
Deze test toont een bijzonder verraderlijke vorm: de conclusie kan grotendeels juist zijn, terwijl de aangehaalde bewijzen verzonnen zijn.
Waarom is dat belangrijk buiten de muziekwereld?
Hetzelfde probleem kan voorkomen wanneer je AI vraagt om passages uit een contract, wetenschappelijke publicatie, handleiding of nieuwsartikel aan te halen.
Een model kan de grote lijnen begrijpen, maar toch een concreet citaat of detail produceren dat niet in de oorspronkelijke bron staat.
Daarom is het verstandig om belangrijke citaten en feitelijke beweringen steeds naast de oorspronkelijke bron te leggen.
Feitencontrole
Hoe hebben we de antwoorden gecontroleerd?
Voor deze test hebben we de antwoorden van de vier modellen vergeleken met de officiële songtekst van Kayleigh en met achtergrondinformatie waarin Fish zelf over het ontstaan van het nummer spreekt.
De belangrijkste bronnen:
-
Marillion – de officiële songtekst van Kayleigh
Hiermee controleerden we welke woorden en passages werkelijk in het nummer voorkomen.
-
Marillion – Misplaced Childhood
Achtergrondinformatie over het album en persoonlijke toelichtingen van Fish.
-
Classic Rock / Louder – het verhaal achter Kayleigh
Een interview waarin Fish onder meer vertelt over de verschillende relaties en persoonlijke herinneringen die de tekst inspireerden.
-
NPO Radio 2 – Fish over het afscheid van Kayleigh
Een Nederlandstalig achtergrondartikel met verwijzing naar de reportage van Top 2000 a gogo.
We maken bij de beoordeling een onderscheid tussen aantoonbaar onjuiste tekstcitaten, niet-onderbouwde feitelijke beweringen en persoonlijke interpretaties.
De test is gebaseerd op de antwoorden die de gratis modellen bij deze ene opdracht produceerden. Bij een nieuwe test of met een andere modelversie kunnen de resultaten verschillen.
Conclusie
Een overtuigende uitleg kan toch verzonnen informatie bevatten
Deze test begon met een heel gewone vraag over een bekend muzieknummer. We vroegen niets ingewikkelds en probeerden de modellen niet bewust op een verkeerd spoor te zetten.
Toch leverde die eenvoudige opdracht verschillende soorten antwoorden op.
ChatGPT gaf een uitgebreide uitleg over het nummer en de persoonlijke achtergrond van Fish, zonder dat we duidelijke hallucinaties vaststelden.
Gemini begreep de algemene betekenis van Kayleigh grotendeels correct, maar verzon verschillende songtekstregels. Bij één van die verzonnen verwijzingen voegde het zelfs een concrete locatie en een verhaal over het persoonlijke leven van Fish toe.
Claude bleef bij de algemene betekenis, maar verwerkte enkele interpretatieve details alsof ze rechtstreeks uit de tekst volgden.
Perplexity gaf een beknopte uitleg, gebruikte bestaande tekstverwijzingen en vermeldde controleerbare bronnen.
Wat leren we hieruit?
Een AI-model hoeft niet volledig verkeerd te antwoorden om toch te hallucineren.
In het geval van Gemini was de kern van het antwoord juist. Het nummer gaat inderdaad over verloren liefde, herinneringen en spijt. Maar verschillende voorbeelden die het model gebruikte om die uitleg te ondersteunen, waren verzonnen.
Dat maakt deze vorm van hallucineren moeilijk te herkennen. Wie de originele songtekst niet kent, heeft weinig reden om onmiddellijk aan die passages te twijfelen.
De uitleg is netjes gestructureerd, de verwijzingen klinken geloofwaardig en de toegevoegde details passen bij het verhaal.
Een geloofwaardig klinkend citaat is nog geen echt citaat.
Dat is de belangrijkste les van deze test. Vooral wanneer AI concrete bronnen, citaten, historische feiten of andere controleerbare gegevens aanhaalt, loont het om na te kijken of die informatie daadwerkelijk bestaat.
Niet omdat AI geen nuttige uitleg kan geven, maar omdat zelfs een grotendeels juist antwoord onjuiste details kan bevatten.
Meer AI-hallucinaties in de praktijk
Dit is niet de eerste keer dat we de vier AI-modellen op verzonnen informatie testen.
In een eerdere test bedachten we vier Nederlandse uitdrukkingen die helemaal niet bestaan. Vervolgens vroegen we aan dezelfde vier AI-tools om de betekenis, herkomst en het gebruik ervan uit te leggen.
Lees ook: AI-hallucinaties getest met vier verzonnen Nederlandse uitdrukkingen
