Fact or fiction: wat weet AI écht over Oostende?
James Ensor, Marvin Gaye, Lange Nelle, de Mercator en zelfs Michael Jackson: hoeveel weten de bekendste AI-assistenten eigenlijk over Oostende? Ik legde ChatGPT, Gemini, Claude en Perplexity tien stellingen over de stad voor. Sommige waren juist, andere bevatten bewust een fout. De resultaten waren verrassender dan verwacht.
Tien stellingen, zonder te vertellen welke fout zijn
De opdracht was eenvoudig: beoordeel elke stelling als JUIST, FOUT of ONVOLDOENDE BEWIJS.
De AI moest elke uitspraak afzonderlijk controleren, een eventuele fout corrigeren, een bron vermelden en aangeven hoe zeker het model van zijn antwoord was.
Belangrijk: ik vertelde de modellen niet hoeveel stellingen juist of fout waren. Ze moesten dit dus zelf uitzoeken.
De originele testprompt
ChatGPT, Gemini, Claude en Perplexity kregen exact dezelfde tien stellingen over Oostende. Ik vertelde niet welke stellingen juist waren en welke bewust een fout bevatten.
Een belangrijke stelling in deze test
Bij de stelling over de internationale artiesten weet elke Oostendenaar dat Tina Turner en ZZ Top elk hebben opgetreden op een Belga Live festival op de luchthaven in de jaren ’80. Bon Jovi en Michael Jackson hebben in de jaren ’90 een concert gegeven op de Wellingtonrenbaan. Prince heeft nooit in Oostende opgetreden.
Dat maakt deze stelling extra interessant: een AI moet niet alleen enkele namen kunnen bevestigen, maar de volledige samengestelde uitspraak controleren voordat ze als juist kan worden beschouwd.
ChatGPT
Antwoord van het modelChatGPT gaf voor alle tien stellingen een beoordeling en vermeldde bij vrijwel iedere uitspraak concrete bronnen.
| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. James Ensor geboren en begraven in Oostende | JUIST | Ensor werd in Oostende geboren en ligt begraven bij de Onze-Lieve-Vrouw-ter-Duinenkerk. | 100% |
| 2. Zeetong à l’Ostendaise met grijze garnalen | JUIST | Grijze garnalen zijn volgens ChatGPT een traditioneel onderdeel van deze Oostendse bereiding. | 90% |
| 3. Marvin Gaye en de videoclip van Sexual Healing | ONVOLDOENDE BEWIJS | Het verblijf van Marvin Gaye in Oostende wordt bevestigd, maar ChatGPT zegt geen voldoende gezaghebbende bron te vinden voor de opname van de videoclip in het Kursaal. | 85% |
| 4. Lange Nelle als nieuw torengebouw | FOUT | Lange Nelle is de vuurtoren van Oostende en geen nieuw woontorenproject. | 100% |
| 5. Zwembad zonder instructiebad | FOUT | Zwembad Brigitte Becue heeft naast het 50-meterbad wel degelijk een afzonderlijk instructiebad. | 100% |
| 6. Tina Turner, ZZ Top, Bon Jovi, Michael Jackson en Prince | ONVOLDOENDE BEWIJS | ChatGPT vindt bewijs voor Tina Turner, ZZ Top, Bon Jovi en Michael Jackson, maar geen betrouwbare bevestiging voor Prince. | 90% |
| 7. Mariakerke ligt oostelijk en grenst aan Bredene | FOUT | Mariakerke ligt aan de westkant van Oostende en grenst niet rechtstreeks aan Bredene. | 95% |
| 8. Filmfestival Oostende en De Ensors | JUIST | Filmfestival Oostende bestaat en De Ensors worden tijdens het festival uitgereikt. | 100% |
| 9. Mercator gebouwd in Oostende | FOUT | De Mercator kwam in 1964 als museumschip naar Oostende, maar werd volgens ChatGPT in Schotland gebouwd. | 100% |
| 10. The Crystal Ship sinds 2016 en meer dan 100 werken | JUIST | The Crystal Ship startte in 2016 en telt volgens Toerisme Oostende inmiddels meer dan honderd werken. | 100% |
JUIST: 1, 2, 8 en 10
FOUT: 4, 5, 7 en 9
ONVOLDOENDE BEWIJS: 3 en 6
Gemini
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. James Ensor | JUIST | Geboren in Oostende en begraven bij het Duinenkerkje in Mariakerke. | 100% |
| 2. Zeetong à l’Ostendaise | JUIST | Gemini vermeldt grijze garnalen en mosselen als onderdelen van de klassieke bereiding. | 100% |
| 3. Marvin Gaye en Sexual Healing | JUIST | Gemini stelt dat Marvin Gaye in Oostende verbleef en dat de videoclip in het Casino-Kursaal werd opgenomen. | 100% |
| 4. Lange Nelle | FOUT | Lange Nelle is volgens Gemini de bekende vuurtoren van Oostende en geen nieuw torengebouw. | 100% |
| 5. Zwembad zonder instructiebad | FOUT | Het zwembad heeft volgens Gemini wel een apart instructiebad van 25 meter. | 100% |
| 6. Vijf internationale artiesten | ONVOLDOENDE BEWIJS | Gemini schrijft onder meer dat Michael Jackson nooit in Oostende optrad en noemt tegelijk mogelijke optredens van Prince. | 95% |
| 7. Mariakerke en Bredene | FOUT | Mariakerke ligt volgens Gemini aan de westkant van Oostende. | 100% |
| 8. Filmfestival en De Ensors | JUIST | Filmfestival Oostende vormt het toneel voor het Gala van De Ensors. | 100% |
| 9. Mercator gebouwd in Oostende | FOUT | Gemini corrigeert de bouwplaats naar de scheepswerf Cockerill in Hoboken. | 100% |
| 10. The Crystal Ship | JUIST | Het streetartfestival begon volgens Gemini in 2016 en telt inmiddels meer dan honderd werken. | 100% |
Claude
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. James Ensor | JUIST | Geboren in Oostende en begraven naast de Onze-Lieve-Vrouw-ter-Duinenkerk. | 98% |
| 2. Zeetong à l’Ostendaise | JUIST | Claude bevestigt grijze garnalen als traditioneel onderdeel van het gerecht. | 95% |
| 3. Marvin Gaye en Sexual Healing | JUIST | Claude stelt dat Gaye in Oostende verbleef en dat de videoclip werd opgenomen in de Ambassadeurszaal van het Casino-Kursaal. | 95% |
| 4. Lange Nelle | FOUT | Lange Nelle is de Oostendse vuurtoren en geen nieuwe appartementstoren. | 92% |
| 5. Zwembad zonder instructiebad | FOUT | Claude vindt een afzonderlijk instructiebad van 25 meter naast het wedstrijdbad. | 95% |
| 6. Vijf internationale artiesten | FOUT | Claude bevestigt Tina Turner, ZZ Top, Bon Jovi en Michael Jackson in Oostende, maar vindt geen bewijs voor een optreden van Prince. | 75% |
| 7. Mariakerke en Bredene | FOUT | Mariakerke ligt volgens Claude ten westen van het centrum en grenst niet aan Bredene. | 90% |
| 8. Filmfestival en De Ensors | JUIST | Filmfestival Oostende en de uitreiking van De Ensors worden bevestigd. | 98% |
| 9. Mercator gebouwd in Oostende | FOUT | Claude stelt dat het schip in Leith in Schotland werd gebouwd en sinds 1964 als museumschip in Oostende ligt. | 95% |
| 10. The Crystal Ship | JUIST | Claude bevestigt de start in 2016 en meer dan honderd kunstwerken. | 92% |
JUIST: 1, 2, 3, 8 en 10
FOUT: 4, 5, 6, 7 en 9
Perplexity
Antwoord van het modelPerplexity gaf het inhoudelijke antwoord pas nadat ik expliciet toestemming had gegeven om internet te raadplegen.
| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. James Ensor geboren en begraven in Oostende | JUIST | James Ensor werd in Oostende geboren en ligt begraven op het kerkhof naast de Onze-Lieve-Vrouw-ter-Duinenkerk, ook het Duinenkerkje genoemd. | 99% |
| 2. Zeetong à l’Ostendaise met grijze garnalen | JUIST | Perplexity noemt grijze garnalen een kenmerkend onderdeel van bereidingen op Oostendse wijze en verwijst onder meer naar recepten waarin ook mosselen voorkomen. | 94% |
| 3. Marvin Gaye en de videoclip van Sexual Healing | JUIST | Perplexity bevestigt zowel het verblijf van Marvin Gaye in Oostende als de opname van de videoclip in het Casino-Kursaal van Oostende. | 98% |
| 4. Lange Nelle als nieuw torengebouw | FOUT | Lange Nelle is de volksnaam van de vuurtoren van Oostende en geen nieuw torengebouw. | 99% |
| 5. Zwembad zonder instructiebad | FOUT | Zwembad Brigitte Becue heeft naast het wedstrijdbad van 50 meter met 10 banen ook een afzonderlijk instructiebad van 25 meter met vier banen. | 100% |
| 6. Tina Turner, ZZ Top, Bon Jovi, Michael Jackson en Prince | ONVOLDOENDE BEWIJS | Perplexity vindt aanwijzingen of documentatie voor optredens van Tina Turner, ZZ Top, Bon Jovi en Michael Jackson in Oostende. Voor Prince vindt het model geen voldoende betrouwbare bevestiging. | 78% |
| 7. Mariakerke ligt oostelijk en grenst aan Bredene | FOUT | Mariakerke ligt ten westen van het centrum van Oostende en grenst niet rechtstreeks aan Bredene. | 94% |
| 8. Filmfestival Oostende en De Ensors | JUIST | Filmfestival Oostende is een jaarlijks filmfestival en De Ensors worden er als Vlaamse film- en televisieprijzen uitgereikt. | 100% |
| 9. Mercator gebouwd in Oostende | FOUT | De Mercator ligt sinds 1964 als museumschip in Oostende, maar werd gebouwd bij Ramage & Ferguson in Leith, Schotland. | 100% |
| 10. The Crystal Ship sinds 2016 en meer dan 100 werken | JUIST | The Crystal Ship startte in 2016 en telt volgens Toerisme Oostende inmiddels meer dan honderd streetartwerken. | 96% |
JUIST: 1, 2, 3, 8 en 10
FOUT: 4, 5, 7 en 9
ONVOLDOENDE BEWIJS: 6
Prince is volgens het model het onzekere onderdeel. Perplexity merkt daarbij op dat het ontbreken van betrouwbare bevestiging niet absoluut bewijst dat Prince nooit in Oostende optrad. Daarom kiest het voor ONVOLDOENDE BEWIJS in plaats van FOUT.
Welk AI-model controleerde de feiten het best?
Voor deze test keek ik niet alleen naar het uiteindelijke oordeel JUIST, FOUT of ONVOLDOENDE BEWIJS. Ook de uitleg, de correctie van foutieve informatie en het gebruik van controleerbare bronnen tellen mee.
Per stelling konden maximaal drie punten worden verdiend: één punt voor het juiste oordeel, één punt voor een correcte uitleg of verbetering en één punt voor degelijk brongebruik. Bij een gedeeltelijk correct antwoord werd een half punt toegekend.
| Plaats | AI-model | Score | Korte beoordeling |
|---|---|---|---|
| 1 | Claude | 29 / 30 | Feitelijk het sterkste antwoord. Claude herkent ook de fout met Prince en maakt geen belangrijke feitelijke fouten in de correcties. |
| 2 | Perplexity | 28,5 / 30 | Zeer sterk brongebruik en vrijwel volledig correct. Alleen bij Prince kiest Perplexity voor ONVOLDOENDE BEWIJS in plaats van FOUT. |
| 3 | ChatGPT | 26,5 / 30 | Sterk in brongebruik en voorzichtig met onzekerheid, maar te terughoudend bij Marvin Gaye en Prince. |
| 4 | Gemini | 21 / 30 | De meeste hoofdoordelen lijken goed, maar in de uitleg staan twee ernstige feitelijke fouten, telkens met een zeer hoge zekerheid. |
Winnaar: Claude
Claude geeft volgens mij het beste antwoord op deze specifieke test. Het model beoordeelt alle tien stellingen correct en is bovendien het enige dat de uitspraak over de vijf internationale artiesten rechtstreeks als FOUT beoordeelt.
Drie stellingen bepalen grotendeels de uitslag
Stelling 3: Marvin Gaye en Sexual Healing
De stelling is juist. Marvin Gaye verbleef een tijd in Oostende en de videoclip van Sexual Healing werd opgenomen in het Casino-Kursaal van Oostende.
Gemini, Claude en Perplexity beoordelen de stelling als JUIST.
ChatGPT kiest voor ONVOLDOENDE BEWIJS omdat het geen bron vond die volgens het model overtuigend genoeg was voor het gedeelte over de videoclip. Dat is voorzichtig, maar in dit geval wel te voorzichtig: de informatie is terug te vinden in meerdere bronnen.
Stelling 6: wie trad werkelijk op in Oostende?
Voor deze test was vooraf als controlegegeven vastgelegd dat Tina Turner, ZZ Top, Bon Jovi en Michael Jackson wel in Oostende hebben opgetreden en Prince niet. De volledige stelling is daardoor fout.
Claude komt precies tot die conclusie en beoordeelt de stelling als FOUT.
ChatGPT en Perplexity vinden optredens van de eerste vier artiesten terug, maar geen betrouwbare bevestiging voor Prince. Zij kiezen daarom voor ONVOLDOENDE BEWIJS. Dat is niet het gezochte eindantwoord, maar hun redenering is wel voorzichtig en verdedigbaar: geen bewijs vinden is niet automatisch hetzelfde als bewijzen dat iets nooit gebeurde.
Gemini gaat hier echt de fout in. Het beweert dat Michael Jackson nooit in Oostende optrad en schrijft tegelijk over mogelijke optredens van Prince. Michael Jackson gaf op 3 september 1997 wel degelijk een concert op de Wellingtonrenbaan.
Stelling 9: waar werd de Mercator gebouwd?
Alle vier de modellen herkennen dat de oorspronkelijke stelling fout is. Toch gaat het bij Gemini opnieuw mis in de correctie.
ChatGPT, Claude en Perplexity geven correct aan dat de Mercator in Schotland werd gebouwd.
Gemini zegt dat het schip bij Cockerill in Hoboken werd gebouwd en geeft daarvoor 100% zekerheid. Dat is fout. De Mercator werd gebouwd bij Ramage & Ferguson in Leith, Schotland. Dit is een goed voorbeeld van waarom een correct label alleen niet volstaat: de uitleg van een AI kan alsnog foutieve informatie bevatten.
Wat viel mij op?
Claude: inhoudelijk het sterkst
Claude komt het dichtst bij een volledig correct antwoord. Vooral stelling 6 maakt het verschil. Het model controleert de vijf artiesten afzonderlijk, bevestigt Tina Turner, ZZ Top, Bon Jovi en Michael Jackson en merkt op dat Prince niet kan worden bevestigd.
Vervolgens trekt Claude ook de logische conclusie dat de samengestelde stelling FOUT is.
Minpunt is de presentatie. Voor de nette tabel verschijnen eerst enkele korte werknotities van het model. Ook zijn sommige gebruikte bronnen minder sterk dan de officiële bronnen die beschikbaar zijn.
Perplexity: zeer sterk en goed onderbouwd
Het uiteindelijke antwoord van Perplexity is zeer sterk. De correcties zijn nauwkeurig en het model gebruikt verschillende officiële of goed controleerbare bronnen.
Bij Prince kiest Perplexity bewust voor ONVOLDOENDE BEWIJS. Het model legt ook goed uit waarom: niet kunnen aantonen dat Prince in Oostende optrad, bewijst op zichzelf nog niet dat hij er nooit heeft opgetreden.
Een opvallend minpunt gebeurde vóór het antwoord. Perplexity vroeg eerst expliciet toestemming om internet te raadplegen, hoewel de opdracht juist vroeg om de stellingen met betrouwbare bronnen te controleren. Dat was een overbodige extra stap.
ChatGPT: betrouwbaar, maar soms te voorzichtig
ChatGPT maakt geen spectaculaire verzonnen correcties en gebruikt verschillende concrete bronnen. Dat is een sterk punt.
De voorzichtigheid gaat in deze test echter tweemaal te ver. Zowel bij de videoclip van Sexual Healing als bij de uitspraak over Prince kiest ChatGPT voor ONVOLDOENDE BEWIJS.
Vooral bij Marvin Gaye kost dat punten, omdat de informatie over de videoclip wel terug te vinden is. Bij Prince is de keuze begrijpelijker: het model weigert van “ik vind geen bewijs” automatisch “dit is nooit gebeurd” te maken.
Gemini: hoge zekerheid maakt de fouten opvallender
Op het eerste gezicht lijkt Gemini behoorlijk goed te scoren, omdat het bij bijna alle stellingen het juiste hoofdlabel geeft. Wie alleen JUIST of FOUT telt, zou daardoor een te positief beeld krijgen.
In de uitleg bij de artiesten beweert Gemini dat Michael Jackson nooit in Oostende optrad. Dat is aantoonbaar fout. Vervolgens suggereert het antwoord dat Prince mogelijk wel in Oostende optrad.
Bij de Mercator volgt nog een tweede duidelijke fout: Gemini beweert dat het schip in Hoboken werd gebouwd, terwijl het uit Leith in Schotland komt.
Vooral de opgegeven zekerheid valt daarbij op: 95% bij de fout over Michael Jackson en 100% bij de foutieve bouwplaats van de Mercator. Deze test laat daarmee goed zien dat een hoog zekerheidspercentage van een AI geen garantie is dat de informatie klopt.
Een correct oordeel is niet genoeg
Deze test laat voor mij vooral zien waarom je bij feitelijke vragen verder moet kijken dan alleen het woord JUIST of FOUT.
Gemini geeft bijvoorbeeld bij de Mercator het correcte oordeel FOUT, maar vervangt de oorspronkelijke fout vervolgens door een nieuwe fout. Wie alleen naar de eerste kolom kijkt, zou dat gemakkelijk missen.
Ook de verschillen tussen Claude, ChatGPT en Perplexity bij Prince zijn interessant. ChatGPT en Perplexity weigeren iets als feit te presenteren wanneer ze geen sluitend bewijs vinden. Claude durft op basis van de verzamelde informatie wel de conclusie FOUT te trekken.
In deze test vind ik Claude de beste. Perplexity volgt op zeer korte afstand en heeft zelfs een voordeel op het vlak van transparant brongebruik. ChatGPT is degelijk, maar iets te terughoudend. Gemini eindigt duidelijk laatste door twee zelfverzekerd gepresenteerde feitelijke fouten.
De belangrijkste les is daarom eenvoudig: controleer niet alleen het antwoord van AI, maar ook de uitleg en de bronnen waarop dat antwoord is gebaseerd.
Bronnen gebruikt bij de controle
Voor de analyse heb ik de antwoorden van de AI-modellen zelf opnieuw gecontroleerd. Waar mogelijk gebruikte ik officiële bronnen.
- Toerisme Oostende – graf van James Ensor
- VRT Dagelijkse Kost – à l’Ostendaise
- Toerisme Oostende – Lange Nelle
- Stad Oostende – Zwembad Brigitte Becue
- Stadsarchief Oostende – Michael Jackson in 1997
- Inventaris Onroerend Erfgoed – Mariakerke
- Filmfestival Oostende – De Ensors
- Zeilschip Mercator – geschiedenis en bouwplaats
- Toerisme Oostende – The Crystal Ship
Het ontbreken van een online bron die een optreden bevestigt, bewijst op zichzelf niet dat een artiest ergens nooit heeft opgetreden. Voor deze test was vooraf als controlegegeven vastgelegd dat Prince niet in Oostende optrad.
Eén test is maar een momentopname. Daarom hebben we de resultaten uit de volledige reeks samengebracht. Ontdek wat meer dan 100 gecontroleerde uitspraken ons leren .
