Hoe goed kent AI Aalst?
Keizer Kamiel, de Voil Jeanetten, Ajoin Music, Ros Balatum, Dirk Martens en Priester Daens: hoe goed kennen de bekendste AI-assistenten Aalst eigenlijk? Omdat Aalst dé carnavalstad bij uitstek is, gaan vijf van de tien stellingen deze keer specifiek over Aalst Carnaval.
Tien Aalsterse stellingen, waarvan vijf over carnaval
Ik gaf ChatGPT, Gemini, Claude en Perplexity exact dezelfde tien stellingen over Aalst. De modellen wisten niet hoeveel uitspraken juist of fout waren.
De helft van de test draait rond Aalst Carnaval. Keizer Kamiel, de Voil Jeanetten, de UNESCO-erkenning, carnavalsradio Ajoin Music en de popverbranding komen allemaal aan bod.
De andere vijf vragen gaan over het Belfort, de folkloristische rivaliteit met Dendermonde, Dirk Martens, Louis Paul Boon en Adolf Daens.
Niet alleen op JUIST of FOUT, maar ook op de uitleg, de correctie, de gekozen bronnen en de vraag of een model lokale historische details voldoende nauwkeurig controleert.
De originele testprompt
Alle vier de AI-assistenten kregen dezelfde prompt.
ChatGPT
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Keizer Kamiel | FOUT | Correct: Kamiel Sergant was driemaal Prins en werd in 1969 Keizer, maar Fransky De Boitselier was hem als eerste keizer voor. | 99% |
| 2. Voil Jeanetten | JUIST | Correct: de stoet vindt dinsdag plaats en de genoemde attributen behoren tot de traditie. | 99% |
| 3. UNESCO | JUIST | Correct onderscheid tussen de voormalige immateriële-erfgoedstatus van carnaval en de aparte werelderfgoedstatus van het Belfort. | 99% |
| 4. Ajoin Music | JUIST | ChatGPT vindt historische bronnen die bevestigen dat Ajoin Music in 2009 ongeveer drie maanden non-stop uitzond en daarna opnieuw uit de ether verdween. | 90% |
| 5. Popverbranding | FOUT | Correct: Ajuinworp en prijsuitreiking zijn maandag, maar de pop wordt dinsdagavond verbrand. | 100% |
| 6. Belfort | JUIST | Correct: schepenhuis, belforttoren en gebiedshuisje; bouw van het schepenhuis begon in 1225. | 97% |
| 7. Ros Balatum | JUIST | Correct, met extra nuance over de ontstaansgeschiedenis van Ros Balatum en de latere rol van Marc De Bruyn. | 91% |
| 8. Dirk Martens | FOUT | Correct: de eerste editie van Utopia werd door Dirk Martens in Leuven gedrukt, niet in Aalst. | 100% |
| 9. Louis Paul Boon | FOUT | Correct: Boon werd meermaals voorgedragen, maar won de Nobelprijs nooit. | 100% |
| 10. Adolf Daens | FOUT | Correct: Daens zetelde wel degelijk als volksvertegenwoordiger. | 100% |
Gemini
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Keizer Kamiel | JUIST | Gemini beweert foutief dat Kamiel Sergant de eerste Keizer Carnaval van Aalst was. | 100% |
| 2. Voil Jeanetten | FOUT | Gemini raakt in de dagen verward. De officiële Voil Jeanettenstoet vindt wel degelijk op carnavalsdinsdag plaats. | 95% |
| 3. UNESCO | JUIST | Correct beoordeeld. | 100% |
| 4. Ajoin Music | ONVOLDOENDE BEWIJS | Gemini vindt onvoldoende betrouwbare historische informatie om de specifieke gegevens uit 2009 te bevestigen. | 50% |
| 5. Popverbranding | JUIST | Fout: Gemini plaatst de popverbranding op maandag, terwijl die traditioneel dinsdagavond plaatsvindt. | 100% |
| 6. Belfort | JUIST | Correct beoordeeld. | 100% |
| 7. Ros Balatum | JUIST | Correct beoordeeld, al zijn de gebruikte bronnen eerder secundair. | 90% |
| 8. Dirk Martens | JUIST | Gemini beweert foutief dat de eerste editie van Utopia in Aalst werd gedrukt. Dat gebeurde in Leuven. | 100% |
| 9. Louis Paul Boon | FOUT | Correct: Boon won de Nobelprijs niet. | 100% |
| 10. Adolf Daens | FOUT | Correct: Daens werd wel degelijk volksvertegenwoordiger. | 100% |
Gemini maakt meerdere duidelijke fouten bij heel bekende Aalsterse feiten. Bij Keizer Kamiel, de popverbranding en Dirk Martens geeft het zelfs 100% zekerheid aan een fout antwoord.
Claude
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Keizer Kamiel | FOUT | Correct: Fransky De Boitselier was de eerste Keizer Carnaval. | 90% |
| 2. Voil Jeanetten | JUIST | Correct beoordeeld. | 97% |
| 3. UNESCO | JUIST | Correct onderscheid tussen beide UNESCO-statuten. | 90% |
| 4. Ajoin Music | ONVOLDOENDE BEWIJS | Claude vindt het algemene verhaal aannemelijk, maar onvoldoende sterke bronnen voor alle specifieke details uit 2009. | 45% |
| 5. Popverbranding | FOUT | Correct: de popverbranding gebeurt dinsdagavond. | 95% |
| 6. Belfort | JUIST | Correct beoordeeld. | 92% |
| 7. Ros Balatum | JUIST | Correct: rivaliteit, liedtekst en de rol van Marc De Bruyn worden herkend. | 90% |
| 8. Dirk Martens | FOUT | Correct: Utopia werd in Leuven gedrukt. | 95% |
| 9. Louis Paul Boon | FOUT | Correct: Boon heeft de Nobelprijs nooit ontvangen. | 96% |
| 10. Adolf Daens | FOUT | Correct: Daens zetelde als volksvertegenwoordiger. | 95% |
Perplexity
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Keizer Kamiel | FOUT | Correct: Fransky De Boitselier was de eerste keizer. | 98% |
| 2. Voil Jeanetten | JUIST | Correct beoordeeld. | 96% |
| 3. UNESCO | JUIST | Correct onderscheid tussen immaterieel erfgoed en werelderfgoed. | 99% |
| 4. Ajoin Music | ONVOLDOENDE BEWIJS | Perplexity vindt de historische details over 2009 onvoldoende betrouwbaar bevestigd. | 55% |
| 5. Popverbranding | FOUT | Correct: de pop wordt dinsdagavond verbrand. | 99% |
| 6. Belfort | JUIST | Correct beoordeeld. | 96% |
| 7. Ros Balatum | ONVOLDOENDE BEWIJS | Perplexity vindt verschillende onderdelen, maar mist de officiële Ros Beiaardbron die de liedtekst en rivaliteit bevestigt. | 78% |
| 8. Dirk Martens | FOUT | Correct: de eerste editie van Utopia verscheen in Leuven. | 99% |
| 9. Louis Paul Boon | FOUT | Correct eindoordeel, maar Perplexity geeft een verkeerde overlijdensdatum. | 100% |
| 10. Adolf Daens | FOUT | Correct: Daens was wel degelijk volksvertegenwoordiger. | 100% |
Perplexity is voorzichtig bij Ajoin Music én Ros Balatum. Vooral bij Ros Balatum is die voorzichtigheid onnodig, omdat officiële Dendermondse bronnen de kern van de stelling bevestigen.
ChatGPT wint de Aalst-test overtuigend
Voor de eindscore kijk ik opnieuw naar het juiste oordeel, de kwaliteit van de uitleg en correctie en de kwaliteit van de gebruikte bronnen.
dit is geen algemene rangschikking van ChatGPT, Gemini, Claude en Perplexity. De scores gelden alleen voor deze specifieke Aalst-test.
Gemini struikelt juist over Aalst Carnaval
Vijf van de tien vragen gingen specifiek over carnaval. Net daar maakt Gemini opvallend veel fouten.
Keizer Kamiel
Gemini noemt Kamiel Sergant de eerste Keizer Carnaval van Aalst. Dat is fout: Fransky De Boitselier was hem voor.
Zekerheid van Gemini: 100%.
Voil Jeanetten
Gemini beoordeelt de dinsdagse Voil Jeanettenstoet als FOUT en raakt verstrikt in de verschillende carnavalsdagen.
Popverbranding
Gemini zegt dat de carnavalspop maandagavond wordt verbrand. De officiële popverbranding is echter dinsdagavond.
Ook hier geeft Gemini: 100% zekerheid.
Een lokale carnavalsradio is moeilijker te controleren dan UNESCO
Stelling 4 over Ajoin Music blijkt de moeilijkste vraag van de hele Aalst-test.
De reden is eenvoudig: officiële UNESCO-documenten, monumentendatabanken en stadsarchieven blijven doorgaans jarenlang online beschikbaar. Voor een tijdelijke lokale carnavalsradio uit 2009 ligt dat anders.
Toch zijn er historische radiobronnen die vermelden dat Ajoin Music in 2009 uitgroeide tot ongeveer drie maanden non-stop carnavalsradio. Berichtgeving uit maart 2009 bevestigt bovendien dat de zender na carnaval opnieuw plaatsmaakte voor andere programmering en het volgende carnavalsseizoen zou terugkeren.
ChatGPT combineert de beschikbare historische bronnen en kiest JUIST. Gemini, Claude en Perplexity vinden de bronbasis onvoldoende sterk en kiezen ONVOLDOENDE BEWIJS.
Zelfs het Dendermondse Ros Beiaardlied haalt uit naar Aalst
De vraag over Ros Balatum combineert verschillende lokale verhalen die op het eerste gezicht moeilijk te controleren lijken.
Toch bestaan er goede bronnen. Het traditionele Dendermondse Ros Beiaardlied verwijst rechtstreeks naar de rivaliteit met Aalst en bevat de bekende passage over “die van Aalst”.
Ook de rol van Aalstenaar Marc De Bruyn is bijzonder. Hij was betrokken bij het ontwerp van Ros Balatum, waarmee Aalst de draak stak met het Dendermondse Ros Beiaard. Dezelfde kunstenaar ontwierp later ook een Ros Beiaardstandbeeld voor Dendermonde.
het model vindt verschillende onderdelen van het verhaal, maar kiest ONVOLDOENDE BEWIJS omdat het de officiële bron met de liedtekst niet vindt.
Wat viel mij op bij de vier modellen?
ChatGPT
ChatGPT levert de meest complete factcheck. Alle tien de eindoordelen zijn correct en het model zoekt ook bij moeilijker vindbare lokale informatie voldoende diep door.
Gemini
Gemini heeft opvallend veel moeite met Aalst Carnaval. Vooral de combinatie van foutieve antwoorden met zeer hoge zekerheid is opnieuw een zwak punt.
Claude
Claude scoort inhoudelijk sterk en heeft vrijwel alle duidelijke feiten correct. Alleen bij Ajoin Music vindt het model de historische bronbasis onvoldoende.
Perplexity
Perplexity controleert de meeste feiten goed, maar is bij Ajoin Music en Ros Balatum te voorzichtig. Bij Louis Paul Boon sluipt bovendien een verkeerde overlijdensdatum in het antwoord.
Lokale folklore is een stevige test voor AI
De Aalst-test laat mooi zien dat lokale kennis veel verder gaat dan jaartallen en monumenten. Tradities, carnavalsfiguren, lokale radio en folkloristische rivaliteit zijn vaak moeilijker te controleren dan algemeen bekende historische feiten.
ChatGPT wint deze test overtuigend. Claude volgt op enige afstand, terwijl Perplexity vooral bij de moeilijkere lokale bronnen wat te voorzichtig wordt.
Gemini heeft het deze keer opvallend moeilijk. Vooral bij Aalst Carnaval maakt het meerdere fouten, soms zelfs bij informatie die eenvoudig op officiële stadsbronnen kan worden gecontroleerd.
Misschien is de belangrijkste les opnieuw dat een zekerheidsscore van een AI-model weinig garanties biedt. Een model kan een antwoord met 100% zekerheid presenteren en toch volledig verkeerd zitten.
Bekijk de bronnen van de factcheckBronnen gebruikt bij de controle
Voor de analyse heb ik de antwoorden van ChatGPT, Gemini, Claude en Perplexity zelf opnieuw gecontroleerd. Waar mogelijk gebruikte ik officiële, primaire of gezaghebbende bronnen.
- Stad Aalst – Aalst Carnaval, programma en tradities
- Aalst Carnaval – geschiedenis van Prins Carnaval
- Erfgoedcel Denderland – geschiedenis van Aalst Carnaval en de eerste Keizer Carnaval
- UNESCO – Aalst Carnival en de verwijdering van de lijst van immaterieel erfgoed
- UNESCO – Belfries of Belgium and France
- Radio Contact Vlaanderen Archief – geschiedenis van Ajoin Music
- Visit Aalst – het Belfort, schepenhuis en gebiedshuisje
- Ros Beiaard Dendermonde – het traditionele Ros Beiaardlied
- Visit Dendermonde – Marc De Bruyn, Ros Balatum en het Ros Beiaardstandbeeld
- KU Leuven Bibliotheken – Dirk Martens en de eerste druk van Utopia
- Nobel Prize – nominaties van Louis Paul Boon
- Louis Paul Booncentrum – leven en werk van Louis Paul Boon
- Visit Aalst – Adolf Daens en het daensisme
Bij sommige Aalsterse feiten volstaat een officiële UNESCO- of stadsbron. Andere onderwerpen, zoals een tijdelijke carnavalsradio uit 2009 of lokale folklore rond Ros Balatum, vragen veel meer speurwerk. Daarom heb ik bij de eindbeoordeling niet alleen gekeken naar het antwoord van de modellen, maar ook naar de bronnen waarop hun conclusie gebaseerd was.
Wil je verder kijken dan deze ene test? We hebben de resultaten uit onze reeks samengebracht in een bredere analyse over de feitelijke betrouwbaarheid van AI .