Hoe goed kent AI de Denderstreek?
Mattentaarten, Carnaval Ninove, de Ronde van Vlaanderen, FCV Dender, Jan De Wilde, Lucien Van Impe, chocolade uit Wieze en het Ros Beiaard: hoe goed kennen ChatGPT, Gemini, Claude en Perplexity de Denderstreek?
Tien lokale stellingen uit de Denderstreek
Voor deze regionale test koos ik tien stellingen uit Geraardsbergen, Ninove, Denderleeuw, Haaltert, Aalst, Erpe-Mere, Lede, Lebbeke en Dendermonde.
De onderwerpen zijn bewust herkenbaar gehouden: streekgerechten, carnaval, wielrennen, voetbal, bekende Vlamingen, lokale folklore en chocolade.
ChatGPT, Gemini, Claude en Perplexity kregen exact dezelfde tien stellingen. Ze wisten vooraf niet hoeveel ervan juist of fout waren.
Aaigem bestaat natuurlijk en Jan De Wilde woont er, maar tot welke gemeente behoort het? De chocoladefabriek in Wieze is enorm, maar was Cacao Barry nu Frans of Zwitsers? En welk stamnummer hield FCV Dender na de fusie?
De originele testprompt
Alle vier de AI-assistenten kregen dezelfde prompt.
ChatGPT
Antwoord van het model| Onderwerp | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Geraardsbergen – mattentaart | JUIST | Correct: Europese BGA-erkenning en jaarlijkse Dag van de Mattentaart. | 99% |
| 2. Ninove – Gouden Wortelworp | FOUT | Correct: de wortelverbranding volgt pas op dinsdag. | 100% |
| 3. Ninove – Ronde van Vlaanderen | JUIST | Correct: Meerbeke was aankomstplaats van 1973 tot en met 2011. | 99% |
| 4. Denderleeuw – FCV Dender | JUIST | Correct: de fusieclub behield stamnummer 3900 van Verbroedering Denderhoutem. | 99% |
| 5. Haaltert – De Jeneverdrinker | JUIST | Correct beoordeeld met de gemeentelijke bron. | 99% |
| 6. Aalst – Jan De Wilde | FOUT | Correct: Aaigem behoort tot Erpe-Mere, niet tot Aalst. | 100% |
| 7. Erpe-Mere – Lucien Van Impe | JUIST | Correct: Tourwinnaar 1976, zes bergklassementen en Belgisch kampioen in 1983. | 99% |
| 8. Lede – Mariaprocessie | FOUT | Correct: de grote Mariaprocessie is niet jaarlijks. | 98% |
| 9. Wieze – Barry Callebaut | JUIST | Fout eindlabel. ChatGPT schrijft zelf dat Cacao Barry Frans was, waardoor de volledige stelling juist FOUT moet zijn. | 99% |
| 10. Dendermonde – Ros Beiaard en Katuit | FOUT | Correct: Katuit vindt jaarlijks plaats. | 100% |
ChatGPT vindt bij Barry Callebaut zelf het juiste feit: Cacao Barry was Frans. Toch geeft het de volledige stelling het label JUIST. Het bewijs en het eindantwoord spreken elkaar dus rechtstreeks tegen.
Gemini
Antwoord van het model| Onderwerp | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Geraardsbergen – mattentaart | JUIST | Correct beoordeeld. | 100% |
| 2. Ninove – Gouden Wortelworp | FOUT | Correct: de verbranding vindt pas op dinsdag plaats. | 100% |
| 3. Ninove – Ronde van Vlaanderen | JUIST | Correct beoordeeld. | 100% |
| 4. Denderleeuw – FCV Dender | FOUT | Fout oordeel. De fusieclub behield wel degelijk stamnummer 3900 van Verbroedering Denderhoutem. | 100% |
| 5. Haaltert – De Jeneverdrinker | JUIST | In de tabel correct beoordeeld. | 100% |
| 6. Aalst – Jan De Wilde | FOUT | Correct: Aaigem behoort tot Erpe-Mere. | 100% |
| 7. Erpe-Mere – Lucien Van Impe | FOUT | Fout oordeel. Van Impe werd wel degelijk Belgisch kampioen in 1983. | 90% |
| 8. Lede – Mariaprocessie | FOUT | Correct eindlabel, maar de uitleg gebruikt verouderde informatie over een tweejaarlijkse cyclus. | 100% |
| 9. Wieze – Barry Callebaut | FOUT | Correct: Cacao Barry was Frans, niet Zwitsers. | 95% |
| 10. Dendermonde – Ros Beiaard en Katuit | FOUT | Correct: Katuit is jaarlijks. | 100% |
Gemini beoordeelt De Jeneverdrinker in de tabel als JUIST, maar zet stelling 5 in zijn samenvatting alsnog bij de FOUTE stellingen. Dat is een extra interne controlefout.
Claude
Antwoord van het model| Onderwerp | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Geraardsbergen – mattentaart | JUIST | Correct beoordeeld. | 95% |
| 2. Ninove – Gouden Wortelworp | FOUT | Correct: de wortelverbranding gebeurt pas dinsdag. | 90% |
| 3. Ninove – Ronde van Vlaanderen | JUIST | Correct beoordeeld. | 98% |
| 4. Denderleeuw – FCV Dender | JUIST | Correct: stamnummer 3900 van Denderhoutem bleef behouden. | 98% |
| 5. Haaltert – De Jeneverdrinker | JUIST | Correct beoordeeld. | 95% |
| 6. Aalst – Jan De Wilde | FOUT | Correct: Aaigem ligt in Erpe-Mere. | 95% |
| 7. Erpe-Mere – Lucien Van Impe | JUIST | Correct: ook de Belgische titel in 1983 klopt. | 98% |
| 8. Lede – Mariaprocessie | FOUT | Correct eindlabel. De beschrijving van de veranderende traditie is wat omslachtig. | 90% |
| 9. Wieze – Barry Callebaut | FOUT | Correct: de fabriek in Wieze klopt, maar Cacao Barry was Frans. | 95% |
| 10. Dendermonde – Ros Beiaard en Katuit | FOUT | Correct: Katuit trekt ieder jaar uit. | 98% |
Perplexity
Antwoord van het model| Onderwerp | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Geraardsbergen – mattentaart | JUIST | Correct en met een sterke Europese bron. | 100% |
| 2. Ninove – Gouden Wortelworp | FOUT | Correct beoordeeld. | 100% |
| 3. Ninove – Ronde van Vlaanderen | JUIST | Correct, maar via Wikipedia. | 100% |
| 4. Denderleeuw – FCV Dender | JUIST | Correct: stamnummer 3900 bleef behouden. | 100% |
| 5. Haaltert – De Jeneverdrinker | JUIST | Correct eindlabel, maar met een secundaire nieuwsbron. | 100% |
| 6. Aalst – Jan De Wilde | FOUT | Correct: Aaigem behoort tot Erpe-Mere. | 100% |
| 7. Erpe-Mere – Lucien Van Impe | JUIST | Correct beoordeeld. | 100% |
| 8. Lede – Mariaprocessie | FOUT | Correct eindlabel, maar de correctie naar “om de twee jaar” is verouderd. | 100% |
| 9. Wieze – Barry Callebaut | JUIST | Fout. Perplexity noemt Cacao Barry ten onrechte Zwitsers. | 100% |
| 10. Dendermonde – Ros Beiaard en Katuit | FOUT | Correct: Katuit is jaarlijks. | 100% |
Perplexity geeft bij Barry Callebaut 100% zekerheid, maar verwart de Zwitserse hoofdzetel van de huidige groep met de herkomst van Cacao Barry. Dat bedrijf was Frans.
Claude wint de Denderstreek-test
Claude is het enige model dat alle tien de stellingen correct als JUIST of FOUT beoordeelt.
ChatGPT volgt op de tweede plaats. Het gebruikte gemiddeld sterke bronnen, maar gaf bij Barry Callebaut het verkeerde eindlabel, terwijl de uitleg zelf het juiste feit bevatte.
deze rangschikking geldt alleen voor deze specifieke Denderstreek-test. Ze zegt niet welk AI-model in het algemeen het beste is.
ChatGPT vindt het juiste feit en trekt toch de verkeerde conclusie
Stelling 9 beweerde dat Barry Callebaut in 1996 ontstond uit het Belgische Callebaut en het Zwitserse Cacao Barry.
ChatGPT controleert dit en schrijft in zijn eigen uitleg correct dat Cacao Barry Frans was.
Daarmee heeft het model precies het detail gevonden waardoor de volledige stelling FOUT is.
Toch staat er in de kolom met het eindoordeel: JUIST.
controleer bij een AI-factcheck niet alleen de uitleg en de bronnen, maar ook of het eindlabel logisch overeenkomt met wat het model zelf heeft gevonden.
Gemini begint tijdens het antwoorden zelf aan zijn conclusie te twijfelen
Bij FCV Dender beoordeelt Gemini de stelling als FOUT. Volgens het model zou de fusieclub niet verdergegaan zijn met het stamnummer van Verbroedering Denderhoutem.
In dezelfde uitleg begint Gemini vervolgens letterlijk te twijfelen of stamnummer 3900 misschien toch werd overgenomen.
Dat is inderdaad wat gebeurde: FCV Dender ging verder met stamnummer 3900 van Verbroedering Denderhoutem.
Ook bij Lucien Van Impe ontstaat dezelfde twijfel. Gemini vraagt zich af of hij in 1983 wel Belgisch kampioen werd, terwijl dat feit correct is.
Gemini toont in zijn antwoord zelf signalen dat de eerste conclusie mogelijk fout is, maar corrigeert het uiteindelijke oordeel niet meer.
Vier lokale details waarop AI extra moet opletten
FCV Dender
Belgische voetbalclubs en hun stamnummers zijn precies het soort detail waarbij een algemene bron snel voor verwarring kan zorgen.
Jan De Wilde
De feiten over de zanger zijn eenvoudig te vinden. De valstrik zit puur in de lokale geografie: Aaigem behoort tot Erpe-Mere, niet tot Aalst.
Lede
Tradities veranderen. Oude bronnen vermelden andere frequenties voor de Mariaprocessie dan de recentere gemeentelijke informatie.
Wieze
De Zwitserse hoofdzetel van Barry Callebaut maakt het verleidelijk om ook Cacao Barry Zwitsers te noemen. Dat bedrijf was echter Frans.
Wat viel mij op bij de vier modellen?
Claude
Claude is het enige model dat alle tien de JUIST/FOUT-oordelen correct heeft. De belangrijkste beperking is de bronkeuze: het model grijpt vrij vaak naar Wikipedia.
ChatGPT
ChatGPT gebruikt doorgaans de sterkste bronnen. De fout bij Barry Callebaut is daardoor extra opvallend: de juiste informatie staat letterlijk in de uitleg, maar het eindlabel blijft JUIST.
Perplexity
Perplexity doet het behoorlijk goed, maar maakt bij Cacao Barry een duidelijke fout en gebruikt geregeld Wikipedia waar lokale of primaire bronnen beschikbaar zijn.
Gemini
Gemini heeft deze keer de meeste problemen. Bij FCV Dender en Lucien Van Impe trekt het verkeerde conclusies en ook de eigen samenvatting spreekt de tabel tegen.
Claude kent de Denderstreek deze keer het best
In deze regionale test eindigt Claude met 28,5 op 30 op de eerste plaats. Het model is als enige foutloos bij de tien eindlabels.
ChatGPT volgt met 27 op 30. Het gebruikt gemiddeld sterke, vaak primaire bronnen, maar maakt bij Barry Callebaut een bijzonder merkwaardige fout: het vindt zelf dat Cacao Barry Frans was en noemt de stelling toch JUIST.
Perplexity eindigt derde met 24,5 op 30. Gemini heeft het deze keer duidelijk moeilijker en komt uit op 20 op 30.
Deze test toont opnieuw waarom lokale vragen interessant zijn. De grote feiten zijn meestal eenvoudig te vinden, maar één detail over een deelgemeente, stamnummer, traditie of bedrijfsherkomst kan voldoende zijn om een plausibel antwoord volledig fout te maken.
Misschien nog belangrijker: zelfs wanneer AI de juiste informatie vindt, betekent dat niet automatisch dat het model daar ook de juiste conclusie uit trekt.
Bekijk de bronnen van de factcheckBronnen gebruikt bij de controle
Voor de analyse heb ik de antwoorden van ChatGPT, Gemini, Claude en Perplexity opnieuw gecontroleerd. Waar mogelijk gebruikte ik officiële, primaire of gezaghebbende bronnen.
- Europese Commissie – Geraardsbergse mattentaart
- Stad Geraardsbergen – Dag van de Geraardsbergse Mattentaart
- Stad Ninove – Carnaval en Ronde van Vlaanderen
- FCV Dender – officiële clubhistoriek en stamnummer
- Gemeente Haaltert – De Jeneverdrinker
- Stad Aalst – Jan De Wilde
- Gemeente Erpe-Mere – Lucien Van Impe
- Gemeente Lede – Mariadevotie en Mariaprocessie
- Barry Callebaut – geschiedenis van Callebaut en Cacao Barry
- Barry Callebaut – chocoladefabriek in Wieze
- Visit Dendermonde – jaarlijkse reuzenommegang Katuit
verschillende fouten in deze test ontstaan precies doordat oude, algemene of secundaire informatie wordt gebruikt waar een actuele lokale bron duidelijker is. Dat zien we onder meer bij FCV Dender, de Mariaprocessie in Lede en Barry Callebaut.
De resultaten van deze test worden pas echt interessant in combinatie met de rest van de reeks. Lees daarom ook wat al onze Feit of Fictie-tests samen aantonen .
