Hoe goed kent AI Roeselare?
KOERS, Rodenbach, ARhus, het Kasteel van Rumbeke, street art, De Spil en Knack Volley: hoe goed kennen de bekendste AI-assistenten Roeselare eigenlijk? Ik gaf ChatGPT, Gemini, Claude en Perplexity tien lokale stellingen waarin correcte feiten bewust werden gecombineerd met geloofwaardige fouten.
Tien Roeselaarse stellingen met verborgen valstrikken
Ik gaf ChatGPT, Gemini, Claude en Perplexity exact dezelfde tien stellingen over Roeselare. De modellen wisten niet hoeveel uitspraken juist of fout waren.
De onderwerpen zijn bewust vrij tijdloos gekozen. Naast bekende Roeselaarse namen als KOERS en Rodenbach komen ook ARhus, Street Art Cities, RSL Op Post, De Spil en de REO Arena aan bod.
Bij verschillende stellingen klopt bijna alles, maar maakt één fout detail de volledige uitspraak toch fout. Daarom kregen de modellen expliciet de opdracht om altijd de volledige stelling te beoordelen.
Niet alleen op JUIST of FOUT, maar ook op de kwaliteit van de uitleg, de correctie en vooral op de bronnen waarmee een model zijn antwoord onderbouwt.
De originele testprompt
Alle vier de AI-assistenten kregen dezelfde prompt.
ChatGPT
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. KOERS | JUIST | Correct: KOERS bevindt zich in Roeselare en Odiel Defraeye werd in 1912 de eerste Belgische Tourwinnaar. | 99% |
| 2. ARhus | FOUT | Correct: De Munt is de hoofdvestiging, maar ARhus heeft ook andere vestigingen en activiteitenlocaties. | 100% |
| 3. Stadhuis | JUIST | Correct: BREEAM Outstanding en behoud en restauratie van het historische stadhuis en UNESCO-belfort. | 99% |
| 4. Kasteel van Rumbeke | JUIST | Correct: ligging in het Sterrebos, renaissancekasteel en stervormige aanleg van de dreven. | 98% |
| 5. Rodenbach | FOUT | Correct: het Foederhuis kan ook zonder geboekte brouwerijrondleiding worden bezocht. | 100% |
| 6. Street Art Cities | JUIST | Correct: Roeselare is officiële partner en murals kunnen via digitale kaart of wandeling worden ontdekt. | 99% |
| 7. De Spil | FOUT | Correct: De Spil organiseert ook voorstellingen en activiteiten op andere locaties. | 99% |
| 8. RSL Op Post | JUIST | Correct: voormalig postgebouw aan de Brugsesteenweg met een brede sociale en culturele functie. | 97% |
| 9. Belfort | FOUT | Correct: het UNESCO-belfort hoort bij het stadhuis en is niet de Sint-Michielstoren. | 100% |
| 10. REO Arena | FOUT | Correct: de REO Arena wordt naast volleybal ook gebruikt voor congressen, concerten en andere evenementen. | 100% |
Gemini
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. KOERS | JUIST | Correct beoordeeld. | 100% |
| 2. ARhus | FOUT | Correct: ARhus heeft naast De Munt ook andere vestigingen. | 100% |
| 3. Stadhuis | JUIST | Correct beoordeeld. | 100% |
| 4. Kasteel van Rumbeke | JUIST | Correct beoordeeld. | 100% |
| 5. Rodenbach | FOUT | Correct: het Foederhuis is niet uitsluitend toegankelijk in combinatie met een rondleiding. | 95% |
| 6. Street Art Cities | JUIST | Correct beoordeeld. | 100% |
| 7. De Spil | FOUT | Correct: De Spil organiseert ook activiteiten buiten het eigen gebouw. | 100% |
| 8. RSL Op Post | JUIST | Correct beoordeeld. | 100% |
| 9. Belfort | JUIST | Gemini beweert dat de Sint-Michielstoren ook het UNESCO-belfort is. Dat is fout: het UNESCO-belfort hoort bij het stadhuis. | 100% |
| 10. REO Arena | FOUT | Correct: de arena heeft ook andere evenementenfuncties. | 100% |
Gemini verwart het UNESCO-belfort met de Sint-Michielstoren en geeft aan dat foutieve antwoord 100% zekerheid.
Claude
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. KOERS | JUIST | Correct beoordeeld. | 95% |
| 2. ARhus | FOUT | Correct: ARhus is niet beperkt tot De Munt. | 90% |
| 3. Stadhuis | JUIST | Correct: Outstanding-label en integratie van het historische erfgoed. | 95% |
| 4. Kasteel van Rumbeke | JUIST | Correct beoordeeld. | 90% |
| 5. Rodenbach | FOUT | Correct: het Foederhuis is ook zonder brouwerijrondleiding toegankelijk. | 90% |
| 6. Street Art Cities | JUIST | Correct beoordeeld. | 90% |
| 7. De Spil | FOUT | Correct: De Spil werkt ook op externe locaties. | 85% |
| 8. RSL Op Post | JUIST | Correct beoordeeld. | 90% |
| 9. Belfort | FOUT | Correct onderscheid tussen het belfort van het stadhuis en de afzonderlijke Sint-Michielstoren. | 90% |
| 10. REO Arena | FOUT | Correct: de arena is een multifunctionele evenementenlocatie. | 90% |
Perplexity
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. KOERS | JUIST | Correct beoordeeld, maar onderbouwd met Wikipedia in plaats van de officiële museumsite. | 100% |
| 2. ARhus | FOUT | Correct: ARhus heeft meerdere vestigingen. | 100% |
| 3. Stadhuis | JUIST | Correct beoordeeld. | 100% |
| 4. Kasteel van Rumbeke | JUIST | Correct beoordeeld, maar opnieuw met Wikipedia als hoofdbron. | 100% |
| 5. Rodenbach | FOUT | Het oordeel is correct, maar Perplexity verwijst als bron naar een Wikipedia-pagina over het Kasteel van Rumbeke. Die bron ondersteunt deze bewering helemaal niet. | 95% |
| 6. Street Art Cities | JUIST | Correct en onderbouwd met Visit Roeselare. | 100% |
| 7. De Spil | FOUT | Correct: De Spil organiseert ook activiteiten buiten het eigen gebouw. | 100% |
| 8. RSL Op Post | JUIST | Correct en onderbouwd met Vlaanderen.be. | 100% |
| 9. Belfort | FOUT | Correct: het UNESCO-belfort en de Sint-Michielstoren zijn twee verschillende torens. | 100% |
| 10. REO Arena | FOUT | Correct: de arena wordt ook voor congressen, concerten en evenementen gebruikt. | 100% |
Perplexity heeft alle tien de eindoordelen correct, maar de bronkwaliteit is duidelijk zwakker. Bij Rodenbach verwijst het model zelfs naar een bron over het Kasteel van Rumbeke.
ChatGPT wint de Roeselare-test
Voor de eindscore kijk ik naar drie onderdelen: het juiste eindoordeel, de kwaliteit van de uitleg of correctie en de kwaliteit van de gebruikte bronnen.
dit is geen algemene rangschikking van ChatGPT, Gemini, Claude en Perplexity. De scores gelden alleen voor deze specifieke Roeselare-test.
Vier opvallende verschillen
1. Gemini verwart twee Roeselaarse torens
Gemini beweert dat de Sint-Michielstoren en het UNESCO-belfort dezelfde toren zijn.
Dat klopt niet. Het UNESCO-belfort maakt deel uit van het stadhuis op de Grote Markt. De Sint-Michielstoren hoort bij de Sint-Michielskerk en is een andere toren.
Opvallend genoeg koppelt Gemini aan dit foutieve antwoord 100% zekerheid.
2. Correct antwoord, totaal verkeerde bron
Perplexity beoordeelt de stelling over Rodenbach terecht als FOUT. Het model weet ook correct dat het Foederhuis zonder brouwerijrondleiding toegankelijk is.
Als bron verwijst het echter naar een Wikipedia-pagina over het Kasteel van Rumbeke. Die bron heeft niets met Rodenbach of het Foederhuis te maken.
3. Een bron vermelden is niet genoeg
De Perplexity-fout toont waarom je bij een AI-factcheck niet alleen moet controleren of er een bron staat.
Je moet ook nagaan of die bron daadwerkelijk bewijst wat het model beweert. Een correct antwoord met een irrelevante bron blijft een zwakke factcheck.
4. ChatGPT en Claude vinden dezelfde antwoorden
Beide modellen beoordelen alle tien de stellingen correct. Het verschil zit vooral in de onderbouwing.
ChatGPT gebruikt vaker rechtstreeks Stad Roeselare, Visit Roeselare, ARhus, KOERS en Knack Volley. Claude grijpt vaker terug naar Wikipedia en andere secundaire websites.
Een bron vermelden is niet hetzelfde als iets bewijzen
De Rodenbach-stelling levert misschien wel het interessantste resultaat van deze test op.
Perplexity komt namelijk tot het correcte oordeel. Het Foederhuis is niet alleen toegankelijk voor mensen die een rondleiding door de brouwerij hebben geboekt.
Toch verwijst het model daarbij naar een Wikipedia-pagina over het Kasteel van Rumbeke. De conclusie is dus correct, maar de opgegeven bron ondersteunt die conclusie helemaal niet.
een AI-antwoord wordt niet automatisch betrouwbaarder omdat er een bron naast staat. Ook de inhoud van die bron moet worden gecontroleerd.
Wat viel mij op bij de vier modellen?
ChatGPT
ChatGPT is opnieuw het meest complete model in deze test. Alle tien de eindoordelen zijn correct en het model gebruikt opvallend consequent bronnen van de betrokken organisaties zelf.
Gemini
Gemini heeft negen van de tien stellingen correct, maar de fout rond het UNESCO-belfort is duidelijk. Vooral de combinatie van een fout feit met 100% zekerheid valt opnieuw op.
Claude
Claude heeft inhoudelijk eveneens alle tien de eindoordelen correct. Het verschil met ChatGPT zit vooral in de bronkeuze, die vaker secundair is.
Perplexity
Perplexity heeft alle JUIST- en FOUT-oordelen correct, maar de onderbouwing is minder betrouwbaar. Vooral de verkeerde bron bij Rodenbach is een duidelijke misser.
Ook lokale feiten vragen echte controle
De Roeselare-test laat opnieuw zien dat je geen obscure of extreem technische onderwerpen nodig hebt om AI-assistenten stevig te testen.
ARhus, Rodenbach, Street Art Cities, De Spil, het Roeselaarse belfort en de REO Arena zijn allemaal relatief gewone lokale onderwerpen. Toch ontstaan er duidelijke verschillen zodra de modellen één klein detail correct moeten controleren.
ChatGPT wint deze test, met Claude op de tweede plaats. Beide modellen hebben alle tien de eindoordelen correct, maar ChatGPT gebruikt consequenter officiële en primaire bronnen.
Perplexity bereikt eveneens alle juiste eindoordelen, maar toont tegelijk waarom een bronvermelding op zichzelf weinig zegt. Gemini maakt één duidelijke inhoudelijke fout en geeft daar bovendien 100% zekerheid aan.
Voor mij blijft de belangrijkste les eenvoudig: controleer niet alleen het antwoord van een AI-assistent, maar ook de bron waarop dat antwoord gebaseerd is.
Bekijk de bronnen van de factcheckBronnen gebruikt bij de controle
Voor de analyse heb ik de antwoorden van ChatGPT, Gemini, Claude en Perplexity zelf opnieuw gecontroleerd. Waar mogelijk gebruikte ik officiële, primaire of gezaghebbende bronnen.
- KOERS. Museum van de Wielersport – Odiel Defraeye en de Roeselaarse wielergeschiedenis
- ARhus – ontstaan en ontwikkeling van het kenniscentrum
- ARhus – vestigingen en locaties
- Stad Roeselare – BREEAM Outstanding en het vernieuwde stadhuis
- Visit Roeselare – Kasteel van Rumbeke en Sterrebos
- Visit Roeselare – Brouwerij Rodenbach en het Foederhuis
- Visit Roeselare – Street Art Cities en streetartwandeling
- Cultuurcentrum De Spil – programmatie en activiteiten
- Vlaanderen – stadsvernieuwingsproject RSL Op Post
- Inventaris Onroerend Erfgoed – Stadhuis van Roeselare met UNESCO-belfort
- Knack Volley Roeselare – evenementen en andere functies van de REO Arena
- REO Arena – zalen, evenementen en multifunctioneel gebruik
Bij verschillende stellingen leek het antwoord op het eerste gezicht eenvoudig, maar zat de fout in één klein detail. Deze test liet bovendien zien dat zelfs een correct AI-antwoord een slechte of volledig irrelevante bron kan bevatten. Daarom heb ik niet alleen gekeken naar wat de modellen beweerden, maar ook naar de bron waarop hun conclusie gebaseerd was.
Deze praktijktest staat niet op zichzelf. We brachten de resultaten van de volledige reeks samen in de gezamenlijke conclusies uit onze Feit of Fictie-tests .