Hoe goed kent AI Mechelen?
Maneblussers, de Sint-Romboutstoren, Kazerne Dossin, KV Mechelen, Rik De Saedeleer en Planckendael: hoe goed kennen de bekendste AI-assistenten Mechelen? Deze test levert een opvallend resultaat op: alle vier komen uiteindelijk tot dezelfde tien JUIST/FOUT-oordelen.
Tien Mechelse stellingen met kleine valstrikken
Ik gaf ChatGPT, Gemini, Claude en Perplexity exact dezelfde tien stellingen over Mechelen. De modellen wisten niet hoeveel daarvan juist of fout waren.
De onderwerpen lopen uiteen van de Maneblussers en de Sint-Romboutstoren tot Kazerne Dossin, KV Mechelen, Het Predikheren, Rik De Saedeleer, Technopolis en Planckendael.
Verschillende stellingen zijn bijna volledig juist, maar bevatten één fout detail. Daarom moesten de modellen altijd de volledige uitspraak beoordelen.
Niet alleen op JUIST of FOUT. Ook de uitleg, de correctie en vooral de kwaliteit van de bronnen tellen mee. Dat blijkt in Mechelen belangrijker dan ooit.
De originele testprompt
Alle vier de AI-assistenten kregen dezelfde prompt.
ChatGPT
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Maneblussers | JUIST | Correct, met de extra nuance dat het om de traditionele Mechelse stadslegende gaat. | 98% |
| 2. Sint-Romboutstoren | FOUT | Correct: geplande en werkelijke hoogte kloppen, maar naar de Skywalk leiden 538 treden en geen 514. | 100% |
| 3. Kazerne Dossin | FOUT | Correct: het memoriaal bevindt zich in de historische kazerne, het museum in de nieuwbouw aan de overkant. | 100% |
| 4. KV Mechelen | JUIST | Correct: Europacup II tegen Ajax en daarna de Europese Supercup tegen PSV. | 100% |
| 5. Het Anker | JUIST | Correct: Gouden Carolus Single Malt wordt gedistilleerd uit het moutbeslag van Gouden Carolus Tripel. | 97% |
| 6. Het Predikheren | FOUT | Correct: latere historische lagen en bouwsporen werden juist bewust zichtbaar gelaten. | 100% |
| 7. Rik De Saedeleer | JUIST | Correct: geboren Mechelaar, lange carrière bij Racing Mechelen en vicekampioen in 1951-1952. | 96% |
| 8. Technopolis | FOUT | Correct: Technopolis is geen instelling die eigendom is van en rechtstreeks wordt uitgebaat door Stad Mechelen. | 99% |
| 9. Planckendael | JUIST | Correct: aankoop door de Koninklijke Maatschappij voor Dierkunde in 1956 en opening in 1960. | 100% |
| 10. Grote Markt | FOUT | Correct: de zaterdagmarkt vindt nog steeds op en rond de Grote Markt plaats. | 100% |
Gemini
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Maneblussers | JUIST | Correct eindoordeel, maar met eerder algemene en secundaire bronvermelding. | 100% |
| 2. Sint-Romboutstoren | FOUT | Correct oordeel, maar de uitleg is onnodig vaag over de hoogtes. De echte fout is eenvoudig: 538 treden, geen 514. | 95% |
| 3. Kazerne Dossin | FOUT | Correct onderscheid tussen het historische memoriaal en het nieuwe museumgebouw. | 100% |
| 4. KV Mechelen | JUIST | Correct beoordeeld. | 100% |
| 5. Het Anker | JUIST | Correct beoordeeld. | 100% |
| 6. Het Predikheren | FOUT | Correct: de historische gelaagdheid werd juist bewust behouden. | 100% |
| 7. Rik De Saedeleer | JUIST | Correct beoordeeld. | 100% |
| 8. Technopolis | FOUT | Correct: Technopolis is geen rechtstreekse stedelijke uitbating van Mechelen. | 95% |
| 9. Planckendael | JUIST | Correct oordeel, maar de opgegeven bronkwaliteit is zwakker dan nodig. | 100% |
| 10. Grote Markt | FOUT | Correct: de zaterdagmarkt vindt nog steeds op en rond de Grote Markt plaats. | 100% |
Gemini heeft deze keer alle tien de eindoordelen juist. Het verschil met de betere scores zit vooral in de kwaliteit en precisie van de bronvermelding.
Claude
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Maneblussers | JUIST | Correct beoordeeld. | 90% |
| 2. Sint-Romboutstoren | FOUT | Correct: 538 treden in plaats van 514. | 85% |
| 3. Kazerne Dossin | FOUT | Correct onderscheid tussen memoriaal en museum. | 95% |
| 4. KV Mechelen | JUIST | Correct. Claude merkt wel op dat “enkele maanden later” voor ongeveer negen maanden ruim geformuleerd is. | 88% |
| 5. Het Anker | JUIST | Correct beoordeeld. | 92% |
| 6. Het Predikheren | FOUT | Correct: de verschillende historische lagen werden behouden. | 90% |
| 7. Rik De Saedeleer | JUIST | Correct: Racing Mechelen van 1939 tot 1954 en vicekampioen in 1951-1952. | 92% |
| 8. Technopolis | FOUT | Correct: het centrum is geen rechtstreekse stedelijke instelling van Mechelen. | 90% |
| 9. Planckendael | JUIST | Correct beoordeeld. | 92% |
| 10. Grote Markt | FOUT | Correct: de zaterdagmarkt is niet verdwenen van de Grote Markt. | 88% |
Perplexity
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Maneblussers | JUIST | Correct en gekoppeld aan de Mechelse overlevering uit 1687. | 95% |
| 2. Sint-Romboutstoren | FOUT | Correct: de toren telt 538 treden naar de Skywalk. | 95% |
| 3. Kazerne Dossin | FOUT | Correct: museum en memoriaal bevinden zich in twee verschillende gebouwen. | 95% |
| 4. KV Mechelen | JUIST | Correct beoordeeld en onderbouwd met UEFA. | 95% |
| 5. Het Anker | JUIST | Correct oordeel, maar Wikipedia wordt gebruikt terwijl Het Anker zelf een betere primaire bron aanbiedt. | 95% |
| 6. Het Predikheren | FOUT | Correct: historische sporen werden niet verwijderd maar bewust zichtbaar gehouden. | 95% |
| 7. Rik De Saedeleer | JUIST | Correct, maar ook hier wordt Wikipedia gebruikt terwijl het Stadsarchief Mechelen een sterkere bron is. | 95% |
| 8. Technopolis | FOUT | Correct: Technopolis wordt niet rechtstreeks door Stad Mechelen uitgebaat. | 90% |
| 9. Planckendael | JUIST | Correct en onderbouwd met Onroerend Erfgoed. | 95% |
| 10. Grote Markt | FOUT | Correct: de zaterdagmarkt vindt nog steeds op en rond de Grote Markt plaats. | 95% |
Vier keer dezelfde antwoorden, toch een duidelijke winnaar
Dit is een bijzondere test. ChatGPT, Gemini, Claude en Perplexity beoordelen alle tien de stellingen op dezelfde manier en komen allemaal tot de correcte antwoordsleutel.
De rangschikking wordt daarom vooral bepaald door de kwaliteit van de uitleg, de precisie van de correcties en de gebruikte bronnen.
dit is geen algemene rangschikking van ChatGPT, Gemini, Claude en Perplexity. De scores gelden alleen voor deze specifieke Mechelen-test.
Vier opvallende bevindingen
1. Alle modellen hebben de volledige sleutel juist
Voor het eerst in deze reeks komen ChatGPT, Gemini, Claude en Perplexity allemaal uit op exact dezelfde vijf juiste en vijf foute stellingen.
Alleen naar het eindantwoord kijken volstaat hier dus niet om de modellen van elkaar te onderscheiden.
2. Bronnen bepalen de rangschikking
ChatGPT zoekt opvallend vaak rechtstreeks naar Visit Mechelen, Stadsarchief Mechelen, Het Anker, Onroerend Erfgoed en andere primaire bronnen.
Andere modellen komen tot hetzelfde oordeel, maar gebruiken vaker Wikipedia, reissites of algemenere secundaire bronnen.
3. Eén fout getal maakt een hele stelling fout
Bij de Sint-Romboutstoren klopt bijna alles: ongeveer 167 meter gepland en ongeveer 97 meter gebouwd.
Alleen het aantal treden is verkeerd: 538 in plaats van 514. Toch moet de volledige stelling daardoor FOUT zijn.
4. Kazerne Dossin test nauwkeurig lezen
Museum en memoriaal horen inhoudelijk bij dezelfde instelling, maar bevinden zich niet in hetzelfde gebouw.
Het memoriaal zit in de historische kazerne. Het museum bevindt zich in de moderne nieuwbouw aan de overkant.
Vier dezelfde antwoorden betekenen niet vier even goede factchecks
Stel dat je alleen zou noteren hoeveel JUIST/FOUT-oordelen ieder model correct heeft. Dan eindigen alle vier hier gewoon op 10 op 10.
Maar een goede factcheck bestaat uit meer dan het juiste eindwoord. Je wilt ook weten waarom iets klopt en of de bron waarop dat oordeel steunt betrouwbaar is.
Dat verschil zie je bijvoorbeeld bij Rik De Saedeleer. Wikipedia kan het juiste antwoord geven, maar het Stadsarchief Mechelen is voor zijn Mechelse voetbalverleden een veel sterkere bron.
Hetzelfde geldt voor Het Anker. Een secundaire bron kan vertellen hoe de whisky wordt gemaakt, maar wanneer de brouwerij dat zelf officieel documenteert, is die primaire bron de betere keuze.
een AI-model kan feitelijk het juiste antwoord geven en toch een minder sterke factcheck afleveren. Kijk daarom niet alleen naar de conclusie, maar ook naar het bewijs.
Wat viel mij op bij de vier modellen?
ChatGPT
ChatGPT levert deze keer de meest complete factcheck. Niet alleen alle tien de oordelen zijn correct, ook de bronkeuze is bijna overal sterk en lokaal relevant.
Gemini
Gemini herstelt zich sterk na de Aalst-test en heeft alle tien de Mechelse stellingen correct. De zwakkere score komt vooral door vagere uitleg en minder sterke bronvermeldingen.
Claude
Claude is inhoudelijk volledig correct, maar gebruikt relatief vaak Wikipedia of andere secundaire bronnen. Ook verschijnt opnieuw een werkzin vóór het eigenlijke antwoord.
Perplexity
Perplexity combineert correcte antwoorden met meestal degelijke bronnen. Toch laat het bij onder meer Rik De Saedeleer en Het Anker sterkere primaire bronnen liggen.
Mechelen toont waarom alleen JUIST of FOUT niet genoeg is
Deze Mechelen-test is een uitzondering in de reeks. ChatGPT, Gemini, Claude en Perplexity beoordelen alle tien de stellingen correct.
Toch zijn de antwoorden niet even sterk. ChatGPT wint met 30 op 30 omdat het de correcte conclusies het meest consequent combineert met sterke officiële en primaire bronnen.
Perplexity en Claude volgen kort daarna. Gemini heeft inhoudelijk eveneens alles correct, maar kiest vaker minder overtuigende bronnen of formuleert de uitleg minder precies.
Daarmee levert Mechelen misschien wel een van de nuttigste lessen uit deze reeks op: een correct antwoord is nog geen goede factcheck. Wie AI gebruikt voor feitencontrole moet ook controleren waarop het antwoord gebaseerd is.
Bekijk de bronnen van de factcheckBronnen gebruikt bij de controle
Voor de analyse heb ik de antwoorden van ChatGPT, Gemini, Claude en Perplexity zelf opnieuw gecontroleerd. Waar mogelijk gebruikte ik officiële, primaire of gezaghebbende bronnen.
- Visit Mechelen – de legende van de Maneblussers
- Visit Mechelen – Sint-Romboutstoren en Skywalk
- Kazerne Dossin – museum en memoriaal
- Vlaamse overheid – Kazerne Dossin
- KV Mechelen – palmares en Europese successen
- Brouwerij Het Anker – geschiedenis van de brouwerij
- Het Anker – Gouden Carolus en Single Malt
- Agentschap Onroerend Erfgoed – restauratie van Het Predikheren
- Stadsarchief Mechelen – Rik De Saedeleer
- Racing Mechelen – voetbalcarrière van Rik De Saedeleer
- Technopolis – organisatie en geschiedenis
- Inventaris Onroerend Erfgoed – domein Planckendael
- Stad Mechelen – de wekelijkse zaterdagmarkt
In deze test gaven alle vier de AI-modellen dezelfde correcte JUIST/FOUT-antwoorden. De verschillen werden pas zichtbaar toen ik ook keek naar de gebruikte bewijsvoering. Een officiële stads-, erfgoed- of organisatiebron weegt daarbij zwaarder dan Wikipedia, een algemene reissite of een vage bronvermelding.
De interessantste inzichten ontstaan wanneer we verschillende tests naast elkaar leggen. Lees onze gezamenlijke analyse van ChatGPT, Gemini, Claude en Perplexity .