Mechelen door de ogen van AI

Hoe goed kent AI Mechelen?

Maneblussers, de Sint-Romboutstoren, Kazerne Dossin, KV Mechelen, Rik De Saedeleer en Planckendael: hoe goed kennen de bekendste AI-assistenten Mechelen? Deze test levert een opvallend resultaat op: alle vier komen uiteindelijk tot dezelfde tien JUIST/FOUT-oordelen.

De test

Tien Mechelse stellingen met kleine valstrikken

Ik gaf ChatGPT, Gemini, Claude en Perplexity exact dezelfde tien stellingen over Mechelen. De modellen wisten niet hoeveel daarvan juist of fout waren.

De onderwerpen lopen uiteen van de Maneblussers en de Sint-Romboutstoren tot Kazerne Dossin, KV Mechelen, Het Predikheren, Rik De Saedeleer, Technopolis en Planckendael.

Verschillende stellingen zijn bijna volledig juist, maar bevatten één fout detail. Daarom moesten de modellen altijd de volledige uitspraak beoordelen.

Waar let ik op?
Niet alleen op JUIST of FOUT. Ook de uitleg, de correctie en vooral de kwaliteit van de bronnen tellen mee. Dat blijkt in Mechelen belangrijker dan ooit.
De exacte opdracht

De originele testprompt

Alle vier de AI-assistenten kregen dezelfde prompt.

Beoordeel de volgende 10 stellingen over Mechelen. Controleer elke stelling afzonderlijk. Ga er niet vanuit dat de informatie die ik geef correct is. Geef voor iedere stelling: 1. Oordeel: JUIST, FOUT of ONVOLDOENDE BEWIJS 2. Uitleg: leg kort uit waarom 3. Correctie: als de stelling fout is, geef dan de juiste informatie 4. Bron: geef minstens één betrouwbare bron waarmee je je oordeel hebt gecontroleerd 5. Zekerheid: geef aan hoe zeker je bent op een schaal van 0 tot 100% Gebruik bij voorkeur officiële, primaire of gezaghebbende bronnen. Als betrouwbare bronnen elkaar tegenspreken, vermeld dat dan. Verzin geen ontbrekende informatie. Kun je iets niet betrouwbaar controleren, kies dan ONVOLDOENDE BEWIJS. Beoordeel altijd de volledige stelling. Wanneer een stelling uit meerdere onderdelen bestaat en één belangrijk onderdeel fout is, mag je de volledige stelling niet als JUIST beoordelen. Leg in dat geval duidelijk uit welk deel wel klopt en welk deel niet. De stellingen: 1. De bijnaam “Maneblussers” gaat terug op een gebeurtenis in 1687 waarbij Mechelaars dachten dat de Sint-Romboutstoren in brand stond. De rode gloed bleek uiteindelijk afkomstig van de maan die door de mist scheen. 2. De Sint-Romboutstoren was oorspronkelijk bedoeld om ongeveer 167 meter hoog te worden, maar de bouw stopte op ongeveer 97 meter. Wie vandaag naar de Skywalk klimt, moet daarvoor 514 treden overwinnen. 3. Kazerne Dossin is vandaag volledig ondergebracht in het oorspronkelijke 18de-eeuwse kazernegebouw van waaruit tijdens de Tweede Wereldoorlog Joden en Roma werden gedeporteerd. Zowel het museum als het memoriaal bevinden zich dus in hetzelfde historische gebouw. 4. KV Mechelen won in 1988 de Europacup II door Ajax met 1-0 te verslaan in Straatsburg. Enkele maanden later won de club ook de Europese Supercup tegen PSV. 5. Brouwerij Het Anker behoort tot de oudste brouwerijen van België en brouwt de Gouden Carolus-bieren. Voor de Gouden Carolus Single Malt-whisky wordt een distillaat gebruikt dat gebaseerd is op de Gouden Carolus Tripel. 6. Stadsbibliotheek Het Predikheren is gevestigd in een voormalig dominicanenklooster. Bij de restauratie werd geprobeerd alle latere bouwsporen te verwijderen zodat het gebouw zo nauwkeurig mogelijk naar zijn oorspronkelijke 17de-eeuwse toestand werd teruggebracht. 7. De legendarische voetbalcommentator Rik De Saedeleer was een geboren Mechelaar en stond vóór zijn mediacarrière zelf jarenlang op het veld bij Racing Mechelen. Hij speelde er van 1939 tot 1954 en maakte deel uit van het elftal dat in 1951-1952 tweede werd in de hoogste Belgische voetbalklasse. 8. Technopolis werd in 2000 opgericht als het eerste doe-centrum voor wetenschap en technologie in Vlaanderen. Het centrum is eigendom van en wordt rechtstreeks uitgebaat door Stad Mechelen. 9. Het domein Planckendael in Muizen werd in 1956 eigendom van de Koninklijke Maatschappij voor Dierkunde en opende in 1960 voor het publiek als dierenpark. 10. De Grote Markt van Mechelen werd in 2004 verkeersvrij bij de aanleg van een ondergrondse parking. De wekelijkse zaterdagmarkt verhuisde toen definitief naar een andere locatie en vindt sindsdien niet meer op de Grote Markt plaats. Zet je antwoord in een overzichtelijke tabel met de kolommen: Stelling | Oordeel | Uitleg/correctie | Bron | Zekerheid Geef na de tabel ook een korte samenvatting met: – welke stellingen volgens jou JUIST zijn – welke stellingen volgens jou FOUT zijn – welke stellingen volgens jou ONVOLDOENDE BEWIJS hebben – welke twee stellingen je het moeilijkst vond om betrouwbaar te beoordelen

ChatGPT

Antwoord van het model
Stelling Oordeel Uitleg / correctie Zekerheid
1. Maneblussers JUIST Correct, met de extra nuance dat het om de traditionele Mechelse stadslegende gaat. 98%
2. Sint-Romboutstoren FOUT Correct: geplande en werkelijke hoogte kloppen, maar naar de Skywalk leiden 538 treden en geen 514. 100%
3. Kazerne Dossin FOUT Correct: het memoriaal bevindt zich in de historische kazerne, het museum in de nieuwbouw aan de overkant. 100%
4. KV Mechelen JUIST Correct: Europacup II tegen Ajax en daarna de Europese Supercup tegen PSV. 100%
5. Het Anker JUIST Correct: Gouden Carolus Single Malt wordt gedistilleerd uit het moutbeslag van Gouden Carolus Tripel. 97%
6. Het Predikheren FOUT Correct: latere historische lagen en bouwsporen werden juist bewust zichtbaar gelaten. 100%
7. Rik De Saedeleer JUIST Correct: geboren Mechelaar, lange carrière bij Racing Mechelen en vicekampioen in 1951-1952. 96%
8. Technopolis FOUT Correct: Technopolis is geen instelling die eigendom is van en rechtstreeks wordt uitgebaat door Stad Mechelen. 99%
9. Planckendael JUIST Correct: aankoop door de Koninklijke Maatschappij voor Dierkunde in 1956 en opening in 1960. 100%
10. Grote Markt FOUT Correct: de zaterdagmarkt vindt nog steeds op en rond de Grote Markt plaats. 100%
Samengevat: ChatGPT beoordeelt alle tien de stellingen correct en gebruikt vrijwel overal officiële, primaire of gezaghebbende bronnen.

Gemini

Antwoord van het model
Stelling Oordeel Uitleg / correctie Zekerheid
1. Maneblussers JUIST Correct eindoordeel, maar met eerder algemene en secundaire bronvermelding. 100%
2. Sint-Romboutstoren FOUT Correct oordeel, maar de uitleg is onnodig vaag over de hoogtes. De echte fout is eenvoudig: 538 treden, geen 514. 95%
3. Kazerne Dossin FOUT Correct onderscheid tussen het historische memoriaal en het nieuwe museumgebouw. 100%
4. KV Mechelen JUIST Correct beoordeeld. 100%
5. Het Anker JUIST Correct beoordeeld. 100%
6. Het Predikheren FOUT Correct: de historische gelaagdheid werd juist bewust behouden. 100%
7. Rik De Saedeleer JUIST Correct beoordeeld. 100%
8. Technopolis FOUT Correct: Technopolis is geen rechtstreekse stedelijke uitbating van Mechelen. 95%
9. Planckendael JUIST Correct oordeel, maar de opgegeven bronkwaliteit is zwakker dan nodig. 100%
10. Grote Markt FOUT Correct: de zaterdagmarkt vindt nog steeds op en rond de Grote Markt plaats. 100%
Opvallend:
Gemini heeft deze keer alle tien de eindoordelen juist. Het verschil met de betere scores zit vooral in de kwaliteit en precisie van de bronvermelding.

Claude

Antwoord van het model
Stelling Oordeel Uitleg / correctie Zekerheid
1. Maneblussers JUIST Correct beoordeeld. 90%
2. Sint-Romboutstoren FOUT Correct: 538 treden in plaats van 514. 85%
3. Kazerne Dossin FOUT Correct onderscheid tussen memoriaal en museum. 95%
4. KV Mechelen JUIST Correct. Claude merkt wel op dat “enkele maanden later” voor ongeveer negen maanden ruim geformuleerd is. 88%
5. Het Anker JUIST Correct beoordeeld. 92%
6. Het Predikheren FOUT Correct: de verschillende historische lagen werden behouden. 90%
7. Rik De Saedeleer JUIST Correct: Racing Mechelen van 1939 tot 1954 en vicekampioen in 1951-1952. 92%
8. Technopolis FOUT Correct: het centrum is geen rechtstreekse stedelijke instelling van Mechelen. 90%
9. Planckendael JUIST Correct beoordeeld. 92%
10. Grote Markt FOUT Correct: de zaterdagmarkt is niet verdwenen van de Grote Markt. 88%
Samengevat: Claude heeft eveneens alle tien de oordelen juist. De belangrijkste minpunten zitten in de relatief frequente keuze voor secundaire bronnen wanneer officiële bronnen beschikbaar zijn.

Perplexity

Antwoord van het model
Stelling Oordeel Uitleg / correctie Zekerheid
1. Maneblussers JUIST Correct en gekoppeld aan de Mechelse overlevering uit 1687. 95%
2. Sint-Romboutstoren FOUT Correct: de toren telt 538 treden naar de Skywalk. 95%
3. Kazerne Dossin FOUT Correct: museum en memoriaal bevinden zich in twee verschillende gebouwen. 95%
4. KV Mechelen JUIST Correct beoordeeld en onderbouwd met UEFA. 95%
5. Het Anker JUIST Correct oordeel, maar Wikipedia wordt gebruikt terwijl Het Anker zelf een betere primaire bron aanbiedt. 95%
6. Het Predikheren FOUT Correct: historische sporen werden niet verwijderd maar bewust zichtbaar gehouden. 95%
7. Rik De Saedeleer JUIST Correct, maar ook hier wordt Wikipedia gebruikt terwijl het Stadsarchief Mechelen een sterkere bron is. 95%
8. Technopolis FOUT Correct: Technopolis wordt niet rechtstreeks door Stad Mechelen uitgebaat. 90%
9. Planckendael JUIST Correct en onderbouwd met Onroerend Erfgoed. 95%
10. Grote Markt FOUT Correct: de zaterdagmarkt vindt nog steeds op en rond de Grote Markt plaats. 95%
Samengevat: Perplexity heeft eveneens alle tien de oordelen correct. Het model scoort sterk, maar kiest niet altijd de beste beschikbare primaire bron.
De uitslag

Vier keer dezelfde antwoorden, toch een duidelijke winnaar

Dit is een bijzondere test. ChatGPT, Gemini, Claude en Perplexity beoordelen alle tien de stellingen op dezelfde manier en komen allemaal tot de correcte antwoordsleutel.

De rangschikking wordt daarom vooral bepaald door de kwaliteit van de uitleg, de precisie van de correcties en de gebruikte bronnen.

🥇 ChatGPT 30 / 30 Alle tien correct én consequent sterke officiële, primaire of gezaghebbende bronnen.
🥈 Perplexity 28,5 / 30 Alle tien correct en meestal goed onderbouwd, maar niet altijd met de sterkste beschikbare bron.
🥉 Claude 27,5 / 30 Alle tien correct, maar relatief veel secundaire bronnen en enkele onnodige nuances.
Gemini 26,5 / 30 Ook alle tien correct, maar de bronkwaliteit en precisie van enkele verklaringen zijn duidelijk zwakker.
Belangrijk:
dit is geen algemene rangschikking van ChatGPT, Gemini, Claude en Perplexity. De scores gelden alleen voor deze specifieke Mechelen-test.
Waar zit het verschil?

Vier opvallende bevindingen

1. Alle modellen hebben de volledige sleutel juist

Voor het eerst in deze reeks komen ChatGPT, Gemini, Claude en Perplexity allemaal uit op exact dezelfde vijf juiste en vijf foute stellingen.

Alleen naar het eindantwoord kijken volstaat hier dus niet om de modellen van elkaar te onderscheiden.

2. Bronnen bepalen de rangschikking

ChatGPT zoekt opvallend vaak rechtstreeks naar Visit Mechelen, Stadsarchief Mechelen, Het Anker, Onroerend Erfgoed en andere primaire bronnen.

Andere modellen komen tot hetzelfde oordeel, maar gebruiken vaker Wikipedia, reissites of algemenere secundaire bronnen.

3. Eén fout getal maakt een hele stelling fout

Bij de Sint-Romboutstoren klopt bijna alles: ongeveer 167 meter gepland en ongeveer 97 meter gebouwd.

Alleen het aantal treden is verkeerd: 538 in plaats van 514. Toch moet de volledige stelling daardoor FOUT zijn.

4. Kazerne Dossin test nauwkeurig lezen

Museum en memoriaal horen inhoudelijk bij dezelfde instelling, maar bevinden zich niet in hetzelfde gebouw.

Het memoriaal zit in de historische kazerne. Het museum bevindt zich in de moderne nieuwbouw aan de overkant.

Belangrijk verschil

Vier dezelfde antwoorden betekenen niet vier even goede factchecks

Stel dat je alleen zou noteren hoeveel JUIST/FOUT-oordelen ieder model correct heeft. Dan eindigen alle vier hier gewoon op 10 op 10.

Maar een goede factcheck bestaat uit meer dan het juiste eindwoord. Je wilt ook weten waarom iets klopt en of de bron waarop dat oordeel steunt betrouwbaar is.

Dat verschil zie je bijvoorbeeld bij Rik De Saedeleer. Wikipedia kan het juiste antwoord geven, maar het Stadsarchief Mechelen is voor zijn Mechelse voetbalverleden een veel sterkere bron.

Hetzelfde geldt voor Het Anker. Een secundaire bron kan vertellen hoe de whisky wordt gemaakt, maar wanneer de brouwerij dat zelf officieel documenteert, is die primaire bron de betere keuze.

Les uit deze test:
een AI-model kan feitelijk het juiste antwoord geven en toch een minder sterke factcheck afleveren. Kijk daarom niet alleen naar de conclusie, maar ook naar het bewijs.
Mijn indruk

Wat viel mij op bij de vier modellen?

ChatGPT

ChatGPT levert deze keer de meest complete factcheck. Niet alleen alle tien de oordelen zijn correct, ook de bronkeuze is bijna overal sterk en lokaal relevant.

Gemini

Gemini herstelt zich sterk na de Aalst-test en heeft alle tien de Mechelse stellingen correct. De zwakkere score komt vooral door vagere uitleg en minder sterke bronvermeldingen.

Claude

Claude is inhoudelijk volledig correct, maar gebruikt relatief vaak Wikipedia of andere secundaire bronnen. Ook verschijnt opnieuw een werkzin vóór het eigenlijke antwoord.

Perplexity

Perplexity combineert correcte antwoorden met meestal degelijke bronnen. Toch laat het bij onder meer Rik De Saedeleer en Het Anker sterkere primaire bronnen liggen.

Conclusie

Mechelen toont waarom alleen JUIST of FOUT niet genoeg is

Deze Mechelen-test is een uitzondering in de reeks. ChatGPT, Gemini, Claude en Perplexity beoordelen alle tien de stellingen correct.

Toch zijn de antwoorden niet even sterk. ChatGPT wint met 30 op 30 omdat het de correcte conclusies het meest consequent combineert met sterke officiële en primaire bronnen.

Perplexity en Claude volgen kort daarna. Gemini heeft inhoudelijk eveneens alles correct, maar kiest vaker minder overtuigende bronnen of formuleert de uitleg minder precies.

Daarmee levert Mechelen misschien wel een van de nuttigste lessen uit deze reeks op: een correct antwoord is nog geen goede factcheck. Wie AI gebruikt voor feitencontrole moet ook controleren waarop het antwoord gebaseerd is.

Bekijk de bronnen van de factcheck
Factcheck

Bronnen gebruikt bij de controle

Voor de analyse heb ik de antwoorden van ChatGPT, Gemini, Claude en Perplexity zelf opnieuw gecontroleerd. Waar mogelijk gebruikte ik officiële, primaire of gezaghebbende bronnen.

Waarom de bronnen belangrijk zijn:
In deze test gaven alle vier de AI-modellen dezelfde correcte JUIST/FOUT-antwoorden. De verschillen werden pas zichtbaar toen ik ook keek naar de gebruikte bewijsvoering. Een officiële stads-, erfgoed- of organisatiebron weegt daarbij zwaarder dan Wikipedia, een algemene reissite of een vage bronvermelding.

De interessantste inzichten ontstaan wanneer we verschillende tests naast elkaar leggen. Lees onze gezamenlijke analyse van ChatGPT, Gemini, Claude en Perplexity .

Similar Posts