Kent AI Mechelen beter dan de Maneblussers?
Van de Sint-Romboutstoren en Kazerne Dossin tot KV Mechelen, Rik De Saedeleer, Technopolis en Planckendael: vier populaire AI-assistenten kregen tien Mechelse stellingen voorgeschoteld. En deze keer gebeurde iets opvallends.
Kent AI Mechelen beter dan de Maneblussers?
Hoe goed kent artificiële intelligentie Mechelen eigenlijk?
AiLabo.eu nam de proef op de som en legde ChatGPT, Gemini, Claude en Perplexity tien uitspraken over Mechelen voor. Van de Maneblussers en de Sint-Romboutstoren tot Kazerne Dossin, KV Mechelen, Het Predikheren, Rik De Saedeleer, Technopolis en Planckendael.
De opdracht was eenvoudig: juist of fout?
Alleen liep de Mechelse test anders af dan verwacht.
Alle vier de AI-assistenten beoordeelden alle tien de stellingen correct.
ChatGPT, Gemini, Claude en Perplexity kwamen dus exact tot dezelfde tien JUIST/FOUT-antwoorden.
Toch was er uiteindelijk wel een winnaar. ChatGPT kwam als beste uit de test, gevolgd door Perplexity, Claude en Gemini.
538 treden of toch 514?
Een van de kleine valstrikken zat verstopt in de Sint-Romboutstoren.
De toren was oorspronkelijk bedoeld om ongeveer 167 meter hoog te worden en bleef uiteindelijk rond 97 meter steken. Dat gedeelte van de stelling klopte.
Maar wie naar de Skywalk wil, moet geen 514 maar 538 treden overwinnen.
Eén verkeerd getal was voldoende om de volledige stelling fout te maken. Alle vier de AI-modellen merkten het op.
Kazerne Dossin test wie echt goed leest
Ook Kazerne Dossin bevatte een subtiele valstrik.
Museum en memoriaal horen bij dezelfde instelling, maar bevinden zich niet in hetzelfde gebouw. Het memoriaal zit in de historische kazerne, terwijl het museum in de moderne nieuwbouw aan de overkant is ondergebracht.
Opnieuw lieten de vier AI-assistenten zich niet vangen.
Als iedereen juist antwoordt, wie wint er dan?
En daar wordt de Mechelse test pas echt interessant.
Wanneer je alleen naar JUIST of FOUT kijkt, eindigen ChatGPT, Gemini, Claude en Perplexity gewoon gelijk.
Het verschil zat in wat er daarna kwam: hoe nauwkeurig werd de fout uitgelegd en vooral welke bronnen werden gebruikt om het antwoord te controleren?
ChatGPT verwees het meest consequent naar officiële en primaire bronnen, zoals Visit Mechelen, het Stadsarchief, Het Anker en andere rechtstreeks betrokken organisaties.
Andere modellen kwamen tot hetzelfde juiste antwoord, maar grepen vaker terug naar Wikipedia of algemenere secundaire bronnen.
Moraal van het verhaal?
Voor één keer lag het probleem dus niet bij het antwoord. Alle vier wisten ze wat juist en fout was.
Maar een goede factcheck is meer dan het juiste vakje aankruisen. Je wilt ook weten waarom iets klopt en waarop dat antwoord gebaseerd is.
Mechelen levert daarmee misschien wel de verrassendste les uit deze AI-reeks: een correct antwoord is nog niet automatisch een goede factcheck.
De volledige test met alle tien stellingen, antwoorden en de volledige vergelijking staat op:
Fact or fiction: wat weet AI écht over Mechelen?
Bron: AiLabo.eu – praktijktest van ChatGPT, Gemini, Claude en Perplexity over Mechelen.
Visual vrij te gebruiken
Onderstaande visual mag door journalisten, redacties en andere media vrij worden gebruikt bij publicaties over deze test.
Vermeld bij voorkeur als bron: AiLabo.eu.
AiLabo.eu testte ChatGPT, Gemini, Claude en Perplexity met tien uitspraken over Mechelen.
Peter Van Genabet
AiLabo.eu
E-mail:
peter@ailabo.eu
Vragen over deze test, de werkwijze of bijkomende achtergrondinformatie zijn welkom.