Hoe goed kent AI Hasselt?
Jos Ghysen, Hasseltse koffie, jenever, Pukkelpop, de Japanse Tuin, UHasselt en de Virga Jessefeesten: hoe goed kennen ChatGPT, Gemini, Claude en Perplexity de hoofdstad van Limburg?
Tien Hasseltse stellingen met kleine maar belangrijke details
Ik gaf ChatGPT, Gemini, Claude en Perplexity exact dezelfde tien stellingen over Hasselt. De modellen wisten niet hoeveel uitspraken juist of fout waren.
De onderwerpen zijn bewust gevarieerd: mediafiguur Jos Ghysen, Hasseltse koffie, het Jenevermuseum, de Japanse Tuin, Pukkelpop, de Virga Jessefeesten, het Modemuseum, UHasselt, de Abdij van Herkenrode en de Sint-Quintinuskathedraal.
Verschillende uitspraken bestaan uit meerdere correcte onderdelen en één fout detail. De modellen moesten daarom altijd de volledige stelling beoordelen.
Niet alleen op JUIST of FOUT, maar ook op de uitleg, de correctie, de gebruikte bronnen en de vraag of een model eventuele tegenstrijdigheden tussen betrouwbare bronnen opmerkt.
De originele testprompt
Alle vier de AI-assistenten kregen dezelfde prompt.
ChatGPT
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Jos Ghysen | FOUT | Correct: Het Schurend Scharniertje liep tot 1994, maar Te bed of niet te bed stopte in 1990. | 99% |
| 2. Hasseltse koffie | JUIST | Correct: de typische alcoholische basis is Hasseltse jenever en geen whisky. | 93% |
| 3. Jenevermuseum | JUIST | Correct: voormalige stokerij Stellingwerff/Theunissen, beschermd in 1975 en museum sinds 1987. | 99% |
| 4. Japanse Tuin | JUIST | Correct: stedenband vanaf 1985, tuin geopend in 1992 en ongeveer 2,5 hectare groot. | 98% |
| 5. Pukkelpop | FOUT | Correct oordeel: 1988 was niet het verhuisjaar naar Kiewit. De historische locatiegeschiedenis is complexer. | 97% |
| 6. Virga Jessefeesten | JUIST | Correct: zevenjaarlijkse traditie vanaf 1682 en een Mariabeeld uit de 14de eeuw. | 98% |
| 7. Modemuseum | FOUT | Correct: het museum heeft geen permanente chronologische collectiepresentatie. | 100% |
| 8. UHasselt | FOUT | Correct: het eerste academiejaar begon in 1973 in Diepenbeek, niet in het centrum van Hasselt. | 100% |
| 9. Abdij van Herkenrode | JUIST | ChatGPT kiest 1217, maar merkt als enige expliciet op dat een actuele officiële erfgoedbron 1271 vermeldt. | 94% |
| 10. Sint-Quintinus | FOUT | Correct: de kerk werd in 1967 kathedraal, maar was voordien geen collegiale kerk. | 99% |
Gemini
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Jos Ghysen | FOUT | Het eindoordeel is correct, maar Gemini beweert foutief dat Jos Ghysen in Luik werd geboren. Hij werd wel degelijk in Hasselt geboren. | 100% |
| 2. Hasseltse koffie | JUIST | Correct beoordeeld. | 100% |
| 3. Jenevermuseum | JUIST | Correct beoordeeld. | 100% |
| 4. Japanse Tuin | JUIST | Correct beoordeeld. | 100% |
| 5. Pukkelpop | FOUT | Correct: in 1988 verhuisde Pukkelpop naar Sanicole en niet naar Kiewit. | 100% |
| 6. Virga Jessefeesten | JUIST | Correct beoordeeld. | 100% |
| 7. Modemuseum | FOUT | Correct: geen permanente chronologische collectieopstelling. | 100% |
| 8. UHasselt | JUIST | Fout. Het Limburgs Universitair Centrum startte in 1973 in Diepenbeek, niet in het centrum van Hasselt. | 100% |
| 9. Abdij van Herkenrode | JUIST | Gemini volgt de 1217-datering maar vermeldt het officiële bronnenconflict niet. | 100% |
| 10. Sint-Quintinus | FOUT | Correct: de kerk was voordien geen collegiale kerk. | 100% |
Gemini krijgt bij Jos Ghysen toevallig het juiste eindlabel, maar voegt in de uitleg een nieuwe fout toe. Bij UHasselt is ook het eindoordeel zelf verkeerd. Beide antwoorden worden met 100% zekerheid gepresenteerd.
Claude
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Jos Ghysen | FOUT | Correct: Te bed of niet te bed liep niet tot 1994. | 90% |
| 2. Hasseltse koffie | JUIST | Correct: jenever vormt de typische alcoholische basis. | 85% |
| 3. Jenevermuseum | JUIST | Correct beoordeeld. | 90% |
| 4. Japanse Tuin | JUIST | Correct beoordeeld. | 90% |
| 5. Pukkelpop | FOUT | Correct en uitvoerig: Sanicole in 1988, Kiewit later en definitieve locatie vanaf 1992. | 90% |
| 6. Virga Jessefeesten | JUIST | Correct beoordeeld. | 90% |
| 7. Modemuseum | FOUT | Correct: de collectie wordt via wisselende tentoonstellingen getoond. | 85% |
| 8. UHasselt | FOUT | Correct: de universitaire activiteiten begonnen in Diepenbeek. | 85% |
| 9. Abdij van Herkenrode | JUIST | De 1217-datering wordt gevolgd, maar het conflict met een andere officiële erfgoedbron wordt niet vermeld. | 90% |
| 10. Sint-Quintinus | FOUT | Correct: rechtstreeks van dekanale parochiekerk naar kathedraal. | 90% |
Perplexity
Antwoord van het model| Stelling | Oordeel | Uitleg / correctie | Zekerheid |
|---|---|---|---|
| 1. Jos Ghysen | FOUT | Correct: Te bed of niet te bed stopte in 1990. | 95% |
| 2. Hasseltse koffie | JUIST | Correct beoordeeld. | 100% |
| 3. Jenevermuseum | JUIST | Correct en onderbouwd met Onroerend Erfgoed. | 100% |
| 4. Japanse Tuin | JUIST | Correct, maar alleen Wikipedia als bron. | 100% |
| 5. Pukkelpop | FOUT | Correct: Pukkelpop verhuisde in 1988 naar Sanicole en pas later naar Kiewit. | 95% |
| 6. Virga Jessefeesten | JUIST | Correct oordeel, maar opnieuw met een secundaire bron. | 100% |
| 7. Modemuseum | FOUT | Correct: tijdelijke tentoonstellingen in plaats van een permanente chronologische opstelling. | 90% |
| 8. UHasselt | FOUT | Correct eindoordeel, maar met een kleine onnauwkeurigheid over het openingsjaar van Campus Diepenbeek. | 95% |
| 9. Abdij van Herkenrode | JUIST | Perplexity volgt 1217 zonder het officiële bronnenconflict te signaleren. | 95% |
| 10. Sint-Quintinus | FOUT | Correct oordeel, maar met de Duitse Wikipedia als bron terwijl sterkere lokale bronnen bestaan. | 95% |
Perplexity heeft de gewone JUIST/FOUT-oordelen correct, maar gebruikt relatief vaak Wikipedia terwijl officiële bronnen beschikbaar zijn. In de samenvatting schrijft het bovendien “4 juiste stellingen” terwijl het er vijf opsomt.
ChatGPT wint opnieuw, Claude volgt heel dicht
Voor de score kijk ik naar het juiste oordeel, de uitleg en correctie, de bronkwaliteit en de manier waarop een model met tegenstrijdige informatie omgaat.
dit is geen algemene rangschikking van ChatGPT, Gemini, Claude en Perplexity. De scores gelden alleen voor deze specifieke Hasselt-test.
Gemini heeft het antwoord juist, maar de uitleg fout
De eerste stelling over Jos Ghysen moet inderdaad als FOUT worden beoordeeld. Gemini komt dus tot het correcte eindlabel.
Alleen doet het model dat gedeeltelijk om de verkeerde reden. Gemini beweert dat Jos Ghysen niet in Hasselt maar in Luik werd geboren.
Dat klopt niet. Jos Ghysen werd wel degelijk in Hasselt geboren.
De echte fout in onze stelling zit bij het radioprogramma Te bed of niet te bed. Dat liep van 1967 tot 1990 en dus niet tot 1994.
wanneer je alleen naar het label JUIST of FOUT kijkt, lijkt het antwoord van Gemini correct. Pas wanneer je ook de uitleg controleert, ontdek je dat het model zelf een nieuw fout feit heeft toegevoegd.
Werd Herkenrode in 1217 of 1271 cisterciënzerabdij?
Stelling 9 levert een ander probleem op. Verschillende betrouwbare erfgoedbronnen geven namelijk niet hetzelfde jaartal.
Herita en gedetailleerde erfgoedpublicaties vermelden 1217 als jaar waarin de Abdij van Herkenrode officieel werd opgenomen in de cisterciënzerorde.
Een actuele pagina van de Inventaris Onroerend Erfgoed vermeldt echter 1271.
De 1217-datering is historisch beter onderbouwd, maar het verschil tussen officiële bronnen kan niet zomaar genegeerd worden.
de testprompt vroeg uitdrukkelijk om tegenstrijdige betrouwbare bronnen te vermelden. ChatGPT is het enige model dat dit conflict daadwerkelijk signaleert.
Vier opvallende bevindingen
1. Gemini verzint een geboorteplaats
Jos Ghysen werd in Hasselt geboren. Gemini maakt daar Luik van, terwijl het tegelijk 100% zekerheid geeft.
2. Gemini gaat ook fout bij UHasselt
Het Limburgs Universitair Centrum begon in 1973 in Diepenbeek. Gemini plaatst de universitaire start foutief in het centrum van Hasselt.
3. Officiële bronnen spreken elkaar tegen
Bij Herkenrode duiken zowel 1217 als 1271 op in gezaghebbende erfgoedbronnen. Alleen ChatGPT wijst daar expliciet op.
4. Hasseltse koffie blijkt eenvoudig
Alle vier de modellen herkennen zonder probleem dat Hasseltse koffie met jenever wordt gemaakt en niet met whisky zoals Irish coffee.
Wat viel mij op bij de vier modellen?
ChatGPT
ChatGPT levert opnieuw de meest complete factcheck. Vooral het herkennen en benoemen van het bronnenconflict rond Herkenrode maakt hier het verschil.
Gemini
Gemini maakt één duidelijke beoordelingsfout bij UHasselt en voegt bij Jos Ghysen bovendien zelf een nieuw fout feit toe. Opnieuw gebeurt dat met zeer hoge zekerheid.
Claude
Claude zit inhoudelijk zeer dicht bij ChatGPT en geeft bij Pukkelpop zelfs de scherpste historische correctie. Het mist alleen het bronnenconflict bij Herkenrode.
Perplexity
Perplexity heeft de gewone eindoordelen grotendeels goed, maar gebruikt vaak secundaire bronnen en maakt enkele kleine fouten in uitleg en samenvatting.
Een juist label kan een foute uitleg verbergen
De Hasselt-test laat opnieuw zien waarom je een AI-factcheck niet mag beoordelen op één woord als JUIST of FOUT.
Het beste voorbeeld is Jos Ghysen. Gemini geeft de stelling terecht het label FOUT, maar beweert in dezelfde uitleg verkeerdelijk dat hij in Luik geboren werd.
ChatGPT wint de Hasselt-test met 29 op 30. Claude volgt zeer dicht. Perplexity levert een degelijke test af, terwijl Gemini opnieuw problemen heeft met zowel feitelijke precisie als overmatige zekerheid.
Herkenrode levert nog een tweede belangrijke les op: soms ligt het probleem niet bij AI, maar bij de bronnen zelf. Wanneer betrouwbare bronnen elkaar tegenspreken, hoort een goede AI-assistent dat conflict zichtbaar te maken in plaats van één versie zonder voorbehoud als zekerheid te presenteren.
Bekijk de bronnen van de factcheckBronnen gebruikt bij de controle
Voor de analyse heb ik de antwoorden van ChatGPT, Gemini, Claude en Perplexity zelf opnieuw gecontroleerd. Waar mogelijk gebruikte ik officiële, primaire of gezaghebbende bronnen.
- VRT NWS – Jos Ghysen en zijn radioprogramma’s
- DBNL – biografische gegevens van Jos Ghysen
- Colruyt – Hasseltse koffie met jenever
- Jenevermuseum Hasselt
- Inventaris Onroerend Erfgoed – voormalige stokerij Stellingwerff/Theunissen
- Inventaris Onroerend Erfgoed – Japanse Tuin Hasselt
- Pukkelpop – officiële festivalsite
- Immaterieel Erfgoed Vlaanderen – Virga Jessefeesten
- Modemuseum Hasselt
- UHasselt – geschiedenis en eerste academiejaar
- Herita – geschiedenis van de Abdij van Herkenrode
- Inventaris Onroerend Erfgoed – Abdij van Herkenrode
- Beiaard.org – Sint-Quintinuskathedraal Hasselt
De Hasselt-test bevat twee mooie voorbeelden van waarom broncontrole noodzakelijk blijft. Bij Jos Ghysen geeft Gemini het juiste eindlabel maar een foutieve uitleg. Bij Herkenrode spreken betrouwbare erfgoedbronnen elkaar zelfs tegen over het jaartal 1217 of 1271. Een goede factcheck moet beide situaties zichtbaar maken.
Deze test maakt deel uit van een reeks AiLabo.eu testen die we hebben uitgevoerd. Bekijk ook onze bevindingen over de betrouwbaarheid van AI modellen.