Hasselt door de ogen van AI

Hoe goed kent AI Hasselt?

Jos Ghysen, Hasseltse koffie, jenever, Pukkelpop, de Japanse Tuin, UHasselt en de Virga Jessefeesten: hoe goed kennen ChatGPT, Gemini, Claude en Perplexity de hoofdstad van Limburg?

De test

Tien Hasseltse stellingen met kleine maar belangrijke details

Ik gaf ChatGPT, Gemini, Claude en Perplexity exact dezelfde tien stellingen over Hasselt. De modellen wisten niet hoeveel uitspraken juist of fout waren.

De onderwerpen zijn bewust gevarieerd: mediafiguur Jos Ghysen, Hasseltse koffie, het Jenevermuseum, de Japanse Tuin, Pukkelpop, de Virga Jessefeesten, het Modemuseum, UHasselt, de Abdij van Herkenrode en de Sint-Quintinuskathedraal.

Verschillende uitspraken bestaan uit meerdere correcte onderdelen en één fout detail. De modellen moesten daarom altijd de volledige stelling beoordelen.

Waar let ik op?
Niet alleen op JUIST of FOUT, maar ook op de uitleg, de correctie, de gebruikte bronnen en de vraag of een model eventuele tegenstrijdigheden tussen betrouwbare bronnen opmerkt.
De exacte opdracht

De originele testprompt

Alle vier de AI-assistenten kregen dezelfde prompt.

Beoordeel de volgende 10 stellingen over Hasselt. Controleer elke stelling afzonderlijk. Ga er niet vanuit dat de informatie die ik geef correct is. Geef voor iedere stelling: 1. Oordeel: JUIST, FOUT of ONVOLDOENDE BEWIJS 2. Uitleg: leg kort uit waarom 3. Correctie: als de stelling fout is, geef dan de juiste informatie 4. Bron: geef minstens één betrouwbare bron waarmee je je oordeel hebt gecontroleerd 5. Zekerheid: geef aan hoe zeker je bent op een schaal van 0 tot 100% Gebruik bij voorkeur officiële, primaire of gezaghebbende bronnen. Als betrouwbare bronnen elkaar tegenspreken, vermeld dat dan. Verzin geen ontbrekende informatie. Kun je iets niet betrouwbaar controleren, kies dan ONVOLDOENDE BEWIJS. Beoordeel altijd de volledige stelling. Wanneer een stelling uit meerdere onderdelen bestaat en één belangrijk onderdeel fout is, mag je de volledige stelling niet als JUIST beoordelen. Leg in dat geval duidelijk uit welk deel wel klopt en welk deel niet. De stellingen: 1. De in Hasselt geboren Jos Ghysen begon zijn radioloopbaan in 1954. Zijn cursiefjesprogramma Het Schurend Scharniertje liep van 1954 tot 1994 en ook zijn bekende zaterdagprogramma Te bed of niet te bed bleef tot 1994 op de radio. 2. Een klassieke Hasseltse koffie wordt gemaakt met sterke koffie, Hasseltse jenever, suiker en opgeklopte room. Het is dus niet whisky, zoals bij Irish coffee, maar jenever die voor de typische Hasseltse alcoholische toets zorgt. 3. Het Jenevermuseum bevindt zich in de voormalige stokerij Stellingwerff/Theunissen. Die site werd in 1975 beschermd als het eerste industrieel-archeologische monument van Vlaanderen en het museum opende er in 1987 zijn deuren. 4. De Japanse Tuin ontstond uit de stedenband tussen Hasselt en het Japanse Itami, die sinds 1985 bestaat. De tuin werd in 1992 geopend, beslaat ongeveer 2,5 hectare en geldt als de grootste Japanse tuin van Europa. 5. Pukkelpop begon in 1985 als een klein festival in Leopoldsburg. In 1988 verhuisde het festival naar Kiewit in Hasselt, waar het sindsdien op dezelfde locatie wordt georganiseerd. 6. De zevenjaarlijkse Virga Jessefeesten gaan terug tot 1682. Centraal staat een Mariabeeld uit het begin van de 14de eeuw dat tijdens de ommegang door Hasselt wordt gedragen. 7. Modemuseum Hasselt werd in 1988 opgericht en bevindt zich in het voormalige Grauwzustersklooster. De collectie wordt er permanent chronologisch tentoongesteld, zodat bezoekers altijd de ontwikkeling van de westerse mode vanaf ongeveer 1750 tot vandaag kunnen volgen. 8. De voorloper van UHasselt werd in 1971 bij wet opgericht als Limburgs Universitair Centrum. Het eerste academiejaar startte in 1973 op een campus in het centrum van Hasselt; pas later verhuisde de universiteit haar hoofdactiviteiten naar Diepenbeek. 9. De Abdij van Herkenrode was een vrouwenabdij en werd in 1217 officieel opgenomen in de cisterciënzerorde. Ze groeide uit tot een van de belangrijkste cisterciënzerinnenabdijen van de Nederlanden en verschillende graven van Loon werden er begraven. 10. De Sint-Quintinuskerk werd in 1967 kathedraal toen het bisdom Hasselt werd opgericht. De kerk had voordien al de status van collegiale kerk en werd daardoor rechtstreeks van collegiale kerk tot kathedraal verheven. Zet je antwoord in een overzichtelijke tabel met de kolommen: Stelling | Oordeel | Uitleg/correctie | Bron | Zekerheid Geef na de tabel ook een korte samenvatting met: – welke stellingen volgens jou JUIST zijn – welke stellingen volgens jou FOUT zijn – welke stellingen volgens jou ONVOLDOENDE BEWIJS hebben – welke twee stellingen je het moeilijkst vond om betrouwbaar te beoordelen

ChatGPT

Antwoord van het model
Stelling Oordeel Uitleg / correctie Zekerheid
1. Jos Ghysen FOUT Correct: Het Schurend Scharniertje liep tot 1994, maar Te bed of niet te bed stopte in 1990. 99%
2. Hasseltse koffie JUIST Correct: de typische alcoholische basis is Hasseltse jenever en geen whisky. 93%
3. Jenevermuseum JUIST Correct: voormalige stokerij Stellingwerff/Theunissen, beschermd in 1975 en museum sinds 1987. 99%
4. Japanse Tuin JUIST Correct: stedenband vanaf 1985, tuin geopend in 1992 en ongeveer 2,5 hectare groot. 98%
5. Pukkelpop FOUT Correct oordeel: 1988 was niet het verhuisjaar naar Kiewit. De historische locatiegeschiedenis is complexer. 97%
6. Virga Jessefeesten JUIST Correct: zevenjaarlijkse traditie vanaf 1682 en een Mariabeeld uit de 14de eeuw. 98%
7. Modemuseum FOUT Correct: het museum heeft geen permanente chronologische collectiepresentatie. 100%
8. UHasselt FOUT Correct: het eerste academiejaar begon in 1973 in Diepenbeek, niet in het centrum van Hasselt. 100%
9. Abdij van Herkenrode JUIST ChatGPT kiest 1217, maar merkt als enige expliciet op dat een actuele officiële erfgoedbron 1271 vermeldt. 94%
10. Sint-Quintinus FOUT Correct: de kerk werd in 1967 kathedraal, maar was voordien geen collegiale kerk. 99%
Samengevat: ChatGPT levert de sterkste Hasselt-test en is bovendien het enige model dat het bronnenconflict rond Herkenrode expliciet signaleert.

Gemini

Antwoord van het model
Stelling Oordeel Uitleg / correctie Zekerheid
1. Jos Ghysen FOUT Het eindoordeel is correct, maar Gemini beweert foutief dat Jos Ghysen in Luik werd geboren. Hij werd wel degelijk in Hasselt geboren. 100%
2. Hasseltse koffie JUIST Correct beoordeeld. 100%
3. Jenevermuseum JUIST Correct beoordeeld. 100%
4. Japanse Tuin JUIST Correct beoordeeld. 100%
5. Pukkelpop FOUT Correct: in 1988 verhuisde Pukkelpop naar Sanicole en niet naar Kiewit. 100%
6. Virga Jessefeesten JUIST Correct beoordeeld. 100%
7. Modemuseum FOUT Correct: geen permanente chronologische collectieopstelling. 100%
8. UHasselt JUIST Fout. Het Limburgs Universitair Centrum startte in 1973 in Diepenbeek, niet in het centrum van Hasselt. 100%
9. Abdij van Herkenrode JUIST Gemini volgt de 1217-datering maar vermeldt het officiële bronnenconflict niet. 100%
10. Sint-Quintinus FOUT Correct: de kerk was voordien geen collegiale kerk. 100%
Opvallend:
Gemini krijgt bij Jos Ghysen toevallig het juiste eindlabel, maar voegt in de uitleg een nieuwe fout toe. Bij UHasselt is ook het eindoordeel zelf verkeerd. Beide antwoorden worden met 100% zekerheid gepresenteerd.

Claude

Antwoord van het model
Stelling Oordeel Uitleg / correctie Zekerheid
1. Jos Ghysen FOUT Correct: Te bed of niet te bed liep niet tot 1994. 90%
2. Hasseltse koffie JUIST Correct: jenever vormt de typische alcoholische basis. 85%
3. Jenevermuseum JUIST Correct beoordeeld. 90%
4. Japanse Tuin JUIST Correct beoordeeld. 90%
5. Pukkelpop FOUT Correct en uitvoerig: Sanicole in 1988, Kiewit later en definitieve locatie vanaf 1992. 90%
6. Virga Jessefeesten JUIST Correct beoordeeld. 90%
7. Modemuseum FOUT Correct: de collectie wordt via wisselende tentoonstellingen getoond. 85%
8. UHasselt FOUT Correct: de universitaire activiteiten begonnen in Diepenbeek. 85%
9. Abdij van Herkenrode JUIST De 1217-datering wordt gevolgd, maar het conflict met een andere officiële erfgoedbron wordt niet vermeld. 90%
10. Sint-Quintinus FOUT Correct: rechtstreeks van dekanale parochiekerk naar kathedraal. 90%
Samengevat: Claude scoort zeer sterk en geeft bij Pukkelpop zelfs de meest gedetailleerde historische correctie. Het belangrijkste gemiste punt is het bronnenconflict bij Herkenrode.

Perplexity

Antwoord van het model
Stelling Oordeel Uitleg / correctie Zekerheid
1. Jos Ghysen FOUT Correct: Te bed of niet te bed stopte in 1990. 95%
2. Hasseltse koffie JUIST Correct beoordeeld. 100%
3. Jenevermuseum JUIST Correct en onderbouwd met Onroerend Erfgoed. 100%
4. Japanse Tuin JUIST Correct, maar alleen Wikipedia als bron. 100%
5. Pukkelpop FOUT Correct: Pukkelpop verhuisde in 1988 naar Sanicole en pas later naar Kiewit. 95%
6. Virga Jessefeesten JUIST Correct oordeel, maar opnieuw met een secundaire bron. 100%
7. Modemuseum FOUT Correct: tijdelijke tentoonstellingen in plaats van een permanente chronologische opstelling. 90%
8. UHasselt FOUT Correct eindoordeel, maar met een kleine onnauwkeurigheid over het openingsjaar van Campus Diepenbeek. 95%
9. Abdij van Herkenrode JUIST Perplexity volgt 1217 zonder het officiële bronnenconflict te signaleren. 95%
10. Sint-Quintinus FOUT Correct oordeel, maar met de Duitse Wikipedia als bron terwijl sterkere lokale bronnen bestaan. 95%
Opvallend:
Perplexity heeft de gewone JUIST/FOUT-oordelen correct, maar gebruikt relatief vaak Wikipedia terwijl officiële bronnen beschikbaar zijn. In de samenvatting schrijft het bovendien “4 juiste stellingen” terwijl het er vijf opsomt.
De uitslag

ChatGPT wint opnieuw, Claude volgt heel dicht

Voor de score kijk ik naar het juiste oordeel, de uitleg en correctie, de bronkwaliteit en de manier waarop een model met tegenstrijdige informatie omgaat.

🥇 ChatGPT 29 / 30 Sterke factcheck en als enige aandacht voor het bronnenconflict rond Herkenrode.
🥈 Claude 28 / 30 Zeer sterk en bijzonder goed bij Pukkelpop, maar mist de tegenstrijdige Herkenrode-bronnen.
🥉 Perplexity 25,5 / 30 Goede eindoordelen, maar zwakkere bronkeuze en enkele kleine onnauwkeurigheden.
Gemini 23,5 / 30 Eén verkeerd eindoordeel bij UHasselt en bovendien een nieuwe feitelijke fout in de uitleg over Jos Ghysen.
Belangrijk:
dit is geen algemene rangschikking van ChatGPT, Gemini, Claude en Perplexity. De scores gelden alleen voor deze specifieke Hasselt-test.
Opvallende fout

Gemini heeft het antwoord juist, maar de uitleg fout

De eerste stelling over Jos Ghysen moet inderdaad als FOUT worden beoordeeld. Gemini komt dus tot het correcte eindlabel.

Alleen doet het model dat gedeeltelijk om de verkeerde reden. Gemini beweert dat Jos Ghysen niet in Hasselt maar in Luik werd geboren.

Dat klopt niet. Jos Ghysen werd wel degelijk in Hasselt geboren.

De echte fout in onze stelling zit bij het radioprogramma Te bed of niet te bed. Dat liep van 1967 tot 1990 en dus niet tot 1994.

Waarom dit belangrijk is:
wanneer je alleen naar het label JUIST of FOUT kijkt, lijkt het antwoord van Gemini correct. Pas wanneer je ook de uitleg controleert, ontdek je dat het model zelf een nieuw fout feit heeft toegevoegd.
Bronnenconflict

Werd Herkenrode in 1217 of 1271 cisterciënzerabdij?

Stelling 9 levert een ander probleem op. Verschillende betrouwbare erfgoedbronnen geven namelijk niet hetzelfde jaartal.

Herita en gedetailleerde erfgoedpublicaties vermelden 1217 als jaar waarin de Abdij van Herkenrode officieel werd opgenomen in de cisterciënzerorde.

Een actuele pagina van de Inventaris Onroerend Erfgoed vermeldt echter 1271.

De 1217-datering is historisch beter onderbouwd, maar het verschil tussen officiële bronnen kan niet zomaar genegeerd worden.

Hier onderscheidt ChatGPT zich:
de testprompt vroeg uitdrukkelijk om tegenstrijdige betrouwbare bronnen te vermelden. ChatGPT is het enige model dat dit conflict daadwerkelijk signaleert.
Waar liep het uiteen?

Vier opvallende bevindingen

1. Gemini verzint een geboorteplaats

Jos Ghysen werd in Hasselt geboren. Gemini maakt daar Luik van, terwijl het tegelijk 100% zekerheid geeft.

2. Gemini gaat ook fout bij UHasselt

Het Limburgs Universitair Centrum begon in 1973 in Diepenbeek. Gemini plaatst de universitaire start foutief in het centrum van Hasselt.

3. Officiële bronnen spreken elkaar tegen

Bij Herkenrode duiken zowel 1217 als 1271 op in gezaghebbende erfgoedbronnen. Alleen ChatGPT wijst daar expliciet op.

4. Hasseltse koffie blijkt eenvoudig

Alle vier de modellen herkennen zonder probleem dat Hasseltse koffie met jenever wordt gemaakt en niet met whisky zoals Irish coffee.

Mijn indruk

Wat viel mij op bij de vier modellen?

ChatGPT

ChatGPT levert opnieuw de meest complete factcheck. Vooral het herkennen en benoemen van het bronnenconflict rond Herkenrode maakt hier het verschil.

Gemini

Gemini maakt één duidelijke beoordelingsfout bij UHasselt en voegt bij Jos Ghysen bovendien zelf een nieuw fout feit toe. Opnieuw gebeurt dat met zeer hoge zekerheid.

Claude

Claude zit inhoudelijk zeer dicht bij ChatGPT en geeft bij Pukkelpop zelfs de scherpste historische correctie. Het mist alleen het bronnenconflict bij Herkenrode.

Perplexity

Perplexity heeft de gewone eindoordelen grotendeels goed, maar gebruikt vaak secundaire bronnen en maakt enkele kleine fouten in uitleg en samenvatting.

Conclusie

Een juist label kan een foute uitleg verbergen

De Hasselt-test laat opnieuw zien waarom je een AI-factcheck niet mag beoordelen op één woord als JUIST of FOUT.

Het beste voorbeeld is Jos Ghysen. Gemini geeft de stelling terecht het label FOUT, maar beweert in dezelfde uitleg verkeerdelijk dat hij in Luik geboren werd.

ChatGPT wint de Hasselt-test met 29 op 30. Claude volgt zeer dicht. Perplexity levert een degelijke test af, terwijl Gemini opnieuw problemen heeft met zowel feitelijke precisie als overmatige zekerheid.

Herkenrode levert nog een tweede belangrijke les op: soms ligt het probleem niet bij AI, maar bij de bronnen zelf. Wanneer betrouwbare bronnen elkaar tegenspreken, hoort een goede AI-assistent dat conflict zichtbaar te maken in plaats van één versie zonder voorbehoud als zekerheid te presenteren.

Bekijk de bronnen van de factcheck
Factcheck

Bronnen gebruikt bij de controle

Voor de analyse heb ik de antwoorden van ChatGPT, Gemini, Claude en Perplexity zelf opnieuw gecontroleerd. Waar mogelijk gebruikte ik officiële, primaire of gezaghebbende bronnen.

Bronnen zijn belangrijk:
De Hasselt-test bevat twee mooie voorbeelden van waarom broncontrole noodzakelijk blijft. Bij Jos Ghysen geeft Gemini het juiste eindlabel maar een foutieve uitleg. Bij Herkenrode spreken betrouwbare erfgoedbronnen elkaar zelfs tegen over het jaartal 1217 of 1271. Een goede factcheck moet beide situaties zichtbaar maken.

Deze test maakt deel uit van een reeks AiLabo.eu testen die we hebben uitgevoerd. Bekijk ook onze bevindingen over de betrouwbaarheid van AI modellen.

Similar Posts