Kent AI de Kempen beter dan de Kempenaren?

Kent AI de Kempen beter dan de Kempenaren?

Hoe goed kent artificiële intelligentie de Kempen eigenlijk?

AiLabo.eu nam de proef op de som en legde ChatGPT, Gemini, Claude en Perplexity tien uitspraken over de Kempen voor. De vragen kwamen uit Essen, Hoogstraten, Baarle-Hertog, Ravels, Turnhout, Kasterlee, Herentals, Geel, Mol en Lommel.

De opdracht was eenvoudig: juist of fout? De modellen moesten hun oordeel uitleggen, eventuele fouten corrigeren en betrouwbare bronnen vermelden.

De onderwerpen waren herkenbaar: aardbeien, enclaves, speelkaarten, wielrennen, festivals, toeristische plaatsen en lokale tradities. Toch bleek één verkeerd geïnterpreteerd detail voldoende om de mist in te gaan.

ChatGPT kwam als beste uit de test. Perplexity eindigde op de tweede plaats, Gemini werd derde en Claude sloot de rangschikking af.

ChatGPT en Perplexity beoordeelden alle tien de stellingen correct. Perplexity verloor terrein door vaker secundaire bronnen te gebruiken en een kleine fout in zijn samenvatting. Gemini en Claude maakten elk één duidelijke beoordelingsfout.

“Keizer van Herentals” blijkt geen geboorteplaats

Een van de opvallendste vragen ging over wielerlegende Rik Van Looy.

De stelling beweerde dat hij in Herentals werd geboren, de bijnaam “Keizer van Herentals” kreeg en vandaag met een monument op de Grote Markt wordt geëerd.

Het grootste deel daarvan klopt. Rik Van Looy is onlosmakelijk met Herentals verbonden en kreeg er inderdaad een monument. Maar hij werd niet in Herentals geboren. Zijn geboorteplaats is Grobbendonk.

Gemini beoordeelde de volledige stelling toch als juist. Het model gaf zichzelf daarbij 100 procent zekerheid.

AI kende dus wel de sterke band tussen Rik Van Looy en Herentals, maar maakte daar ten onrechte een extra biografisch feit van.

Claude rijdt verloren op het Bels Lijntje

Ook het Bels Lijntje zorgde voor verwarring.

De fietsroute volgt grotendeels het tracé van de vroegere spoorverbinding tussen Turnhout en Tilburg, loopt door Ravels en is over ruim 37 kilometer grotendeels autovrij.

Claude vond tijdens zijn controle andere afstandscijfers, onder meer trajecten van 27 tot 31 kilometer. Het model besloot daarom dat de volledige stelling fout was.

De gevonden cijfers konden op zichzelf naar een bepaald deeltraject verwijzen. De officiële toeristische informatie van Ravels beschrijft het Bels Lijntje echter wel degelijk als een traject van ruim 37 kilometer.

Claude vond dus relevante informatie, maar gebruikte die voor een andere afbakening van de route.

De Pompoenregatta is niet in Bobbejaanland

Een andere lokale valstrik draaide rond de bekende Pompoenregatta van Kasterlee.

Dat deelnemers in uitgeholde reuzenpompoenen over het water varen, klopt. Ook Bobbejaanland ligt in Lichtaart. Toch vindt de wedstrijd niet in het pretpark plaats, maar bij de Ark van Noë.

ChatGPT, Gemini en Perplexity corrigeerden de locatie. Claude merkte eveneens dat de stelling fout was, maar kon de exacte plaats niet duidelijk achterhalen.

Het is precies het soort fout dat geloofwaardig klinkt: twee bekende attracties uit dezelfde gemeente worden samengevoegd tot één onjuist verhaal.

Moraal van het verhaal?

AI blijkt de Kempen behoorlijk goed te kennen. De modellen hadden weinig moeite met de speelkaartenstad Turnhout, Reggae Geel, het wielerpalmares van Tom Boonen en de enclaves van Baarle.

Maar de test toont opnieuw dat een zelfverzekerd AI-antwoord niet automatisch correct is.

Vooral sterke associaties en verschillende afbakeningen blijken verraderlijk. “Keizer van Herentals” wordt plots een geboorteplaats en een korter deeltraject wordt gebruikt om de volledige lengte van een fietsroute af te wijzen.

Lokale kennis blijft daarom een interessante test voor AI: de grote lijnen zijn meestal bekend, maar één klein detail kan het volledige antwoord fout maken.

De volledige test met alle tien stellingen, antwoorden, bronnen en de volledige vergelijking staat op:

Hoe goed kent AI de Kempen?

Bron: AiLabo.eu – praktijktest van ChatGPT, Gemini, Claude en Perplexity over de Kempen.