Kent AI Gent beter dan de Gentenaars?

Persbericht

Kent AI Gent beter dan de Gentenaars?

Hoe goed kent artificiële intelligentie Gent eigenlijk?

AiLabo.eu nam de proef op de som en legde ChatGPT, Gemini, Claude en Perplexity tien uitspraken over Gent voor. Het ging over echte Gentse klassiekers zoals het Gravensteen, het Lam Gods en de Gentse Feesten, maar evengoed over het Circulatieplan, De Krook, het Wintercircus, KAA Gent en Donderdag Veggiedag.

De opdracht was simpel: juist of fout?

Toch bleek zelfs een vraag over de Gentse Feesten voldoende om de AI-modellen uit elkaar te spelen.

ChatGPT kwam als beste uit de test, met Claude op de tweede plaats. Gemini eindigde derde. Perplexity kreeg geen plaats in de oorspronkelijke rangschikking, en net daar zit misschien wel de opvallendste wending van de test.

100% zeker en toch fout

Vooral Gemini liet zich een paar keer verrassen. Zo beweerde het model dat het Gentse Circulatieplan en de Lage-Emissiezone allebei in 2017 werden ingevoerd.

Het Circulatieplan ging inderdaad in 2017 van start, maar voor de Gentse Lage-Emissiezone was het wachten tot 2020.

Opvallend detail: Gemini gaf zichzelf bij dat foute antwoord een zekerheid van 100 procent.

Ook de Gentse Feesten bleken een valstrik. Gemini vond de uitspraak dat de meeste activiteiten gratis toegankelijk zijn te sterk en beoordeelde ze daarom als fout. Volgens de officiële organisatie zijn de meeste activiteiten wel degelijk gratis.

Perplexity heeft alles juist, maar pas nadat het nog eens gevraagd wordt

De vreemdste prestatie kwam van Perplexity.

Het model voerde de oorspronkelijke opdracht niet uit en vroeg eerst toestemming om een webcheck te doen. Pas na de extra opdracht “doe webcheck” verscheen de gevraagde factcheck.

En toen gebeurde iets merkwaardigs: inhoudelijk beoordeelde Perplexity alle tien de Gentse stellingen correct.

Toch werd het model niet tot winnaar uitgeroepen. ChatGPT, Gemini en Claude kregen immers exact dezelfde oorspronkelijke opdracht en voerden die onmiddellijk uit. Perplexity had een tweede opdracht nodig.

Moraal van het verhaal?

AI weet verrassend veel over Gent. Maar de test toont ook hoe gevaarlijk het kan zijn om een zelfverzekerd antwoord automatisch voor waar aan te nemen.

Een AI-model kan honderd procent zeker zijn en toch drie jaar naast de juiste datum zitten.

En soms kent een model alle juiste antwoorden, maar moet je het blijkbaar eerst nog overtuigen om ze te geven.

De volledige test met alle tien stellingen, antwoorden en de volledige vergelijking staat op:

Hoe goed kent AI Gent?

Bron: AiLabo.eu – praktijktest van ChatGPT, Gemini, Claude en Perplexity over Gent.