Gemini had duidelijk de minste beurten nodig
beurten voor vijf personen
Gemiddeld: 6,0 per persoon
beurten voor vijf personen
Gemiddeld: 9,2 per persoon
beurten voor vijf personen
Gemiddeld: 9,6 per persoon
Als we alleen kijken naar het aantal beurten, is Gemini dus de duidelijke winnaar. Het model had ongeveer een derde minder stappen nodig dan de twee andere modellen.
Belangrijk bij deze uitslag
Dit is een praktijktest, geen algemene rangschikking van AI-modellen
We gebruikten slechts vijf bekende personen. Bovendien bepaalden Gemini, Claude en Perplexity zelf welke vragen ze stelden en kregen ze daardoor niet op ieder moment exact dezelfde informatie.
De resultaten zeggen dus iets over deze vijf spelrondes. Ze bewijzen niet dat één model in het algemeen slimmer, sneller of beter is dan de andere modellen.
Drie modellen, drie verschillende speelstijlen
De snelle uitsluiter
Gemini stelde relatief snel vragen die grote groepen mogelijke antwoorden uitsloten. Zodra het voldoende aanwijzingen had, durfde het ook vrij snel te gokken.
De voorzichtige detective
Claude wilde veel eigenschappen verzamelen voordat het een antwoord gaf. Die voorzichtige aanpak zorgde ervoor dat het vaak extra vragen stelde die niet altijd nodig waren.
De praatgrage speurder
Perplexity bouwde uitgebreid een profiel op van de gezochte persoon. Soms werkte dat goed, maar soms begon het ook zelf informatie of vermoedens toe te voegen.
Hoe speelden we “Wie ben ik?”
In eerste instantie wilden we de modellen telkens vijf duidelijke hints geven. Dat bleek echter veel te eenvoudig. Zodra een model bijvoorbeeld hoorde dat iemand Portugees was, voetbalde en in Saoedi-Arabië speelde, was Cristiano Ronaldo natuurlijk snel gevonden.
Daarom veranderden we de spelregels.
Elk model kreeg bij het begin van een ronde slechts één zeer algemene aanwijzing. Daarna moest het model zelf vragen stellen.
Ik ben een bekende Nederlander.
Je mag mij vragen stellen om te achterhalen wie ik ben.
Dat was bijvoorbeeld de volledige startinformatie bij Frans Bauer.
Het AI-model moest daarna zelf beslissen welke vragen nuttig waren. Ging het om een man of vrouw? Muziek of sport? Solo of groep? Leeftijd? Nationaliteit? Televisie? Een specifieke club?
Daardoor testten we niet alleen of een model een bekende persoon kon herkennen, maar vooral hoe het probeerde om bij het antwoord te komen.
Vijf bekende en bewust luchtige personen
We wilden geen obscure wetenschappers of historische figuren gebruiken. Het moest een toegankelijk spel blijven met mensen die bij een breed Vlaams en Nederlands publiek bekend zijn.
1. Frans Bauer
Nederlandse zanger en bekende naam uit het levenslied en de schlager.
2. Gert Verhulst
Vlaamse presentator, ondernemer en bekende naam uit televisie en familie-entertainment.
3. Cristiano Ronaldo
Een van de bekendste internationale voetballers.
4. Taylor Swift
Amerikaanse zangeres en songwriter met een wereldwijde carrière.
5. Rowan Atkinson
Britse acteur en komiek, wereldwijd bekend door onder andere Mr. Bean.
De bedoeling was niet dat alle vijf personen exact even moeilijk zouden zijn. We wilden vooral zien hoe de modellen met verschillende soorten bekende personen omgingen.
Hoeveel beurten had elk model nodig?
| Persoon | Gemini | Claude | Perplexity |
|---|---|---|---|
| Frans Bauer | 7 | 9 | 13 |
| Gert Verhulst | 7 | 11 | 12 |
| Cristiano Ronaldo | 9 | 10 | 9 |
| Taylor Swift | 4 | 9 | 6 |
| Rowan Atkinson | 3 | 9 | 6 |
| Totaal | 30 | 48 | 46 |
| Gemiddeld | 6,0 | 9,6 | 9,2 |
De verschillen waren niet bij iedere persoon even groot
Frans Bauer
Gemini kwam na 7 beurten bij Frans Bauer uit. Claude had er 9 nodig. Perplexity deed er aanzienlijk langer over.
Vooral bij Perplexity zagen we hoe een zoektocht kan blijven uitdijen. Het model had al vastgesteld dat het ging om een Nederlandse mannelijke solozanger, actief in levenslied en schlager en bekend geworden in de jaren negentig. Toch bleef het nog verschillende mogelijkheden aftasten.
Gert Verhulst
Ook hier was Gemini met 7 beurten duidelijk sneller. Claude had 11 beurten nodig en Perplexity 12.
Bij Perplexity werd het bijzonder opvallend. Het model wist uiteindelijk dat we een Vlaamse presentator zochten, bekend geworden in de jaren negentig via een jeugdprogramma bij de openbare omroep, met een vast duo waarvan één personage een hond was.
Toch was zelfs dat nog niet voldoende om onmiddellijk aan Gert Verhulst te denken. Pas toen de naam Samson viel, kwam het antwoord.
Cristiano Ronaldo
Hier lagen Gemini en Perplexity vrijwel gelijk: beide hadden 9 beurten nodig. Claude kwam op 10.
Zodra duidelijk werd dat het ging om een nog actieve Europese voetballer die in Saoedi-Arabië speelt, werd het zoekveld natuurlijk snel kleiner.
Taylor Swift
Hier was Gemini opvallend snel. Na amper 4 beurten kwam het juiste antwoord.
Perplexity had 6 beurten nodig. Claude ging veel systematischer te werk en gebruikte 9 beurten.
Rowan Atkinson
Dit was de snelste ronde van de hele test. Gemini had slechts 3 beurten nodig.
Zodra duidelijk werd dat het om een Britse acteur en komiek ging die vooral bekend was van iconische televisiepersonages, gokte Gemini vrijwel meteen Rowan Atkinson.
Perplexity had 6 beurten nodig en Claude opnieuw 9.
Gemini speelde als een snelle uitsluiter
Van de drie modellen kwam Gemini gemiddeld het snelst bij het juiste antwoord. Dat lijkt vooral te komen doordat het relatief snel vragen stelde waarmee veel mogelijke kandidaten tegelijk konden worden uitgesloten.
Bij Cristiano Ronaldo ging de zoektocht bijvoorbeeld ongeveer in deze richting:
Dat is een efficiënte manier van zoeken. Iedere volgende vraag verkleint de groep mogelijke antwoorden behoorlijk sterk.
Bij Taylor Swift ging het nog sneller:
En bij Rowan Atkinson:
Wat lijkt Gemini hier te doen?
Gemini lijkt relatief sterk te zoeken naar vragen die veel informatie opleveren. Het probeert niet eerst een volledig profiel van iemand samen te stellen. Zodra er voldoende onderscheidende kenmerken zijn, waagt het een gok.
In een spel als Wie ben ik? is dat een goede strategie. Je wint immers niet door zoveel mogelijk correcte kenmerken te verzamelen, maar door zo snel mogelijk bij de juiste persoon uit te komen.
Daar zit theoretisch ook een risico aan. Een model dat sneller een richting kiest, kan bij een verkeerde eerste inschatting ook sneller op een verkeerd spoor terechtkomen.
Dat gebeurde in deze vijf rondes echter nauwelijks.
Onze typering: Gemini was de snelle uitsluiter.
Claude speelde als een voorzichtige detective
Claude eindigde met 48 beurten als traagste van de drie. Maar dat betekent niet dat Claude willekeurig te werk ging.
Integendeel: het patroon was opvallend systematisch.
Claude leek telkens eerst een vrij volledig profiel van de persoon te willen opbouwen voordat het een naam durfde noemen.
Daarbij kwamen bepaalde soorten vragen regelmatig terug:
Ben je actief in politiek?
Ben je een man of vrouw?
Ben je jonger dan 50?
Ben je ouder dan 65?
Op zichzelf zijn dat allemaal logische vragen. Het probleem is dat ze in dit spel niet altijd de meest efficiënte vragen zijn.
Het leeftijdsvoorbeeld
Bij Cristiano Ronaldo wist Claude op een bepaald moment al dat we zochten naar een nog actieve Europese voetballer.
Een zeer krachtige volgende vraag had bijvoorbeeld kunnen zijn:
Of:
Claude koos echter eerst voor:
Nee.
Daarna volgde:
Claude gebruikte dus twee aparte beurten om de leeftijd verder af te bakenen. Dat levert informatie op, maar relatief weinig in vergelijking met nationaliteit, competitie of club.
Hetzelfde patroon zagen we vaker
Ook bij Taylor Swift vroeg Claude eerst of ze jonger dan 40 was en daarna of ze jonger dan 30 was.
Bij Rowan Atkinson werd eerst gevraagd of hij jonger dan 50 was en vervolgens of hij ouder dan 65 was.
Dit lijkt op een soort algemene beslisboom: Claude verzamelt stukje voor stukje eigenschappen en vermijdt lang om een concreet antwoord te gokken.
In Wie ben ik? kost dat veel beurten. Maar in andere situaties hoeft voorzichtigheid natuurlijk geen nadeel te zijn. Bij een moeilijke analyse kan het juist nuttig zijn dat een model niet te snel een conclusie trekt.
Onze typering: Claude was de voorzichtige detective.
Perplexity bouwde voortdurend een dossier op
Perplexity eindigde met 46 beurten tussen Gemini en Claude. Toch lijkt zijn aanpak niet simpelweg een gemiddelde van de twee andere modellen.
Perplexity deed iets opvallends: het herhaalde regelmatig wat het inmiddels al wist.
Daarna volgde pas de volgende vraag.
Daardoor leek het model voortdurend een klein dossier op te bouwen. Dat kan helpen om de beschikbare informatie netjes bij te houden, maar het maakt de aanpak ook omslachtiger.
Sterker bij de internationale namen
Bij Cristiano Ronaldo had Perplexity 9 beurten nodig. Bij Taylor Swift en Rowan Atkinson waren dat er telkens 6.
Dat is behoorlijk efficiënt.
Bij Frans Bauer en vooral Gert Verhulst verliep de zoektocht echter duidelijk moeilijker.
Bij Gert Verhulst wist Perplexity uiteindelijk bijna alles wat nodig was: Vlaamse televisie, jaren negentig, jeugdprogramma, vast duo en een hond.
Toch moest uiteindelijk zelfs de naam Samson worden prijsgegeven voordat Perplexity bij Gert Verhulst uitkwam.
Onze typering: Perplexity was de praatgrage speurder.
Gemini zocht naar onderscheidende informatie, Claude naar zekerheid
Gemini
Gemini leek vooral te denken:
Daardoor koos het relatief snel voor categorie, beroep, genre, land, competitie of andere sterk onderscheidende kenmerken.
Claude
Claude leek eerder te denken:
Daardoor verzamelde het veel informatie en stelde het regelmatig aanvullende leeftijds- of achtergrondvragen voordat het een naam noemde.
Beide strategieën zijn logisch. Maar in een spel waarbij het aantal vragen telt, heeft de aanpak van Gemini een duidelijk voordeel.
Vier dingen die ongemerkt mee werden getest
1. Vraagstrategie
Kan het model zelf bepalen welke vervolgvraag op dat moment de meeste nuttige informatie oplevert?
2. Efficiëntie
Hoeveel stappen heeft het model nodig voordat het voldoende informatie heeft om een antwoord te geven?
3. Bereidheid om te gokken
Durft het model relatief snel een antwoord te geven, of blijft het liever extra zekerheid verzamelen?
4. Omgaan met beschikbare informatie
Blijft het model strikt bij de aanwijzingen die het gekregen heeft, of begint het onderweg zelf veronderstellingen toe te voegen?
Niet elke vraag brengt je even snel dichter bij het antwoord
Bij Wie ben ik? draait het niet alleen om hoeveel feiten een model kent. Minstens even belangrijk is welke vraag het op welk moment kiest.
Stel dat een model al weet dat het om een bekende Europese sporter gaat. Dan zijn er verschillende mogelijke vervolgvragen.
Een sterke vervolgvraag
“Gaat het om voetbal?”
Zo’n vraag kan in één keer een enorme groep mogelijke personen uitsluiten.
Een minder sterke vervolgvraag
“Ben je jonger dan 30 jaar?”
Dat levert ook informatie op, maar vaak veel minder dan een vraag over sport, beroep, nationaliteit of competitie.
Tijdens onze test leek Gemini relatief vaak te zoeken naar vragen die het speelveld meteen sterk verkleinden. Claude koos vaker voor een systematische reeks eigenschappen, zelfs wanneer sommige daarvan minder onderscheidend waren.
Dat verschil is interessant, omdat hetzelfde principe ook buiten een spelletje geldt. Wanneer je AI een probleem laat onderzoeken, moet het vaak zelf beslissen welke informatie eerst belangrijk is.
Kan het model niet alleen vragen stellen, maar ook inschatten welke volgende vraag op dat moment het meeste informatie oplevert?
Meer vragen betekent niet automatisch beter nadenken
Een model kan uiteindelijk perfect bij het juiste antwoord uitkomen en toch een minder efficiënte route hebben gevolgd.
Dat zagen we vooral bij Claude. Het model kwam uiteindelijk bij alle vijf personen correct uit, maar had daar aanzienlijk meer beurten voor nodig dan Gemini.
Een mooi voorbeeld was Cristiano Ronaldo. Zodra duidelijk was dat het ging om een nog actieve Europese voetballer, waren er enkele zeer gerichte vragen mogelijk:
Welke nationaliteit heb je?
In welke competitie speel je?
Claude koos echter eerst voor leeftijdsvragen.
Ben je ouder dan 35 jaar?
Die antwoorden waren niet nutteloos. Maar er waren vragen beschikbaar die waarschijnlijk veel sneller naar één specifieke speler hadden geleid.
Dat is precies waarom we het aantal beurten hebben bijgehouden. Niet omdat een model “fout” is wanneer het tien vragen stelt, maar omdat we wilden zien hoeveel stappen het nodig heeft om tot voldoende zekerheid te komen.
Het betekent: met zo weinig mogelijk gerichte vragen voldoende informatie verzamelen om een goed antwoord te kunnen geven.
Wanneer vindt een model dat het genoeg weet?
Er zit nog een andere keuze verstopt in Wie ben ik? Op een bepaald moment moet het model beslissen: heb ik voldoende informatie om een naam te noemen?
Dat is niet hetzelfde als weten wie het zeker is. Soms zijn er nog meerdere kandidaten mogelijk, maar is één antwoord al veel waarschijnlijker dan de rest.
Gemini leek in onze test sneller bereid om op zo’n moment een concrete naam te proberen. Claude verzamelde liever nog enkele extra kenmerken voordat het een gok waagde.
In een spel is snel gokken vaak voordelig. Bij een ernstige taak kan het omgekeerde waar zijn.
Denk bijvoorbeeld aan het beoordelen van een contract, het analyseren van cijfers of het samenvatten van een medisch document. Daar wil je misschien juist dat een model eerst extra controleert voordat het een conclusie formuleert.
Blijven de modellen bij de beschikbare informatie?
Een vierde punt waarop we tijdens het spel letten, was de manier waarop de modellen met de beschikbare informatie omgingen.
Bij een spel als Wie ben ik? is het belangrijk dat een model zijn redenering baseert op de antwoorden die het daadwerkelijk van de quizmaster krijgt. Het mag natuurlijk hypotheses vormen en mogelijke personen noemen, maar het moet onderscheid blijven maken tussen een vermoeden en een vaststaand feit.
Op dit vlak deden Gemini, Claude en Perplexity het alle drie goed. De modellen gebruikten de gegeven antwoorden om hun zoektocht stap voor stap te verfijnen en bleven uiteindelijk bij de beschikbare feiten.
Hypotheses stellen mag natuurlijk wel
Dat betekent niet dat de modellen nooit mogelijke namen of verklaringen opperden. Dat hoort juist bij het spel.
Een model kon bijvoorbeeld verschillende bekende zangers noemen en vervolgens vragen of één daarvan in de juiste richting zat. Zolang zo’n naam duidelijk als mogelijkheid wordt gepresenteerd en niet als een gegeven feit, is daar niets mis mee.
Een feit
Informatie die daadwerkelijk door de quizmaster werd gegeven, bijvoorbeeld dat de persoon een zanger, voetballer of acteur is.
Een hypothese
Een mogelijke kandidaat die het model zelf voorstelt om te controleren of het op het juiste spoor zit.
Dat onderscheid is ook buiten een spelletje belangrijk. Wanneer je AI bijvoorbeeld documenten, offertes of cijfers laat analyseren, wil je dat het duidelijk onderscheid maakt tussen wat werkelijk in de bron staat en wat het zelf afleidt of vermoedt.
In deze Wie ben ik?-test konden we op dit onderdeel geen duidelijke winnaar aanwijzen: Gemini, Claude en Perplexity bleven alle drie voldoende trouw aan de beschikbare informatie.
Dezelfde verschillen kunnen ook bij gewone AI-opdrachten een rol spelen
Niemand kiest een AI-model omdat het bijzonder goed Wie ben ik? kan spelen. Het interessante is dat het spel enkele gedragingen zichtbaar maakt die ook bij andere opdrachten kunnen terugkomen.
| In het spel | Bij een echte opdracht |
|---|---|
| Welke vraag stel ik eerst? | Welke informatie moet ik eerst onderzoeken? |
| Hoeveel vragen heb ik nodig? | Hoeveel tussenstappen gebruik ik om tot een antwoord te komen? |
| Wanneer durf ik te gokken? | Wanneer formuleer ik een conclusie? |
| Vul ik zelf informatie aan? | Blijf ik strikt bij de aangeleverde bronnen en gegevens? |
Dat betekent niet dat het gedrag uit deze vijf spelrondes automatisch voorspelt hoe Gemini, Claude of Perplexity iedere andere opdracht zullen uitvoeren.
Het laat wel op een eenvoudige en herkenbare manier zien waar je bij het vergelijken van AI-modellen op kunt letten.
Gemini had in deze vijf rondes de minste beurten nodig
Als we één eenvoudige spelregel hanteren — het model dat de minste beurten nodig heeft wint — dan is de uitslag duidelijk.
| Plaats | Model | Totaal aantal beurten |
|---|---|---|
| 1 | Gemini | 30 |
| 2 | Perplexity | 46 |
| 3 | Claude | 48 |
Gemini gebruikte ongeveer 35% minder beurten dan Perplexity en ongeveer 38% minder dan Claude.
Dat betekent niet dat Gemini daarom in het algemeen een slimmer AI-model is. Het betekent alleen dat Gemini dit specifieke spel met deze vijf personen duidelijk efficiënter speelde.
Dit is geen wetenschappelijke AI-benchmark
We moeten de resultaten niet groter maken dan ze zijn.
We gebruikten slechts vijf personen. De modellen bepaalden zelf welke vragen ze stelden en kregen daardoor niet allemaal op exact hetzelfde moment exact dezelfde informatie.
Sommige antwoorden van de quizmaster bevatten bovendien meer informatie dan andere. De ene persoon was ook vanzelfsprekend makkelijker te herkennen dan de andere.
Je kunt op basis van deze test dus niet concluderen dat Gemini algemeen slimmer is dan Claude of Perplexity.
Wat je wél kunt zeggen:
En precies dat wilden we met deze luchtige test bekijken.
Een simpel spelletje liet verrassend veel verschillen zien
We begonnen deze test vooral omdat het leuk leek om drie bekende AI-modellen een eenvoudig spelletje Wie ben ik? te laten spelen.
Maar tijdens het spelen werd het interessanter dan verwacht.
Gemini probeerde snel de juiste richting te vinden en had uiteindelijk maar 30 beurten nodig. Claude wilde veel meer zekerheid verzamelen en kwam op 48. Perplexity eindigde met 46 beurten en viel vooral op door zijn uitgebreide tussenredeneringen en enkele onverwachte zijwegen.
Vooral het verschil in strategie was interessant. De modellen kregen uiteindelijk allemaal dezelfde opdracht: zoek uit wie de persoon is.
Toch pakten ze die opdracht duidelijk anders aan.
De snelle uitsluiter.
De voorzichtige detective.
De praatgrage speurder.
Het bewijst niet welk model het intelligentst is. Maar het laat wel op een heel toegankelijke manier zien dat AI-modellen niet allemaal op dezelfde manier tot een antwoord proberen te komen.
En misschien is dat wel precies waarom zo’n luchtig spelletje de moeite waard is.
