Hoe AiLabo.eu AI-tools test
Op AiLabo.eu testen we AI-tools zoveel mogelijk in situaties die herkenbaar zijn voor gewone gebruikers. We voeren geen wetenschappelijke benchmarks uit, maar praktijkproeven die laten zien wat je vandaag werkelijk van populaire AI-tools mag verwachten.
Dezelfde opdracht voor ieder model
Wanneer we verschillende AI-modellen met elkaar vergelijken, krijgen ze in principe dezelfde prompt en dezelfde informatie.
Zo proberen we de vergelijking zo eerlijk mogelijk te houden. Als een model extra informatie krijgt, een vervolgvraag mag stellen of op een andere manier wordt getest, vermelden we dat bij de test.
We testen herkenbare praktijksituaties
Onze tests vertrekken zoveel mogelijk vanuit opdrachten die mensen zelf aan AI zouden kunnen geven. Bijvoorbeeld:
- teksten schrijven, verbeteren of samenvatten;
- informatie zoeken en controleren;
- bestanden en gegevens analyseren;
- afbeeldingen maken of aanpassen;
- verschillende manieren van prompten uitproberen;
- praktische opdrachten uit werk en dagelijks leven.
We laten zien wat er werkelijk gebeurt
Waar dat nuttig is, publiceren we de gebruikte prompts, antwoorden, afbeeldingen of andere resultaten van de test.
Een slecht resultaat maken we achteraf niet mooier. Ook fouten, vreemde antwoorden en beperkingen zijn interessant, omdat ze laten zien waar je als gebruiker rekening mee moet houden.
AI verandert voortdurend
AI-modellen worden regelmatig aangepast of vervangen. Een test die vandaag wordt uitgevoerd, kan enkele maanden later daarom een ander resultaat geven.
Bij iedere test tonen we de publicatiedatum. We gebruiken telkens het model dat de AI-dienst op dat moment standaard aanbiedt aan gewone gebruikers, tenzij we bij de test uitdrukkelijk een ander model of een specifieke instelling kiezen.
Op AiLabo.eu houden we daarnaast een apart overzicht bij van welke AI-modellen in welke periode standaard werden aangeboden . Zo kan je ook achteraf nagaan met welke generatie van een AI-model een test vermoedelijk werd uitgevoerd.
We gebruiken bewust het woord vermoedelijk. AI-diensten tonen namelijk niet altijd duidelijk welk onderliggend model op een bepaald moment wordt gebruikt. Sommige diensten kunnen automatisch tussen modellen wisselen of hun standaardmodel aanpassen zonder dat dit voor iedere gebruiker zichtbaar is. In ons overzicht baseren we ons daarom zoveel mogelijk op publiek bevestigde informatie van de aanbieders zelf.
We testen wat gewone gebruikers kunnen gebruiken
Waar mogelijk gebruiken we de versies en functies die voor een brede groep gebruikers gemakkelijk toegankelijk zijn.
Gebruiken we voor een bepaalde test een betalende functie, een abonnement of een bijzondere instelling, dan vermelden we dat bij de test.
Hoe beoordelen we een resultaat?
Niet iedere opdracht kan op dezelfde manier worden beoordeeld. Afhankelijk van de test kijken we onder andere naar:
- juistheid;
- volledigheid;
- duidelijkheid;
- bruikbaarheid;
- het correct volgen van de opdracht;
- fouten of informatie die door het model zelf wordt verzonnen.
Wanneer we verschillende modellen vergelijken, leggen we ook uit waarom we een bepaald resultaat beter of minder goed vinden.
Onze tests zijn geen wetenschappelijke benchmarks
De tests op AiLabo.eu zijn praktijkproeven. Ze zijn bedoeld om te onderzoeken wat een gewone gebruiker in een concrete situatie van een AI-tool kan verwachten.
AI kan bovendien bij exact dezelfde prompt verschillende antwoorden geven. Wanneer jij dezelfde test uitvoert, kan je dus een ander resultaat krijgen.
Onze conclusies zijn daarom geen absolute rangschikking van AI-modellen, maar een beoordeling van wat er tijdens die specifieke test gebeurde.
Een fout gevonden?
Ook wij kunnen iets missen of verkeerd beoordelen. Bovendien kan informatie over AI-tools snel verouderen.
Zie je een feitelijke fout of merk je dat een test niet meer overeenkomt met de huidige werking van een AI-tool? Laat het ons gerust weten. Relevante fouten en verouderde informatie proberen we te corrigeren.