Vier AI-modellen, één Excel-bestand vol verborgen fouten
Kan AI zelf ontdekken dat er iets mis is met een Excel-bestand? Ik maakte een fictief bestand met 300 verkooptransacties en stopte er bewust verschillende fouten, ontbrekende gegevens, inconsistenties en een uitschieter in.
Daarna gaf ik dezelfde opdracht aan ChatGPT, Gemini, Claude en Perplexity. Geen enkel model kreeg vooraf te horen welke fouten in het bestand zaten.
Geen hints: de AI moest de problemen zelf ontdekken
Voor deze test gebruikte ik een fictief Excel-bestand met 300 verkooptransacties. Het bestand bevat gegevens zoals datum, regio, verkoper, product, aantal, prijs, korting, klanttype, klanttevredenheid en geregistreerde omzet.
Vooraf bouwde ik bewust een reeks dataproblemen in. De vier AI-diensten kregen hetzelfde bestand en dezelfde opdracht. Ze mochten de gegevens in deze eerste ronde nog niet corrigeren.
Ik wilde niet alleen weten of een model fouten kon vinden, maar ook of het onderscheid kon maken tussen een aantoonbare fout en een waarde die alleen ongewoon is.
Dit moest de AI proberen te vinden
Voor de test legde ik vooraf vast welke problemen in het bestand waren ingebouwd. Daardoor kon ik de antwoorden achteraf aan een vaste controlesleutel toetsen.
| Probleem | Wat was ingebouwd? |
|---|---|
| Dubbele transacties | 2 exacte duplicaten |
| Ontbrekende gegevens | 4 lege waarden |
| Regiobenamingen | 3 afwijkende schrijfwijzen van West-Vlaanderen |
| Datum | 1 onmogelijke datum: 31/02/2026 |
| Gegevenstype | 2 numerieke waarden die in Excel als tekst waren opgeslagen |
| Omzet | 1 duidelijke rekenkundige inconsistentie |
| Uitschieter | 1 bestelling van 80 stuks die opvallend, maar niet noodzakelijk fout was |
De exacte transactienummers waren uiteraard niet aan de AI-modellen meegedeeld.
Deze prompt kregen alle vier de modellen
ChatGPT en Claude eindigen gedeeld eerste
De modellen werden beoordeeld op acht vooraf vastgelegde onderdelen. De maximale score was 35 punten.
ChatGPT
Claude
Perplexity
Gemini
Waar werden punten gewonnen en verloren?
| Onderdeel | Max. | ChatGPT | Claude | Perplexity | Gemini |
|---|---|---|---|---|---|
| 300 rijen en 298 unieke transacties | 4 | 4 | 4 | 4 | 2 |
| Exacte duplicaten | 6 | 6 | 6 | 6 | 0 |
| Ontbrekende waarden | 4 | 4 | 4 | 4 | 2 |
| Afwijkende regiobenamingen | 4 | 4 | 4 | 4 | 3 |
| Ongeldige datum | 4 | 4 | 4 | 4 | 4 |
| Getallen als tekst opgeslagen | 4 | 0 | 0 | 0 | 0 |
| Foutieve omzetberekening | 4 | 4 | 4 | 0 | 4 |
| Bedoelde uitschieter correct herkennen | 5 | 5 | 5 | 5 | 0 |
| Totaal | 35 | 31 | 31 | 27 | 15 |
Bijna alle belangrijke problemen gevonden
ChatGPT stelde correct vast dat het bestand 300 datarijen bevatte, maar slechts 298 unieke Transaction_ID’s. Het vond ook de twee exacte dubbele transacties.
Daarnaast ontdekte ChatGPT alle ontbrekende waarden, de drie afwijkende schrijfwijzen van West-Vlaanderen, de ongeldige datum en de opvallende bestelling van 80 stuks.
Ook de bewust ingebouwde omzetfout werd gevonden. Bij transactie TX-0163 stond een geregistreerde omzet van €133,26. Op basis van aantal, prijs en korting moest dit €95,76 zijn: een verschil van €37,50.
Een sterk punt was dat ChatGPT de bestelling van 80 stuks niet zomaar als fout bestempelde. Het model zag ze terecht als een opvallende waarde die gecontroleerd moest worden, maar mogelijk wel correct was.
Wat miste ChatGPT?
Twee numerieke waarden waren bewust in Excel als tekst opgeslagen. ChatGPT ontdekte geen van beide.
Het model wees daarnaast op enkele kleine omzetverschillen van één cent en op ontbrekende nummers in de transactiereeks. Het maakte daarbij wel duidelijk dat dit niet automatisch bewezen fouten waren.
Dezelfde topscore met een strakke kwaliteitscontrole
Claude kwam op dezelfde totaalscore uit als ChatGPT. Het vond correct de twee duplicaten, alle ontbrekende waarden, de regiovarianten en de ongeldige datum.
Ook de fout bij TX-0163 werd exact herkend. Claude berekende een verwachte omzet van €95,76 tegenover €133,26 in het bestand.
Bij de bestelling van 80 stuks maakte Claude bovendien een belangrijk onderscheid: de waarde was zeer opvallend, maar de bijbehorende omzet klopte. Het model stelde daarom terecht voor om de transactie niet automatisch te verwijderen.
Wat miste Claude?
Ook Claude ontdekte de twee numerieke waarden die als tekst waren opgeslagen niet.
Op punten is er daarom geen winnaar tussen Claude en ChatGPT. Beide modellen behalen 31 op 35.
Sterke controle, maar een belangrijke rekenfout gemist
Perplexity vond eveneens de 300 datarijen en 298 unieke transacties. Ook de dubbele records, ontbrekende waarden, regiovarianten en de ongeldige datum werden correct herkend.
De bestelling van 80 stuks werd eveneens goed behandeld. Perplexity stelde terecht dat een extreme waarde niet automatisch fout is.
De belangrijkste misser
Perplexity ontdekte de foutieve omzet van TX-0163 niet. Dat is opvallend omdat het model expliciet meldde dat de geregistreerde omzetwaarden op basis van de aanwezige velden rekenkundig leken te kloppen.
Net als ChatGPT en Claude vond Perplexity ook de twee getallen die als tekst waren opgeslagen niet.
Een fout missen is één zaak. Expliciet melden dat een controle geen probleem opleverde terwijl er wel een fout aanwezig is, kan bij werkelijk gebruik nog meer vertrouwen wekken in een verkeerde conclusie.
De tweede poging was veel beter, maar nog onvolledig
Gemini kreeg uiteindelijk 15 op 35. Voor deze score gebruik ik de tweede uitvoering van de test.
Die tweede poging was duidelijk beter dan de eerste. Gemini vond nu wel de ongeldige datum bij TX-0119 en ontdekte ook de belangrijke rekenfout bij TX-0163. De correcte omzet van €95,76 werd daarbij juist berekend.
Gemini vond daarnaast twee van de vier ontbrekende waarden en twee van de drie afwijkende schrijfwijzen van West-Vlaanderen.
Wat miste Gemini?
Het model bleef stellen dat alle 300 Transaction_ID’s uniek waren. Daardoor werden de twee exacte duplicaten niet gevonden.
Gemini miste ook twee van de vier ontbrekende waarden, één afwijkende regiobenaming, de twee numerieke waarden die als tekst waren opgeslagen en de opvallendste uitschieter: TX-0277 met 80 verkochte stuks.
Het model signaleerde wel enkele andere relatief grote transacties, maar niet de bewust ingebouwde extreme waarde waarop dit onderdeel van de test werd beoordeeld.
Gemini stelde bij de onmogelijke datum 31/02/2026 onder andere voor om deze bijvoorbeeld naar 28 februari te corrigeren. Uit het bestand valt echter niet af te leiden welke datum werkelijk bedoeld was. In zo’n geval is controleren bij de bron veiliger dan zelf een datum kiezen.
Dezelfde Gemini-test gaf twee zeer verschillende antwoorden
Bij de eerste uitvoering van de test ging er bij Gemini iets opvallends mis. Het model rapporteerde verschillende transacties, bedragen en problemen die niet overeenkwamen met het aangeleverde Excel-bestand.
Daarom voerde ik dezelfde test nogmaals uit. Bij die tweede poging herkende Gemini een veel groter deel van de werkelijke gegevens en vond het onder andere de echte omzetfout bij TX-0163.
Voor de rangschikking in dit artikel gebruik ik daarom uitsluitend de tweede test. De eerste uitvoering heeft geen invloed op de puntenscore.
Het verschil tussen beide antwoorden is wel interessant. Het laat zien dat niet alleen nauwkeurigheid belangrijk is: ook de vraag of dezelfde opdracht bij een nieuwe uitvoering opnieuw tot vergelijkbare conclusies leidt, verdient aandacht.
Geen enkel model vond de twee getallen die als tekst waren opgeslagen
Misschien wel de interessantste gezamenlijke misser zat niet in een spectaculaire fout, maar in twee gewone Excel-cellen.
Bij transactie TX-0074 was het aantal 4 als tekst opgeslagen. Bij TX-0211 was de prijs per stuk 59,95 als tekst opgeslagen.
De waarden zien er normaal uit, maar het onderliggende gegevenstype wijkt af. Dat kan problemen veroorzaken bij verdere berekeningen, sorteringen, filters of het importeren van de gegevens in andere toepassingen.
ChatGPT, Gemini, Claude én Perplexity misten beide gevallen.
AI kan veel fouten vinden, maar een Excel-controle blijft geen garantie
Deze eerste test laat volgens mij vooral zien dat AI nuttig kan zijn als extra controlelaag voor gegevens. ChatGPT en Claude vonden bijna alle bewust ingebouwde problemen, zonder dat vooraf werd verteld waar ze moesten zoeken.
Perplexity presteerde eveneens behoorlijk, maar miste een duidelijke rekenkundige fout. Gemini vond bij de tweede uitvoering verschillende belangrijke problemen, maar liet nog een groot deel van de controles liggen.
Geen enkel model ontdekte alles. Vooral het feit dat alle vier de modellen de twee verkeerd opgeslagen gegevenstypes misten, vind ik een nuttige waarschuwing.
Voor belangrijke bestanden zou ik AI daarom gebruiken om mogelijke problemen op te sporen, maar de gevonden fouten en conclusies nog controleren voordat gegevens worden aangepast of zakelijke beslissingen worden genomen.
Wie vond de meeste problemen?
| Plaats | AI-model | Score | Belangrijkste observatie |
|---|---|---|---|
| 1 | ChatGPT | 31/35 | Bijna alle bedoelde problemen gevonden en voorzichtig met twijfelgevallen. |
| 1 | Claude | 31/35 | Even nauwkeurig als ChatGPT en sterk in het onderscheid tussen fout en uitschieter. |
| 3 | Perplexity | 27/35 | Goede algemene kwaliteitscontrole, maar de belangrijke omzetfout werd gemist. |
| 4 | Gemini | 15/35 | De tweede test was veel beter, maar meerdere belangrijke problemen werden nog gemist. |
Er is op punten geen afzonderlijke winnaar: ChatGPT en Claude delen de eerste plaats.
Zo heb ik de modellen beoordeeld
De verkoopgegevens in deze test zijn fictief en speciaal voor deze vergelijking samengesteld. De fouten en afwijkingen werden vooraf in het bestand aangebracht.
Ook de correcte antwoorden en puntenverdeling lagen vooraf vast. De beoordeling gebeurde dus niet op basis van welk antwoord achteraf het meest overtuigend klonk.
In deze eerste ronde waren maximaal 35 punten te verdienen:
- 4 punten voor het correcte aantal rijen en unieke transacties;
- 6 punten voor de exacte duplicaten;
- 4 punten voor de ontbrekende waarden;
- 4 punten voor de afwijkende regiobenamingen;
- 4 punten voor de ongeldige datum;
- 4 punten voor de getallen die als tekst waren opgeslagen;
- 4 punten voor de foutieve omzet;
- 5 punten voor het correct herkennen en behandelen van de bedoelde uitschieter.
Bij gedeeltelijk correcte antwoorden konden gedeeltelijke punten worden toegekend. Zo vond Gemini in de tweede test bijvoorbeeld twee van de vier ontbrekende waarden en twee van de drie afwijkende regiobenamingen.
Omdat de eerste uitvoering bij Gemini uitzonderlijk afweek van het bestand, heb ik de identieke opdracht opnieuw uitgevoerd. Alleen het resultaat van die tweede uitvoering telt mee voor de score van Gemini. De eerste uitvoering wordt in het artikel uitsluitend als aanvullende observatie vermeld.
De resultaten zeggen alleen iets over deze concrete test en de AI-diensten zoals ze op het moment van testen functioneerden. Een andere dataset, andere opdracht of latere versie kan tot andere resultaten leiden.
Welk AI-model rekent het nauwkeurigst met Excel?
Fouten ontdekken is maar één onderdeel van gegevensverwerking. In de volgende test krijgen ChatGPT, Gemini, Claude en Perplexity opnieuw dezelfde verkoopgegevens.
Dan test ik onder andere of ze de totale omzet, gemiddelden, mediaan, omzet per regio, productresultaten en andere berekeningen correct kunnen uitvoeren.
Zo ontstaat stap voor stap een bredere vergelijking van welk AI-model het beste met gegevens en statistieken omgaat.
