ChatGPT kan overtuigend fout zijn: zo herken en beperk je hallucinaties
ChatGPT kan een antwoord geven dat duidelijk, gedetailleerd en volledig geloofwaardig klinkt, terwijl bepaalde feiten toch niet kloppen.
Zulke overtuigend klinkende fouten worden vaak hallucinaties genoemd. Je kunt ze niet volledig uitsluiten, maar met betere opdrachten, duidelijke bronnen en een goede controle verklein je de kans dat je een fout antwoord zomaar overneemt.
Wat bedoelen we met een AI-hallucinatie?
Een hallucinatie ontstaat wanneer een AI-systeem informatie geeft die aannemelijk klinkt, maar feitelijk onjuist of verzonnen is.
Een fout feit
ChatGPT noemt bijvoorbeeld een verkeerde datum, naam, gebeurtenis of producteigenschap.
Een verzonnen bron
De AI verwijst naar een onderzoek, boek, citaat of website die niet bestaat.
Een ingevuld ontbrekend detail
Wanneer informatie ontbreekt, kan ChatGPT soms zelf een plausibel detail invullen zonder duidelijk te maken dat het een aanname is.
ChatGPT haalt niet simpelweg voor ieder antwoord een feit uit een archief
Een taalmodel heeft geleerd patronen in grote hoeveelheden tekst te herkennen en op basis daarvan een waarschijnlijk vervolg te produceren.
Dat werkt bijzonder goed voor taal, maar het betekent niet dat iedere geproduceerde zin automatisch op een gecontroleerd feit is gebaseerd.
Een belangrijk gevolg
Wanneer het model onvoldoende betrouwbare informatie heeft, kan het soms toch een antwoord formuleren dat logisch en geloofwaardig klinkt. Daarom is “ik weet het niet” in sommige situaties een beter antwoord dan een gedetailleerde gok.
Sommige antwoorden verdienen extra controle
Exacte cijfers
Percentages, prijzen, aantallen en statistieken kunnen overtuigend lijken terwijl de bron ontbreekt.
Data en namen
Vooral minder bekende datums, personen, titels en historische details zijn verstandig om te controleren.
Citaten
Controleer of iemand de aangehaalde woorden werkelijk heeft gezegd of geschreven.
Onderzoeken
Een geloofwaardig klinkende titel en auteur betekenen niet automatisch dat het onderzoek bestaat.
Actuele informatie
Regels, prijzen, functies, openingsuren en andere gegevens kunnen veranderen.
Zeer specifieke details
Hoe specifieker een antwoord wordt, hoe belangrijker het is om te weten waarop die details zijn gebaseerd.
Vraag ChatGPT niet om koste wat het kost een antwoord te geven
Je kunt expliciet aangeven dat onzekerheid toegestaan is. Dat maakt duidelijk dat een eerlijk voorbehoud nuttiger is dan een plausibele gok.
Laat ChatGPT aangeven wat feit is en wat het afleidt
Een antwoord kan een combinatie bevatten van bekende informatie, redeneringen en aannames. Laat die onderdelen niet ongemerkt door elkaar lopen.
Vraag niet alleen “wat?”, maar ook “waarop baseer je dit?”
Minder nuttig
Beter controleerbaar
Een belangrijke bewering verdient een betrouwbare bron
Bij actuele of belangrijke feitelijke informatie kun je ChatGPT vragen om online bronnen te zoeken en de beweringen daarmee te onderbouwen wanneer online zoeken beschikbaar is.
Controleer ook de bron zelf
Een klassieke AI-fout is een bronvermelding die zeer overtuigend oogt, maar niet bestaat of niet zegt wat ChatGPT beweert.
Bestaat de bron?
Zoek de publicatie, organisatie of auteur daadwerkelijk op.
Is de bron betrouwbaar?
Een bestaande website is niet automatisch een goede bron voor de bewering.
Ondersteunt ze de bewering?
Controleer of de bron werkelijk zegt wat ChatGPT eruit afleidt.
Upload het document waarop het antwoord moet steunen
Heb je zelf een handleiding, verslag, reglement, offerte of andere brontekst? Voeg die dan toe en vraag ChatGPT om het antwoord uitsluitend daarop te baseren.
Controleer of het antwoord werkelijk uit de tekst volgt
Een toegevoegd document beperkt de informatie waarop ChatGPT zich kan baseren, maar de AI kan een passage nog steeds verkeerd interpreteren of een te sterke conclusie trekken.
Twee AI-modellen die hetzelfde zeggen, maken iets nog niet waar
Je kunt dezelfde vraag aan een ander AI-model stellen om verschillen te ontdekken. Dat kan nuttig zijn, maar het is geen volwaardige feitencontrole.
Wat een tweede model wél kan doen
- een andere uitleg geven;
- andere aandachtspunten vinden;
- een mogelijke fout zichtbaar maken;
- je waarschuwen dat een antwoord niet vanzelfsprekend is.
Wat het niet bewijst
- dat het gedeelde antwoord correct is;
- dat beide modellen onafhankelijke bronnen gebruikten;
- dat dezelfde fout niet twee keer kan voorkomen;
- dat controle bij een echte bron overbodig is.
Controleer belangrijke AI-antwoorden systematisch
Markeer de feiten
Zoek de beweringen waarvan de juistheid belangrijk is: namen, data, cijfers, regels, bronnen en conclusies.
Vraag naar onzekerheid
Laat ChatGPT aangeven welke onderdelen zeker, onzeker of gebaseerd op aannames zijn.
Zoek betrouwbare bronnen
Controleer de belangrijkste feiten bij officiële, primaire of andere betrouwbare bronnen.
Pas het antwoord aan
Laat verkeerde of onvoldoende onderbouwde onderdelen corrigeren voordat je het resultaat verder gebruikt.
Vraag ChatGPT om mogelijke zwakke plekken aan te wijzen
Nadat ChatGPT een antwoord heeft gegeven, kun je de rol veranderen en vragen om het eigen antwoord kritisch te onderzoeken.
Laat ChatGPT niet zelf ontbrekende regels aanvullen
Stel dat je een reglement uploadt en wilt weten tegen welke datum een aanvraag moet worden ingediend.
Te ruim
Beter
Maak feitelijke onzekerheid zichtbaar
Voeg deze regels toe aan een feitelijke vraag
Deze controles geven minder zekerheid dan ze lijken
“Weet je dit zeker?”
ChatGPT kan ook op die vraag met overtuiging bevestigen dat een fout antwoord klopt.
Alleen vragen om bronnen
Een bronvermelding is pas nuttig wanneer je controleert of de bron bestaat en de bewering ondersteunt.
Dezelfde vraag opnieuw stellen
Een ander antwoord bewijst niet welk van beide antwoorden correct is.
Een tweede chatbot als scheidsrechter
Ook een ander model kan dezelfde of een andere fout maken.
Een gedetailleerd antwoord vertrouwen
Veel details en een professionele schrijfstijl maken informatie niet automatisch betrouwbaarder.
Alles controleren
Dat kost onnodig veel tijd. Controleer vooral de feiten die belangrijk zijn voor wat je met het antwoord gaat doen.
Een receptidee is iets anders dan juridisch of medisch advies
Hoe grondig je een antwoord moet controleren, hangt af van wat er kan gebeuren wanneer de informatie fout is.
Beperkte controle
- ideeën voor een verjaardag;
- een brainstorm;
- een tekst herschrijven;
- titels bedenken;
- een eenvoudige planning voorstellen.
Grondige controle
- medische informatie;
- juridische regels en verplichtingen;
- belastingen en financiële beslissingen;
- veiligheidsinstructies;
- belangrijke actuele feiten;
- informatie die je professioneel publiceert.
Gebruik ChatGPT vlot, maar houd belangrijke feiten controleerbaar
Hallucinaties betekenen niet dat ieder antwoord van ChatGPT onbetrouwbaar is. Ze betekenen wel dat een overtuigende formulering nooit op zichzelf voldoende bewijs is dat iets klopt.
Vraag ChatGPT om onzekerheid te benoemen, maak feiten en aannames zichtbaar en geef waar mogelijk zelf betrouwbare bronteksten mee.
Controleer vervolgens vooral de informatie die werkelijk belangrijk is voor wat je met het antwoord wilt doen.
