Helpt het echt om ChatGPT letterlijk te vragen langer en dieper na te denken?

In dit bekende onderzoek voegden de onderzoekers een verrassend eenvoudige instructie toe aan redeneerproblemen: “Let’s think step by step.”

Op bepaalde tests was het verschil bijzonder groot. Op de wiskundige GSM8K-test steeg de nauwkeurigheid van het gebruikte InstructGPT-model bijvoorbeeld van 10,4% naar 40,7%. Op MultiArith ging de score van 17,7% naar 78,7%.

Dat betekent niet dat iedere ChatGPT-vraag vier keer beter wordt door één zin toe te voegen. Het toont wel aan dat een eenvoudige instructie het redeneergedrag van een taalmodel sterk kan beïnvloeden.

In een tweede invloedrijk onderzoek kregen taalmodellen voorbeelden te zien waarin niet alleen het eindantwoord stond, maar ook de tussenliggende redenering.

De onderzoekers vonden verbeteringen bij verschillende complexe taken, waaronder rekenen, logisch redeneren en problemen waarvoor meerdere opeenvolgende denkstappen nodig waren.

Ook hier is de belangrijke boodschap dat het niet altijd optimaal is om een taalmodel rechtstreeks naar een eindantwoord te sturen.

Dit onderzoek is bijzonder interessant omdat onderzoekers AI-modellen zelf naar goede instructies lieten zoeken.

Een van de sterk presterende instructies die daaruit naar voren kwam, was:

Vrij vertaald: haal diep adem en werk dit probleem stap voor stap uit.

Op de GSM8K-test behaalde deze formulering in de gerapporteerde vergelijking een score van 80,2%, tegenover 71,8% voor het klassieke “Let’s think step by step”.

Andere onderzoekers gingen een stap verder. In plaats van het model alleen te vragen stap voor stap te denken, lieten ze het eerst een plan voor de oplossing maken.

Het model moest in essentie:

• het probleem eerst begrijpen;
• een plan opstellen;
• het probleem in kleinere onderdelen verdelen;
• en daarna pas de oplossing uitwerken.

De onderzoekers rapporteerden op tien datasets betere resultaten dan met de eenvoudigere Zero-shot Chain-of-Thought-aanpak.

Dat is voor praktisch gebruik misschien nog interessanter. Het suggereert dat niet alleen “denk beter”, maar vooral “dit is hoe ik wil dat je het probleem benadert” belangrijk kan zijn.

Bij nieuwere redeneermodellen speelt nog iets anders mee: hoeveel rekenwerk het model tijdens het oplossen van een probleem kan gebruiken.

Onderzoek naar zogenaamde test-time compute laat zien dat extra rekenwerk tijdens het beantwoorden van moeilijke problemen de prestaties kan verbeteren.

Opvallend was dat een kleiner model in bepaalde omstandigheden met slim toegewezen extra rekenkracht zelfs beter kon presteren dan een model dat veertien keer groter was.

Er is tegelijk een belangrijke nuance. Een recenter onderzoek naar redeneermodellen vond geen eenvoudige relatie waarbij een langere redenering automatisch een correcter antwoord oplevert.

In sommige omstandigheden konden langere redeneertrajecten zelfs samengaan met slechtere resultaten.