Google leert AI-modellen denken als statistici: Bayesiaanse training moet redeneren verbeteren
Onderzoekers van Google Research hebben een methode ontwikkeld om large language models (LLM’s) beter te laten omgaan met onzekerheid en nieuwe informatie. Door modellen te trainen op interacties met een zogenaamde Bayesiaanse assistent (een systeem dat volgens statistische principes redeneert) leren ze hun aannames dynamisch bij te werken. De aanpak levert duidelijk betere prestaties op en kan zelfs generaliseren naar andere taken, wat een belangrijke stap kan zijn richting betrouwbaardere AI-agents.
Waarom LLM’s moeite hebben met nieuwe informatie
Large language models worden steeds vaker ingezet als interactieve systemen: van digitale assistenten tot aanbevelingsalgoritmes en autonome AI-agents. In zulke toepassingen moeten modellen voortdurend nieuwe informatie verwerken en hun conclusies aanpassen.
Dat blijkt echter een zwakke plek van veel bestaande modellen. In theorie zou een Bayesiaanse aanpak ideaal zijn. Daarbij start een systeem met een initiële hypothese en past het die systematisch aan wanneer nieuwe gegevens beschikbaar komen. Het resultaat is een voortdurend bijgewerkte inschatting van wat waarschijnlijk waar is.
Onderzoek van Google toont echter aan dat veel LLM’s dit proces nauwelijks volgen. In plaats van hun aannames stap voor stap te verfijnen, blijven ze vaak hangen in eenvoudige vuistregels. Daardoor verbeteren hun voorspellingen nauwelijks wanneer ze meer informatie krijgen.
Een experiment met een AI-reisassistent
Om dat probleem concreet te onderzoeken ontwikkelden onderzoekers een gecontroleerde testomgeving rond een eenvoudige taak: het aanbevelen van vluchten.
In elke ronde kreeg een AI-assistent drie mogelijke vluchten te zien. Elke optie had verschillende kenmerken, zoals prijs, reistijd of aantal overstappen. Een gebruiker koos vervolgens een vlucht op basis van persoonlijke voorkeuren. Het model moest uit die keuzes afleiden welke factoren voor de gebruiker belangrijk zijn.
De onderzoekers vergeleken verschillende taalmodellen met een zogenoemde Bayesiaanse assistent: een model dat exact volgens Bayes’ regel werkt en continu een kansverdeling bijwerkt over mogelijke gebruikersvoorkeuren.
De resultaten waren duidelijk. Terwijl de Bayesiaanse assistent zijn aanbevelingen steeds verbeterde naarmate meer interacties plaatsvonden, bleef de prestatie van veel LLM’s vrijwel stabiel. Met andere woorden: de modellen leerden nauwelijks van nieuwe informatie tijdens het gesprek.
De oplossing: “Bayesian teaching”
Om dit probleem aan te pakken introduceerden de onderzoekers een trainingsstrategie die ze Bayesian teaching noemen.
In plaats van een model enkel te trainen op correcte antwoorden, krijgt het voorbeelden te zien van interacties tussen een gebruiker en de Bayesiaanse assistent. Het taalmodel leert dus hoe een optimaal systeem zijn overtuigingen stap voor stap bijwerkt.
Deze aanpak lijkt op een vorm van model-distillatie: een model leert gedrag door een sterker referentiemodel te imiteren. Door dat proces leert het niet alleen de juiste uitkomst, maar ook de manier waarop onzekerheid moet worden behandeld.
De resultaten zijn opvallend. Modellen die met deze methode zijn getraind passen hun voorspellingen veel beter aan wanneer er nieuwe informatie binnenkomt. Ze leren dus effectief om hun aannames dynamisch te herzien.
Redeneren dat generaliseert naar andere taken
Een van de interessantste resultaten is dat deze verbetering niet beperkt blijft tot één specifieke taak.
Modellen die met Bayesiaanse voorbeelden zijn getraind, bleken ook beter te presteren op andere problemen waarbij probabilistisch redeneren nodig is: zoals aanbevelingssystemen voor hotels of online winkels.
Dat suggereert dat het model niet alleen een specifieke truc leert, maar een bredere redeneerstrategie oppikt.
Een stap richting betrouwbaardere AI-agents
De studie sluit aan bij een bredere trend in AI-onderzoek: het verbeteren van het redeneervermogen van taalmodellen. Moderne AI-systemen worden steeds vaker ingezet in complexe workflows waarin ze beslissingen moeten nemen en plannen moeten aanpassen.
In zulke scenario’s is het essentieel dat modellen hun overtuigingen aanpassen wanneer nieuwe informatie beschikbaar komt. Door LLM’s te trainen met Bayesiaanse principes hopen onderzoekers een belangrijk tekort van huidige AI-systemen te verkleinen.
Als deze aanpak verder wordt opgeschaald, zou dat kunnen leiden tot AI-systemen die niet alleen tekst genereren, maar ook systematisch leren van elke interactie met hun omgeving. En daardoor betrouwbaarder beslissingen nemen.