Agente SAG di Sungkyunkwan: critica solo quando serve, successo su ALFWorld al 78%

Un agente basato su un modello linguistico che consulta un secondo modello dopo ogni azione paga questa prudenza in token e latenza. Un gruppo di ricerca guidato da Minhae Kwon ha sviluppato un agente che chiede quel secondo parere solo quando la propria incertezza suggerisce che ne valga il costo. Su ALFWorld, un benchmark testuale di compiti domestici, il framework (SAG) ha portato il tasso di successo dal 24,6% a circa il 78%, con un budget di token paragonabile a quello di un semplice agente ReAct. Il secondo paper del gruppo, VAN-Flow, affronta un problema diverso: l'apprendimento per rinforzo offline che scambia le azioni fortunate per azioni affidabili. Entrambi i lavori sono preprint su arXiv accettati a NeurIPS 2026.

Una correzione all'impostazione di lavoro iniziale: la ricerca non proviene da KAIST. Secondo l'articolo di Tech Xplore e un secondo riassunto, il team fa capo alla Sungkyunkwan University, presso la School of Electronic and Electrical Engineering.

01Il problema dei costi che SAG affronta

Gli agenti che alternano ragionamento e azione possono fallire in modo cumulativo. Come scrive il paper su SAG, gli errori iniziali possono propagarsi lungo le traiettorie e causare fallimenti a cascata. Un rimedio comune è la critica o la deliberazione esterna, ma invocare questi meccanismi a ogni passo aumenta sensibilmente il consumo di token e la latenza. Gli autori si confrontano con una critica sempre attiva (la baseline LAC) e riportano che migliora il successo ma può ridurre in modo sostanziale l'efficienza.

SAG (Self-improving Agent with Gated critique) tratta la critica come una decisione da prendere a ogni passo, non come una parte fissa del ciclo. Il paper imposta il problema in termini di Value of Information: la critica va richiesta quando il miglioramento atteso supera il suo costo computazionale.

02Prima tecnica: un gate basato sull'incertezza

Il gate è economico. Secondo il paper si tratta di un meccanismo di gating leggero e privo di addestramento, che stima l'utilità della critica a partire da segnali di ambiguità a livello di azione, entropia globale e margine top-2 locale, calcolati sulle azioni ammissibili.

In pratica l'agente assegna già un punteggio alle azioni candidate disponibili nello stato corrente. Due letture di questa distribuzione fanno da indicatori indiretti del «potrei sbagliarmi»:

• Entropia globale: alta quando la massa di probabilità è distribuita su molte azioni ammissibili.
• Margine top-2: ridotto quando le due migliori candidate sono quasi in parità.

Quando la distribuzione è netta, l'agente agisce da solo. Quando è piatta, o le prime due opzioni sono vicine, viene chiamato il critico. Poiché il gate riutilizza numeri che l'attore produce comunque, la decisione aggiunge un overhead quasi nullo. Non richiede inoltre l'addestramento di un router separato. Il paper afferma che il gate approssima il Value of Information. I segnali sono però proxy euristici, e l'abstract del preprint non chiarisce quanto bene l'entropia segua l'errore reale nei diversi domini.

03Seconda tecnica: interiorizzare il critico

La seconda componente è un auto-miglioramento online con bootstrap, che consente all'attore di interiorizzare i comportamenti assistiti dal critico e di ridurre progressivamente la dipendenza dalla critica. I comportamenti corretti diventano segnale di addestramento per l'attore, così col tempo sono sempre meno gli stati che attivano il gate. I materiali stampa lo descrivono come accumulo di esperienza di successo. Qui i risparmi sui costi dovrebbero accumularsi, perché le chiamate al critico diminuiscono man mano che l'attore migliora.

04Che cosa mostrano e che cosa non mostrano i numeri

Le cifre principali vanno lette con attenzione. L'abstract su arXiv riporta un successo su ALFWorld che sale dal 24,6% al 78,4%, mantenendo un budget di token paragonabile a ReAct, con un miglioramento di 3,1× nell'efficienza normalizzata in token. Un listing speculare indica il 78,3%, in linea con il comunicato stampa. La differenza sembra dovuta a una revisione o a un arrotondamento, quindi la cifra va considerata pari a circa il 78%.

Il «due terzi di calcolo in meno» del titolo è l'impostazione del comunicato stampa: un consumo di risorse computazionali pari a circa un terzo degli approcci convenzionali. La formulazione del paper è diversa: descrive un budget di token alla pari con ReAct e un guadagno di 3,1× in efficienza normalizzata. La mia lettura, che le fonti non confermano, è che la cifra dei due terzi riformuli quel rapporto di efficienza e non indichi un taglio assoluto dei token rispetto a un critico sempre attivo. I lettori che vogliono sapere con precisione quale baseline sia stata misurata dovrebbero consultare le tabelle del paper.

Un risultato più utile dal punto di vista pratico è il confronto tra dimensioni dei modelli. Un attore da 7B con un critico leggero da 3B ottiene prestazioni paragonabili a quelle di un attore da 14B senza critica. Gli autori sostengono che l'approccio recupera la maggior parte del beneficio di affidabilità della deliberazione a un costo di inferenza molto inferiore. Il paper riporta risultati su tre benchmark interattivi a lungo orizzonte e su più modelli di base, ma la copertura stampa cita solo ALFWorld.

Restano aperte alcune questioni:

• Come venga conteggiato il costo del critico nella metrica di efficienza.
• Quanto le soglie del gate siano sensibili al tipo di compito.
• Se un salto dal 24,6% a valori vicini all'80% si generalizzi oltre un dominio domestico simulato e basato su template. I compiti di ALFWorld sono sintetici e testuali, quindi non costituiscono una prova per attività aperte sul web o sul software.

05VAN-Flow: filtrare i successi dovuti al caso

Il secondo paper affronta l'apprendimento per rinforzo offline, in cui una policy apprende da dati registrati perché la sperimentazione dal vivo per tentativi ed errori sarebbe rischiosa. La premessa: le policy generative possono riprodurre modalità d'azione inaffidabili, le cui distribuzioni dei rendimenti presentano alta varianza, ottenendo occasionalmente rendimenti elevati per caso ma senza coerenza. Massimizzare il solo valore Q atteso non permette quindi di distinguere l'abilità dalla fortuna.

VAN-Flow (Variance-Averse n-step Flow) combina tre componenti, secondo gli autori:

• Un critico distribuzionale categorico. Modella l'intera distribuzione dei rendimenti, non solo la media.
• Un operatore di aspettazione avverso alla varianza. Ripesa in modo continuo le probabilità degli atomi per favorire le azioni che hanno sia rendimenti alti sia bassa dispersione.
• Un attore generativo basato su flow matching. È guidato dal campionamento per rifiuto: l'attore propone azioni candidate e il punteggio del critico, sensibile alla varianza, sceglie tra di esse.

Il paper distingue questo approccio dagli obiettivi CVaR o media-varianza. L'operatore ridistribuisce la massa di probabilità sulla distribuzione categorica dei rendimenti, senza troncamenti netti né termini di penalità ausiliari. Gli autori osservano che i rendimenti a n passi riducono il bias di bootstrapping ma amplificano la varianza dei rendimenti con dati eterogenei. Per questo un selettore sensibile alla varianza conta di più negli scenari a lungo orizzonte con ricompense sparse.

Sui risultati, il paper riporta che su oltre 40 task tratti da D4RL e OGBench VAN-Flow supera in modo costante baseline solide, con i guadagni maggiori nei regimi a lungo orizzonte e ad alta varianza. Il comunicato stampa è più cauto e parla di superamento della «maggior parte» dei metodi allo stato dell'arte. Entrambi i benchmark sono simulati. Nelle fonti nulla indica l'uso di robot o veicoli reali, quindi la rilevanza per l'impiego in contesti critici per la sicurezza è un'estrapolazione. Gli autori hanno rilasciato il codice su GitHub.

06Che cosa implica per gli agenti da mettere in produzione

I due paper condividono un'idea: spendere le risorse scarse solo dove le statistiche del sistema stesso indicano che contano. SAG la applica al calcolo di inferenza, VAN-Flow alla scelta delle azioni di cui fidarsi. Per i professionisti, la lezione principale di SAG è architetturale. La critica non deve essere per forza una tassa fissa a ogni passo. Un gate di incertezza senza addestramento e un piccolo critico possono ridurre il divario rispetto a un modello grande il doppio dell'attore, se i risultati reggeranno su compiti diversi da quelli dei benchmark del paper.

La replicazione indipendente sarà determinante. Entrambi i lavori sono preprint, le cifre provengono dagli autori e l'affermazione sul calcolo è descritta in modo diverso nel paper e nel materiale stampa. NeurIPS 2026 si tiene dal 6 al 14 dicembre: gli autori presenteranno lì il lavoro e la comunità potrà metterlo alla prova.