L'agent SAG ne demande une critique qu'en cas de doute et réussit mieux sur ALFWorld

Un agent à base de modèle de langage qui consulte un second modèle après chaque action paie cette prudence en tokens et en latence. Une équipe de recherche dirigée par Minhae Kwon a conçu un agent qui ne sollicite ce second avis que lorsque sa propre incertitude laisse penser que le jeu en vaut la chandelle. Sur ALFWorld, un benchmark textuel de tâches domestiques, le cadre SAG a fait passer le taux de réussite de 24,6 % à environ 78 %, pour un budget de tokens comparable à celui d'un simple agent ReAct. Le second article de l'équipe, VAN-Flow, traite une autre défaillance : l'apprentissage par renforcement hors ligne qui prend des actions réussies par chance pour des actions fiables. Les deux travaux sont des prépublications arXiv acceptées à NeurIPS 2026.

Une correction au cadrage initial : ces travaux ne viennent pas du KAIST. D'après l'article de Tech Xplore et un second résumé, l'équipe appartient à l'université Sungkyunkwan, à l'École de génie électronique et électrique.

01Le problème de coût auquel s'attaque SAG

Les agents qui entrelacent raisonnement et action peuvent échouer de façon cumulative. Comme le formule l'article sur SAG, les premières erreurs peuvent se propager le long des trajectoires et provoquer des défaillances en cascade. Un remède courant consiste à recourir à une critique ou à une délibération externe, mais activer ces mécanismes à chaque étape accroît sensiblement la consommation de tokens et la latence. Les auteurs se comparent à une critique permanente (la référence LAC) et indiquent qu'elle améliore la réussite mais peut dégrader fortement l'efficacité.

SAG (Self-improving Agent with Gated critique) traite la critique comme une décision prise à chaque étape, et non comme une partie figée de la boucle. L'article formalise cette approche par la valeur de l'information : la critique doit être sollicitée lorsque l'amélioration attendue l'emporte sur son coût de calcul.

02Première technique : une porte d'incertitude

Cette porte est peu coûteuse. Selon l'article, il s'agit d'un mécanisme de déclenchement léger et sans entraînement, qui estime l'utilité de la critique à partir de signaux d'ambiguïté au niveau de l'action — l'entropie globale et la marge locale top-2 — calculés sur les actions admissibles.

Concrètement, l'agent évalue déjà les actions candidates disponibles dans son état courant. Deux lectures de cette distribution servent d'indicateurs de « je me trompe peut-être » :

• Entropie globale : élevée lorsque la masse de probabilité est répartie sur de nombreuses actions admissibles.
• Marge top-2 : faible lorsque les deux meilleurs candidats sont presque à égalité.

Quand la distribution est piquée, l'agent agit seul. Quand elle est plate ou que les deux premières options sont proches, le critique est appelé. Comme la porte réutilise des valeurs que l'acteur produit de toute façon, la décision n'ajoute presque aucun surcoût. Elle n'exige pas non plus d'entraîner un routeur distinct. L'article affirme que la porte approxime la valeur de l'information. Ces signaux restent toutefois des approximations heuristiques, et le résumé de la prépublication ne dit pas dans quelle mesure l'entropie reflète l'erreur réelle selon les domaines.

03Seconde technique : internaliser le critique

Le second composant est une auto-amélioration par amorçage en ligne (online bootstrapped self-improvement), qui permet à l'acteur d'internaliser les comportements obtenus avec l'aide du critique et de réduire progressivement sa dépendance à la critique. Les comportements corrigés deviennent un signal d'entraînement pour l'acteur ; avec le temps, moins d'états déclenchent donc la porte. Les documents de presse décrivent cela comme une accumulation d'expériences réussies. C'est aussi là que les économies devraient se cumuler, puisque les appels au critique diminuent à mesure que l'acteur progresse.

04Ce que les chiffres montrent, et ce qu'ils ne montrent pas

Les chiffres phares demandent une lecture attentive. Le résumé arXiv fait état d'une réussite sur ALFWorld passant de 24,6 % à 78,4 % tout en conservant un budget de tokens comparable à celui de ReAct, soit une amélioration de 3,1× de l'efficacité normalisée en tokens. Une liste miroir indique 78,3 %, ce qui correspond au communiqué de presse. L'écart ressemble à un effet de révision ou d'arrondi ; mieux vaut donc retenir un chiffre d'environ 78 %.

Les « deux tiers de calcul en moins » du titre relèvent de la présentation du communiqué : une consommation de ressources de calcul d'environ un tiers de celle des approches classiques. La formulation de l'article est différente : il décrit un budget de tokens équivalent à celui de ReAct et un gain de 3,1× en efficacité normalisée. Mon interprétation, que les sources ne confirment pas, est que le chiffre des deux tiers reformule ce ratio d'efficacité, et non une réduction absolue du nombre de tokens par rapport à un critique toujours actif. Les lecteurs qui souhaitent savoir précisément quelle référence a été mesurée devront consulter les tableaux de l'article.

Un résultat plus utile en pratique est la comparaison selon la taille des modèles. Un acteur de 7B associé à un critique léger de 3B atteint des performances comparables à celles d'un acteur de 14B sans critique. Les auteurs affirment que l'approche récupère l'essentiel du gain de fiabilité de la délibération à un coût d'inférence bien moindre. L'article rapporte des résultats sur trois benchmarks interactifs à long horizon et sur plusieurs modèles de base, mais la couverture de presse ne mentionne qu'ALFWorld.

Plusieurs questions restent ouvertes :

• La manière dont le coût du critique est comptabilisé dans la métrique d'efficacité.
• La sensibilité des seuils de la porte à la tâche.
• La capacité d'un saut de 24,6 % à la fourchette haute des 70 % à se généraliser au-delà d'un domaine domestique simulé et gabarité. Les tâches d'ALFWorld sont synthétiques et textuelles : ce n'est donc pas une preuve valable pour des tâches ouvertes sur le web ou en logiciel.

05VAN-Flow : écarter les succès dus à la chance

Le second article porte sur l'apprentissage par renforcement hors ligne, où une politique apprend à partir de données enregistrées parce que l'essai-erreur en conditions réelles serait dangereux. Sa prémisse : les politiques génératives peuvent reproduire des modes d'action peu fiables, dont les distributions de retour présentent une forte variance, qui produisent parfois de hauts retours par hasard mais manquent de régularité. La seule maximisation de la valeur Q espérée ne permet donc pas de distinguer la compétence de la chance.

VAN-Flow (Variance-Averse n-step Flow) combine trois éléments, selon les auteurs :

• Un critique distributionnel catégoriel. Il modélise toute la distribution des retours, et pas seulement sa moyenne.
• Un opérateur d'espérance averse à la variance. Il repondère en douceur les probabilités des atomes afin de favoriser les actions combinant retours élevés et faible dispersion.
• Un acteur génératif par flow matching. Il est guidé par échantillonnage par rejet : l'acteur propose des actions candidates et le score du critique, sensible à la variance, départage ces candidates.

L'article distingue cette approche des objectifs CVaR ou moyenne-variance. L'opérateur redistribue la masse de probabilité sur la distribution catégorielle des retours, sans troncature brutale ni terme de pénalité auxiliaire. Les auteurs notent que les retours à n pas réduisent le biais d'amorçage mais amplifient la variance des retours sur des données hétérogènes. C'est pourquoi un sélecteur sensible à la variance compte surtout dans les contextes à long horizon et à récompenses rares.

Côté résultats, l'article indique que, sur plus de 40 tâches de D4RL et d'OGBench, VAN-Flow surpasse systématiquement de solides références, avec les gains les plus marqués dans les régimes à long horizon et à forte variance. Le communiqué de presse est plus prudent et affirme qu'il a battu « la plupart » des méthodes de pointe. Les deux benchmarks sont simulés. Rien dans les sources ne montre de robots ou de véhicules réels : la pertinence pour un déploiement critique pour la sécurité relève donc de l'extrapolation. Les auteurs ont publié le code sur GitHub.

06Ce que cela implique pour les agents déployables

Les deux articles partagent une même idée : ne dépenser des ressources rares que là où les statistiques du système lui-même indiquent qu'elles comptent. SAG l'applique au calcul d'inférence, VAN-Flow au choix des actions auxquelles se fier. Pour les praticiens, l'enseignement principal de SAG est d'ordre architectural. La critique n'est pas forcément une taxe fixe à chaque étape. Une porte d'incertitude sans entraînement et un petit critique peuvent réduire l'écart avec un modèle deux fois plus grand que l'acteur, à condition que les résultats se confirment sur des tâches extérieures aux benchmarks de l'article.

Des réplications indépendantes seront déterminantes. Les deux travaux sont des prépublications, les chiffres proviennent des auteurs, et l'affirmation sur le calcul est décrite différemment dans l'article et dans le dossier de presse. NeurIPS 2026 se tient du 6 au 14 décembre ; les auteurs y présenteront leurs travaux et la communauté pourra les mettre à l'épreuve.