El agente SAG de Sungkyunkwan pide crítica solo si duda y eleva el éxito en ALFWorld

Un agente basado en un modelo de lenguaje que consulta a un segundo modelo tras cada acción paga esa cautela en tokens y latencia. Un grupo de investigación dirigido por Minhae Kwon ha desarrollado un agente que solo pide esa segunda opinión cuando su propia incertidumbre indica que merece la pena el coste. En ALFWorld, un benchmark textual de tareas domésticas, el marco (SAG) elevó el éxito de las tareas del 24,6 % a cerca del 78 % con un presupuesto de tokens comparable al de un agente ReAct básico. El segundo artículo del grupo, VAN-Flow, aborda un fallo distinto: el aprendizaje por refuerzo offline que confunde las acciones afortunadas con las fiables. Ambos trabajos son preprints de arXiv aceptados en NeurIPS 2026.

Una corrección al planteamiento de partida: el trabajo no procede de KAIST. Según la información de Tech Xplore y un segundo resumen, el equipo pertenece a la Universidad Sungkyunkwan, en la Escuela de Ingeniería Electrónica y Eléctrica.

01El problema de coste que ataca SAG

Los agentes que alternan razonamiento y acción pueden fallar de forma acumulativa. Como lo expresa el artículo de SAG, los errores tempranos pueden propagarse a lo largo de las trayectorias y provocar fallos en cascada. Un remedio habitual es la crítica o deliberación externa, pero invocar estos mecanismos en cada paso aumenta de forma sustancial el consumo de tokens y la latencia. Los autores comparan su método con la crítica siempre activa (la línea base LAC) y señalan que mejora el éxito, pero puede reducir de forma considerable la eficiencia.

SAG (Self-improving Agent with Gated critique) trata la crítica como una decisión que se toma en cada paso, no como una parte fija del bucle. El artículo lo plantea desde el valor de la información: conviene pedir crítica cuando la mejora esperada supera su coste computacional.

02Primera técnica: una compuerta de incertidumbre

La compuerta es barata. Según el artículo, se trata de un mecanismo de activación ligero y sin entrenamiento que estima la utilidad de la crítica a partir de señales de ambigüedad a nivel de acción (entropía global y margen top-2 local) calculadas sobre las acciones admisibles.

En la práctica, el agente ya puntúa las acciones candidatas disponibles en su estado actual. Dos lecturas de esa distribución sirven como indicador de «puedo estar equivocado»:

• Entropía global: alta cuando la masa de probabilidad se reparte entre muchas acciones admisibles.
• Margen top-2: pequeño cuando los dos mejores candidatos están casi empatados.

Cuando la distribución es nítida, el agente actúa solo. Cuando es plana o las dos primeras opciones están próximas, se llama al crítico. Como la compuerta reutiliza números que el actor produce de todos modos, la decisión apenas añade sobrecarga. Tampoco requiere entrenar un enrutador aparte. El artículo afirma que la compuerta aproxima el valor de la información. Sin embargo, las señales son indicadores heurísticos, y el resumen del preprint no indica hasta qué punto la entropía refleja el error real en distintos dominios.

03Segunda técnica: interiorizar el crítico

El segundo componente es la automejora en línea con bootstrapping, que permite al actor interiorizar los comportamientos asistidos por el crítico y reducir progresivamente su dependencia de la crítica. Los comportamientos corregidos se convierten en señal de entrenamiento para el actor, de modo que con el tiempo menos estados activan la compuerta. Los materiales de prensa lo describen como una acumulación de experiencia exitosa. Aquí es también donde el ahorro de costes debería acumularse, ya que las llamadas al crítico disminuyen a medida que mejora el actor.

04Lo que los números muestran y lo que no

Las cifras principales exigen una lectura cuidadosa. El resumen de arXiv indica que el éxito en ALFWorld sube del 24,6 % al 78,4 % manteniendo un presupuesto de tokens comparable al de ReAct, lo que supone una mejora de 3,1× en eficiencia normalizada de tokens. Un listado espejo da 78,3 %, que coincide con el comunicado de prensa. La diferencia parece deberse a una revisión o a un redondeo, así que conviene tomar la cifra como aproximadamente un 78 %.

Las «dos terceras partes menos de cómputo» del titular son el planteamiento del comunicado de prensa: un consumo de recursos computacionales de en torno a un tercio del de los enfoques convencionales. La redacción del propio artículo es distinta: describe un presupuesto de tokens equiparable al de ReAct y una mejora de 3,1× en eficiencia normalizada. Mi interpretación, que las fuentes no confirman, es que la cifra de las dos terceras partes reformula esa razón de eficiencia, y no un recorte absoluto de tokens frente a un crítico siempre activo. Quien quiera saber exactamente qué línea base se midió debería consultar las tablas del artículo.

Un resultado de mayor utilidad práctica es la comparación por tamaño de modelo. Un actor de 7B con un crítico ligero de 3B logra un rendimiento comparable al de un actor de 14B sin crítica. Los autores afirman que el enfoque recupera la mayor parte del beneficio de fiabilidad de la deliberación con un coste de inferencia mucho menor. El artículo presenta resultados en tres benchmarks interactivos de horizonte largo y con varios modelos base, pero la cobertura de prensa solo menciona ALFWorld.

Entre las cuestiones sin resolver figuran:

• Cómo se contabiliza el coste del crítico en la métrica de eficiencia.
• Qué sensibilidad tienen a la tarea los umbrales de la compuerta.
• Si un salto del 24,6 % a casi el 80 % se generaliza más allá de un dominio doméstico simulado y basado en plantillas. Las tareas de ALFWorld son sintéticas y textuales, de modo que esto no constituye una prueba sobre trabajo abierto en la web o en software.

05VAN-Flow: filtrar los éxitos afortunados

El segundo artículo aborda el aprendizaje por refuerzo offline, en el que una política aprende a partir de datos registrados porque el ensayo y error en vivo sería peligroso. Su premisa: las políticas generativas pueden reproducir modos de acción poco fiables cuyas distribuciones de retorno presentan una varianza alta, de modo que ocasionalmente logran retornos elevados por azar pero carecen de consistencia. Por tanto, maximizar únicamente el valor Q esperado no permite distinguir la habilidad de la suerte.

VAN-Flow (Variance-Averse n-step Flow) combina tres partes, según los autores:

• Un crítico distribucional categórico. Modela toda la distribución del retorno, no solo su media.
• Un operador de esperanza aversivo a la varianza. Reajusta de forma suave las probabilidades de los átomos para favorecer las acciones con retornos altos y baja dispersión.
• Un actor generativo de flow matching. Se guía mediante muestreo por rechazo: el actor propone acciones candidatas y la puntuación del crítico, sensible a la varianza, elige entre ellas.

El artículo distingue este enfoque de los objetivos CVaR o de media-varianza. El operador redistribuye la masa de probabilidad sobre la distribución categórica del retorno sin truncamiento brusco ni términos de penalización auxiliares. Los autores señalan que los retornos a n pasos reducen el sesgo de bootstrapping, pero amplifican la varianza del retorno con datos heterogéneos. Por eso un selector sensible a la varianza resulta especialmente importante en entornos de horizonte largo con recompensas escasas.

En cuanto a los resultados, el artículo indica que, en más de 40 tareas de D4RL y OGBench, VAN-Flow supera de forma consistente a líneas base sólidas, con las mayores mejoras en regímenes de horizonte largo y alta varianza. La redacción del comunicado de prensa es más cauta: dice que superó a «la mayoría» de los métodos de última generación. Ambos son benchmarks simulados. Nada en las fuentes muestra robots físicos ni vehículos, por lo que su relevancia para despliegues críticos para la seguridad es una extrapolación. Los autores han publicado el código en GitHub.

06Qué implica esto para los agentes desplegables

Los dos artículos comparten una idea: gastar los recursos escasos solo donde las propias estadísticas del sistema indican que importan. SAG la aplica al cómputo de inferencia y VAN-Flow a la elección de las acciones en las que confiar. Para los profesionales, la principal lección de SAG es arquitectónica. La crítica no tiene que ser un impuesto fijo por paso. Una compuerta de incertidumbre sin entrenamiento y un crítico pequeño pueden acortar la distancia con un modelo del doble de tamaño que el actor, siempre que los resultados se sostengan en tareas ajenas a los benchmarks del artículo.

La replicación independiente será importante. Ambos trabajos son preprints, las cifras proceden de los propios autores y la afirmación sobre el cómputo se describe de forma distinta en el artículo y en el material de prensa. NeurIPS 2026 se celebra del 6 al 14 de diciembre; allí los autores presentarán el trabajo y la comunidad podrá ponerlo a prueba.