Sungkyunkwan-Agent SAG fragt nur bei Unsicherheit nach Kritik – mehr ALFWorld-Erfolg

Ein Sprachmodell-Agent, der nach jeder Aktion ein zweites Modell konsultiert, bezahlt diese Vorsicht mit Tokens und Latenz. Eine Forschungsgruppe um Minhae Kwon hat einen Agenten entwickelt, der die zweite Meinung nur dann einholt, wenn seine eigene Unsicherheit den Aufwand rechtfertigt. Auf ALFWorld, einem textbasierten Haushalts-Benchmark, steigerte das Framework (SAG) die Erfolgsquote von 24,6 % auf rund 78 % – bei einem Token-Budget, das dem eines einfachen ReAct-Agenten entspricht. Das zweite Paper der Gruppe, VAN-Flow, befasst sich mit einem anderen Problem: Offline-Reinforcement-Learning, das Zufallstreffer für verlässliche Aktionen hält. Beide Arbeiten sind arXiv-Preprints und wurden für NeurIPS 2026 angenommen.

Eine Korrektur der ursprünglichen Einordnung: Die Arbeit stammt nicht vom KAIST. Laut dem Bericht von Tech Xplore und einer weiteren Zusammenfassung sitzt das Team an der Sungkyunkwan University, an der School of Electronic and Electrical Engineering.

01Das Kostenproblem, das SAG angeht

Agenten, die Schlussfolgern und Handeln verzahnen, können sich in einer Fehlerkaskade verheddern. Wie das SAG-Paper formuliert, können sich frühe Fehler durch die Trajektorien fortpflanzen und kaskadierende Ausfälle verursachen. Ein gängiges Gegenmittel ist externe Kritik oder Deliberation. Wer diese Mechanismen aber bei jedem Schritt aufruft, erhöht Token-Verbrauch und Latenz erheblich. Die Autoren vergleichen mit einer permanent aktiven Kritik (der Baseline LAC) und berichten, diese verbessere zwar den Erfolg, könne aber die Effizienz deutlich senken.

SAG (Self-improving Agent with Gated critique) behandelt Kritik als Entscheidung pro Schritt und nicht als festen Bestandteil der Schleife. Das Paper begründet dies mit dem Value of Information: Kritik soll dann eingeholt werden, wenn ihr erwarteter Nutzen die Rechenkosten übersteigt.

02Technik eins: ein Unsicherheits-Gate

Das Gate ist günstig. Laut Paper handelt es sich um einen schlanken, trainingsfreien Gating-Mechanismus, der den Nutzen von Kritik anhand von Mehrdeutigkeitssignalen auf Aktionsebene abschätzt – globale Entropie und lokale Top-2-Marge –, berechnet über die zulässigen Aktionen.

In der Praxis bewertet der Agent die im aktuellen Zustand verfügbaren Kandidatenaktionen ohnehin. Zwei Lesarten dieser Verteilung dienen als Indikator für „Ich könnte falschliegen":

• Globale Entropie: hoch, wenn sich die Wahrscheinlichkeitsmasse auf viele zulässige Aktionen verteilt.
• Top-2-Marge: klein, wenn die beiden besten Kandidaten nahezu gleichauf liegen.

Ist die Verteilung scharf, handelt der Agent allein. Ist sie flach oder liegen die beiden besten Optionen dicht beieinander, wird der Critic gerufen. Da das Gate Werte wiederverwendet, die der Actor ohnehin erzeugt, verursacht die Entscheidung kaum Mehraufwand. Auch ein separat zu trainierender Router entfällt. Laut Paper approximiert das Gate den Value of Information. Die Signale sind jedoch heuristische Stellvertreter, und das Abstract des Preprints sagt nicht, wie gut die Entropie echte Fehler über verschiedene Domänen hinweg abbildet.

03Technik zwei: den Critic verinnerlichen

Die zweite Komponente ist eine Online-Bootstrapped-Selbstverbesserung, die es dem Actor erlaubt, critic-gestützte Verhaltensweisen zu verinnerlichen und die Abhängigkeit von Kritik schrittweise zu verringern. Korrigierte Verhaltensweisen werden zum Trainingssignal für den Actor, sodass im Lauf der Zeit weniger Zustände das Gate auslösen. Die Pressematerialien beschreiben das als Ansammeln erfolgreicher Erfahrung. Hier dürften sich auch die Kosteneinsparungen aufsummieren, denn die Critic-Aufrufe sinken, je besser der Actor wird.

04Was die Zahlen zeigen – und was nicht

Die Schlagzeilenwerte verlangen genaues Lesen. Das arXiv-Abstract berichtet, die ALFWorld-Erfolgsquote steige von 24,6 % auf 78,4 %, bei einem Token-Budget auf ReAct-Niveau; das ergebe eine 3,1-fache Verbesserung der normalisierten Token-Effizienz. Ein gespiegelter Eintrag nennt 78,3 %, was zur Pressemitteilung passt. Der Unterschied dürfte auf eine Überarbeitung oder Rundung zurückgehen; der Wert ist daher als etwa 78 % zu verstehen.

Die „zwei Drittel weniger Rechenaufwand" aus der Überschrift sind die Darstellung der Pressemitteilung: ein Ressourcenverbrauch von etwa einem Drittel gegenüber herkömmlichen Ansätzen. Das Paper selbst formuliert anders. Es beschreibt ein Token-Budget auf Augenhöhe mit ReAct und einen 3,1-fachen Gewinn bei der normalisierten Effizienz. Meine Lesart, die die Quellen nicht bestätigen, lautet: Die Zwei-Drittel-Angabe gibt dieses Effizienzverhältnis wieder und ist keine absolute Token-Einsparung gegenüber einem permanent aktiven Critic. Wer genau wissen will, welche Baseline gemessen wurde, sollte die Tabellen des Papers prüfen.

Praktisch aussagekräftiger ist der Vergleich der Modellgrößen. Ein 7B-Actor mit einem schlanken 3B-Critic erreicht eine Leistung, die mit einem 14B-Actor ohne Kritik vergleichbar ist. Die Autoren sagen, der Ansatz hole den Großteil des Zuverlässigkeitsgewinns der Deliberation bei deutlich geringeren Inferenzkosten heraus. Das Paper berichtet Ergebnisse auf drei interaktiven Langzeit-Benchmarks und mit mehreren Backbone-Modellen, die Presseberichte nennen aber nur ALFWorld.

Offene Fragen sind unter anderem:

• Wie die Kosten des Critic in die Effizienzmetrik eingehen.
• Wie empfindlich die Gate-Schwellenwerte auf die jeweilige Aufgabe reagieren.
• Ob sich ein Sprung von 24,6 % auf die hohen 70er-Werte über eine schablonenhafte, simulierte Haushaltsdomäne hinaus verallgemeinern lässt. ALFWorld-Aufgaben sind synthetisch und textbasiert; das ist also kein Beleg für offene Web- oder Softwareaufgaben.

05VAN-Flow: Zufallserfolge herausfiltern

Das zweite Paper widmet sich dem Offline-Reinforcement-Learning, bei dem eine Policy aus aufgezeichneten Daten lernt, weil Trial-and-Error im laufenden Betrieb unsicher wäre. Die Ausgangsthese: Generative Policies können unzuverlässige Aktionsmodi reproduzieren, deren Return-Verteilungen eine hohe Varianz aufweisen – sie liefern gelegentlich zufällig hohe Returns, aber ohne Konsistenz. Die alleinige Maximierung des erwarteten Q-Werts kann deshalb Können nicht von Glück trennen.

VAN-Flow (Variance-Averse n-step Flow) kombiniert nach Angaben der Autoren drei Bausteine:

• Einen kategorialen distributionalen Critic. Er modelliert die gesamte Return-Verteilung, nicht nur deren Mittelwert.
• Einen varianzaversen Erwartungsoperator. Er gewichtet die Wahrscheinlichkeiten der Atome sanft um und bevorzugt Aktionen mit hohen Returns und geringer Streuung.
• Einen Flow-Matching-Actor als generatives Modell. Er wird per Rejection Sampling gesteuert: Der Actor schlägt Kandidatenaktionen vor, und der varianzbewusste Score des Critic wählt unter ihnen aus.

Das Paper grenzt dies von CVaR- oder Mittelwert-Varianz-Zielfunktionen ab. Der Operator verteilt die Wahrscheinlichkeitsmasse über die kategoriale Return-Verteilung um, ohne harte Abschneidung und ohne zusätzliche Strafterme. Die Autoren weisen darauf hin, dass n-Schritt-Returns den Bootstrapping-Bias verringern, bei heterogenen Daten aber die Return-Varianz verstärken. Deshalb ist ein varianzbewusster Selektor in Langzeit-Szenarien mit spärlichen Belohnungen besonders wichtig.

Zu den Ergebnissen berichtet das Paper, VAN-Flow übertreffe über mehr als 40 Aufgaben aus D4RL und OGBench hinweg konsistent starke Baselines, mit den größten Gewinnen in Langzeit-Szenarien mit hoher Varianz. Die Pressemitteilung formuliert vorsichtiger und spricht davon, „die meisten" State-of-the-Art-Methoden geschlagen zu haben. Beides sind simulierte Benchmarks. In den Quellen findet sich nichts zu realen Robotern oder Fahrzeugen, die Relevanz für sicherheitskritische Einsätze ist daher eine Extrapolation. Die Autoren haben den Code auf GitHub veröffentlicht.

06Was das für einsetzbare Agenten bedeutet

Beide Paper teilen eine Idee: knappe Ressourcen nur dort einsetzen, wo die eigenen Statistiken des Systems sie als relevant ausweisen. SAG wendet das auf die Inferenzrechenleistung an, VAN-Flow auf die Auswahl der Aktionen, denen man vertraut. Für Praktiker liegt die Kernlehre aus SAG in der Architektur: Kritik muss keine feste Steuer pro Schritt sein. Ein trainingsfreies Unsicherheits-Gate und ein kleiner Critic können den Abstand zu einem doppelt so großen Actor-Modell verringern – vorausgesetzt, die Ergebnisse halten auch bei Aufgaben jenseits der Benchmarks des Papers stand.

Unabhängige Replikation wird entscheidend sein. Beide Arbeiten sind Preprints, die Zahlen stammen von den Autoren, und die Aussage zum Rechenaufwand wird im Paper und im Pressematerial unterschiedlich beschrieben. Die NeurIPS 2026 findet vom 6. bis 14. Dezember statt; dort stellen die Autoren ihre Arbeit vor, und die Community kann sie auf die Probe stellen.