Einleitung
Die Arbeit beschreibt zwei Familien von Weltmodellen für Sprachagenten und schlägt ein hybrides Verfahren namens Grounded Iterative Language Planning (GILP) vor. Ziel ist die Verringerung der Ausbreitung von Halluzinationen und die Bereitstellung korrekter Aktionen zur Verbesserung der Zuverlässigkeit in Geschäftsanwendungen.
Die eine Form ist ein agentenbasiertes Weltmodell, das LLM-APIs aufruft und flexibel in natürlicher Sprache schlussfolgert. Die andere ist ein parametriertes Weltmodell - ein trainierter Übergangsprädiktor, der Zustandsänderungen direkt modelliert.
Fehler bei agentenbasierten Modellen treten als halluzinierte Zustandsänderungen auf, die sich nur schwer mit üblichen Regressionsverlusten bewerten lassen. Parametrisierte Modelle hingegen liefern Fehler, die sich leichter mit Metriken wie NodeMSE, delta accuracy und validity accuracy quantifizieren lassen, was Evaluation und Fehlersuche vereinfacht.
Der Vergleich der beiden Modellfamilien auf graphstrukturierten Planungsbenchmarks motivierte GILP. Dabei wird nur ein kleiner parametrisierter Backbone trainiert und mit dem API-basierten Agenten kombiniert. Der Backbone liefert gültige Aktionen und vorhergesagte Zustandsdeltas, was die Ausbreitung von Agentenhalluzinationen reduzieren soll.
Die hybride Lösung vereint die flexible sprachliche Schlussfolgerung der LLMs mit messbaren, validierbaren Zustandsvorhersagen des Backbones. Dies führt in der Praxis zu höherer Zuverlässigkeit von Agenten in Szenarien, in denen falsche Zustandsänderungen kostspielige Folgen haben können.
GILP reduziert typische Fehler agentenbasierter Modelle, indem ein kleiner, parametrisierter Weltmodell als stabiler Mechanismus korrekte Aktionen und Zustandsdeltas bereitstellt. Diese Hybridarchitektur verbessert die Bewertbarkeit und Robustheit von Planungsagenten.
1. Worin unterscheiden sich agentenbasierte und parametrisierte Modelle? Agentenbasierte Modelle nutzen API-Aufrufe und Sprachschlussfolgerung; parametrisierte Modelle sind trainierte Prädiktoren von Zustandsübergängen.
2. Warum sind Halluzinationen bei Agenten schwer zu messen? Weil sie als erfundene Zustandsänderungen erscheinen und sich nicht einfach mit standardmäßigen Regressionsverlusten erfassen lassen.
3. Welche Metriken werden für parametrisierte Modelle genannt? Im Text werden NodeMSE, delta accuracy und validity accuracy als Beispiele genannt.
4. Was liefert der Backbone in GILP? Er stellt gültige Aktionen und vorhergesagte Zustandsdeltas bereit, um das Agentenreasoning zu stützen.
5. Warum ist GILP für Unternehmen relevant? Weil es die Ausbreitung von Halluzinationen reduziert und dadurch die Zuverlässigkeit von Agenten in geschäftskritischen Anwendungen erhöht.
Quelle: https://arxiv.org/abs/2606.27806