Einführung
In prompt-komponierten agentischen Systemen berichten Praktiker von einem wiederkehrenden Fehlerbild: Die Änderung eines Prompt-Moduls verschiebt lautlos das Verhalten anderer Module, obwohl keine gemeinsamen Variablen oder ausführbaren Abhängigkeiten existieren. Dies wird als compositional behavioral leakage (CBL) formalisiert und empirisch adressiert.
CBL bezeichnet Interferenzen zwischen Modulen, die sich ein Kontextfenster teilen. Wenn mehrere Prompt-Module aneinandergereiht werden, können Änderungen in einem Modul andere beeinflussen, ohne dass dies in Code oder Zustand sichtbar ist. Der Effekt ist leise und daher für Standard-QA schwer zu erkennen.
Als Ursache wird die fehlende formale Isolation in der Transformer-Architektur identifiziert: Self-Attention setzt keine klaren Grenzen zwischen concatenated Modulen. Dadurch kann Information über Aufmerksamkeitsgewichte hinweg fließen und unbeabsichtigte Wechselwirkungen zwischen Modulen ermöglichen.
CBL wurde an einem eingesetzten Job-Evaluations-Agenten (Claude Sonnet 4.6) in 144 Versuchen untersucht. Ein wiederverwendbares Drei-Kanal-Protokoll perturbierte nicht-fokale Module entlang der Dimensionen Volume, Content und Form. Nur der Content-Kanal erzeugte einen nachweisbaren gepaarten Effekt, mit Cohen's d = 0.63 und einem bootstrap-basierten 95% Konfidenzintervall, das Null ausschloss. Es wurde keine einzelne Empfehlung umgekehrt; der Effekt lag in einem subthreshold Bereich, der für Standard-QA unsichtbar ist.
Integratoren sollten kontextuelle Test- und Isolationspraktiken anwenden: Module sowohl im vollständigen Kontext als auch isoliert prüfen; perturbative Protokolle nutzen, die Volume, Content und Form variieren, um gepaarte Effekte aufzudecken; besonderes Augenmerk auf Content-Perturbationen legen, da diese messbare Einflüsse zeigten. Da Standard-QA subtile Verschiebungen übersehen kann, sind Sensitivitätsmetriken und gepaarte Tests ratsam.
Compositional behavioral leakage entsteht durch das Fehlen formaler Modulgrenzen in Transformer-Attention und kann Verhalten zwischen aneinandergereihten Prompt-Modulen lautlos verändern. Empirische Tests an einem eingesetzten Agenten zeigten einen contentgetriebenen Effekt, der die Notwendigkeit kontextueller Tests und perturbativer Protokolle bei der Integration unterstreicht.
1. Was ist CBL? CBL ist Interferenz zwischen Prompt-Modulen, die ein Kontextfenster teilen, und verursacht lautlose Verhaltensänderungen.
2. Warum begünstigen Transformer CBL? Self-Attention bildet keine formalen Grenzen zwischen konkatenieren Modulen, was Quereinflüsse ermöglicht.
3. Wie wurde CBL geprüft? Ein Drei-Kanal-Perturbationsprotokoll (volume, content, form) wurde an Claude Sonnet 4.6 in 144 Versuchen angewendet.
4. Welcher Kanal zeigte einen Effekt? Nur der Content-Kanal zeigte einen nachweisbaren gepaarten Effekt (Cohen's d = 0.63, bootstrap 95% CI ohne Null).
5. Was sollen Integratoren tun? Module kontextuell testen, perturbative Protokolle einsetzen und auf subthreshold gepaarte Effekte überwachen.
Quelle: https://arxiv.org/abs/2606.26356