Wprowadzenie
Prompt-composed systemy agentowe mogą wykazywać subtelne interferencje między modułami: edycja jednego modułu prompta zmienia zachowanie innych, mimo braku wspólnych zmiennych czy zależności wykonawczych. Autorzy formalizują to jako compositional behavioral leakage (CBL) i przedstawiają empiryczne badanie, które uwidacznia tę klasę błędów.
CBL to interferencja między modułami, które dzielą okno kontekstowe. W praktyce oznacza to, że kolejne fragmenty prompta, sklejone w jednym kontekście, mogą oddziaływać na siebie nawzajem w sposób niemający odzwierciedlenia w kodzie czy zmiennych środowiskowych. Efekt jest „cichy”: zmiana jednego modułu przesuwa zachowanie innych bez jawnej przyczyny.
Przyczynę wskazano na brak formalnych granic w architekturze transformera: mechanizm self-attention nie narzuca izolacji między konkatenowanymi modułami. W rezultacie przepływ informacji przez uwagę umożliwia wzajemne wpływanie fragmentów prompta, co tworzy kanał interferencji mimo braku bezpośrednich zależności wykonawczych.
Badanie przeprowadzono na wdrożonym agencie oceniającym oferty pracy (Claude Sonnet 4.6) w 144 próbach. Wykorzystano trójkanałowy protokół perturbacyjny, który modyfikował niefokusowe moduły w trzech wymiarach: głośność (volume), treść (content) i formę (form). Wyniki wykazały, że tylko kanał treści powodował wykrywalny efekt powiązany - statystyka Cohena d = 0.63, a bootstrapowane 95% przedziały ufności wykluczały zero. Nie odnotowano jednak pojedynczych rekomendacji, które uległyby odwróceniu; efekt mieścił się w reżimie podprogowym, trudnym do wychwycenia standardowymi testami QA.
Dla zespołów integrujących prompt-composed systemy rekomendowane są praktyki testowe i izolacyjne: testowanie modułów w kontekście, a nie tylko izolowanie logiczne; stosowanie protokołów perturbacyjnych podobnych do trójkanałowego podejścia, ze szczególnym uwzględnieniem kanału treści; monitorowanie efektów podprogowych i ich kumulacji w dłuższych sekwencjach. Ponieważ standardowe QA może nie wykryć subtelnych zmian, warto uwzględnić metryki wrażliwości i testy parowania modułów.
Artykuł wskazuje, że składanie promptów w jednym oknie kontekstowym może prowadzić do cichego przenikania zachowań między modułami z powodu braku architektonicznej izolacji w transformatorach. Empiryczne testy wykazały istotny efekt związany z treścią modyfikacji, co sugeruje potrzebę systematycznego testowania i izolowania modułów przy integracji.
1. Czym jest CBL? CBL to interferencja między modułami prompta dzielącymi okno kontekstowe, prowadząca do cichych zmian zachowania.
2. Dlaczego transformery sprzyjają CBL? Mechanizm self-attention nie tworzy formalnych granic między konkatenowanymi modułami, co umożliwia przepływ wpływów między nimi.
3. Jak testowano CBL w badaniu? Użyto trójkanałowego protokołu perturbacyjnego (volume, content, form) na agencie Claude Sonnet 4.6 w 144 próbach.
4. Który kanał dał efekt? Kanał treści wykazał wykrywalny efekt (Cohen's d = 0.63, bootstrap 95% CI wykluczający zero).
5. Co powinni robić integratorzy? Testować moduły kontekstowo, stosować perturbacyjne protokoły wykrywające interferencje i monitorować efekty podprogowe.
Źródło: https://arxiv.org/abs/2606.26356