Agent AI nie powinien mieć dostępu do wszystkich narzędzi, danych i akcji tylko dlatego, że potrafi je opisać. Według dokumentacji TrueFoundry guardraile działają w czasie wykonywania i sprawdzają faktyczny ładunek każdej interakcji: prompt, odpowiedź modelu oraz argumenty i wyniki wywołań narzędzi, a decyzja może brzmieć: allow, block albo rewrite. Według Dataiku taki mechanizm powinien działać na poziomie akcji, a nie dopiero po fakcie, bo dopiero wtedy da się zatrzymać niepożądane wywołanie zanim dotknie systemu docelowego.
W praktyce oznacza to trzy warstwy kontroli: ograniczenie, co agent w ogóle może wywołać; sprawdzenie, czy wolno mu to zrobić w danym kontekście; oraz zapisanie każdej decyzji do audytu. Dokumentacja Maxim AI porządkuje to jako guardraile treści, dostępu i zużycia: filtrowanie niebezpiecznych treści, listy dozwolonych modeli i narzędzi oraz limity rate i budżetu.
Jeśli log nie pozwala odtworzyć przebiegu działania, nie jest użyteczny w audycie. Według Qovery audytowalny ślad powinien obejmować co najmniej tożsamość aktora, znacznik czasu, dokładne żądanie i odpowiedź API, zatwierdzającego człowieka albo politykę, która zatwierdziła akcję, oraz wynikowy stan zasobu. Z kolei dokumentacja Sweet Security podkreśla, że trzeba rejestrować nie tylko akcje dozwolone, ale też zablokowane i eskalowane, aby później stroić polityki i wykrywać nadużycia.
Najbezpieczniejszy wzorzec to zapis poza systemem wykonawczym i w trybie append-only. Qovery wskazuje na off-cluster storage, takie jak CloudWatch Logs, GCP Cloud Audit Logs albo S3 Object Lock, oraz na Falco do wykrywania zachowań runtime, których nie widzi API server. To ważne, bo agent może próbować działać bokiem, na przykład uruchomić shell w kontenerze albo wysłać nietypowy ruch wychodzący.
Sama kontrola treści nie wystarcza, jeśli agent może wykonywać zbyt dużo akcji albo za szeroko działać w systemach biznesowych. Według Maxim AI i Qovery podstawą są allowlisty narzędzi, uprawnienia per agent, per zadanie i per środowisko, a także limity kosztu i liczby wywołań. Qovery dodaje jeszcze approval gate dla działań nieodwracalnych, ponieważ część operacji powinna wymagać człowieka, nawet jeśli polityka formalnie je dopuszcza.
To podejście dobrze działa w modelu warstwowym: najpierw agent dostaje tylko minimalny zestaw funkcji, potem każda próba użycia narzędzia jest oceniana przez politykę, a na końcu zapis trafia do audytu. Według TrueFoundry każda obserwacja może zostać oznaczona jako audit, czyli tylko z rejestrowaniem, bez blokowania, co ułatwia uruchomienie kontroli stopniowo, bez natychmiastowego zatrzymywania całego procesu.
W tym obszarze największy błąd polega na traktowaniu guardrail jako jednego filtra. Źródła TrueFoundry, Qovery i Dataiku pokazują raczej system kontroli: logi do rekonstrukcji, limity do zatrzymania eskalacji kosztu, uprawnienia do ograniczenia zasięgu oraz ręczne zatwierdzenie tam, gdzie błąd byłby nieodwracalny.
Lub System pomaga firmom B2B wdrażać AI, automatyzację i rozwiązania IT kompleksowo - od strategii po wdrożenie. Zobacz nasze usługi lub skontaktuj się z nami, aby omówić Twój przypadek.
Źródło: https://www.qovery.com/blog/ai-agents-kubernetes-audit-trails-policy-guardrails