Ein KI-Agent sollte nicht allein deshalb Zugriff auf alle Werkzeuge, Daten und Aktionen haben, weil er sie beschreiben kann. Laut TrueFoundry-Dokumentation arbeiten Guardrails zur Laufzeit und prüfen die tatsächliche Nutzlast jeder Interaktion: Prompt, Modellantwort sowie Argumente und Ergebnisse von Tool-Aufrufen; die Entscheidung kann lauten: erlauben, blockieren oder umschreiben. Dataiku betont, dass ein solcher Mechanismus auf Aktionsebene wirken sollte und nicht erst nachträglich, denn nur so lässt sich ein unerwünschter Aufruf stoppen, bevor er das Zielsystem erreicht.
In der Praxis bedeutet das drei Kontrollebenen: einschränken, was der Agent überhaupt aufrufen kann; prüfen, ob er das in einem gegebenen Kontext darf; und jede Entscheidung für das Audit protokollieren. Maxim AI ordnet das als Guardrails für Inhalte, Zugriff und Verbrauch: Filterung gefährlicher Inhalte, Zulassungslisten für erlaubte Modelle und Tools sowie Rate- und Budget-Limits.
Wenn ein Log den Ablauf nicht rekonstruierbar macht, ist es für ein Audit nutzlos. Qovery empfiehlt, dass eine auditierbare Spur mindestens die Identität des Akteurs, Zeitstempel, die exakte API-Anfrage und -Antwort, die genehmigende Person oder Richtlinie sowie den resultierenden Ressourcenstatus enthalten sollte. Die Dokumentation von Sweet Security betont, dass man nicht nur erlaubte, sondern auch blockierte und eskalierte Aktionen erfassen muss, um später Richtlinien zu verfeinern und Missbrauch zu erkennen.
Das sicherste Muster ist die Speicherung außerhalb des Ausführungssystems und im Append-Only-Modus. Qovery verweist auf Off-Cluster-Storage wie CloudWatch Logs, GCP Cloud Audit Logs oder S3 Object Lock sowie auf Falco zur Erkennung von Laufzeitverhalten, das der API-Server nicht sieht. Das ist wichtig, weil ein Agent versuchen kann, seitlich zu agieren, etwa eine Shell im Container zu starten oder ungewöhnlichen ausgehenden Verkehr zu senden.
Allein Inhaltskontrolle reicht nicht, wenn ein Agent zu viele Aktionen ausführen oder sich zu weit in Geschäftssysteme ausdehnen kann. Maxim AI und Qovery sehen als Grundlage Zulassungslisten für Tools, Berechtigungen pro Agent, pro Aufgabe und pro Umgebung sowie Limits für Kosten und Anzahl der Aufrufe. Qovery ergänzt ein Approval Gate für irreversible Aktionen, da manche Vorgänge einen Menschen erfordern sollten, selbst wenn die Richtlinie sie formal erlaubt.
Dieser Ansatz funktioniert gut in einem geschichteten Modell: zuerst erhält der Agent nur ein minimales Funktionsset, dann bewertet eine Richtlinie jeden Versuch, ein Tool zu nutzen, und abschließend landet der Eintrag im Audit. TrueFoundry weist darauf hin, dass jede Beobachtung als Audit markiert werden kann, also nur protokolliert ohne zu blockieren, was den schrittweisen Einsatz von Kontrollen erleichtert, ohne den gesamten Prozess sofort zu stoppen.
Ein häufiger Fehler ist, Guardrails als einen einzelnen Filter zu betrachten. Quellen wie TrueFoundry, Qovery und Dataiku zeigen eher ein Kontrollsystem: Logs zur Rekonstruktion, Limits zur Begrenzung von Kosteneskalationen, Berechtigungen zur Einschränkung der Reichweite und manuelle Genehmigungen dort, wo ein Fehler irreversibel wäre.
Lub System unterstützt B2B-Unternehmen bei der Einführung von KI, Automatisierung und IT-Lösungen - von der Strategie bis zur Umsetzung. Mehr zu unseren Leistungen oder Kontakt aufnehmen.
Quelle: https://www.qovery.com/blog/ai-agents-kubernetes-audit-trails-policy-guardrails