KV-Cache-Offenlegung über Anfragen hinweg: eine Lehre für Unternehmen mit LLM-Einsatz

Ein konkreter Fall: eine Konfigurationsabweichung

Laut Cloudflare hat eine Konfigurationsabweichung im Modell GLM 5.3, das auf Workers AI läuft, einen Fehler in SGLang ausgelöst, der Engine zur Bereitstellung von Sprachmodellen. Die Folge war die Offenlegung von KV-Cache-Seiten über verschiedene Anfragen hinweg. Praktisch bedeutet das, dass Teile der Verarbeitung einer Anfrage im Kontext einer anderen zugänglich werden konnten. Cloudflare beschreibt in seinem Blogbeitrag, wie das Problem behoben wurde.

Warum der KV-Cache ein Isolationsproblem ist und kein reines Modellproblem

Der KV-Cache speichert Zwischenergebnisse der Token-Verarbeitung, damit diese bei jedem weiteren Generierungsschritt nicht neu berechnet werden müssen. Er gehört zur Infrastruktur, die das Modell bereitstellt, nicht zu dessen Gewichten. Deshalb erkennt eine reine Prüfung der Modellsicherheit, seines Verhaltens oder der Inhaltsfilter einen solchen Fehler nicht. Erforderlich ist eine Kontrolle der Ausführungsebene: wie Speicher geteilt wird, wie Sitzungen isoliert sind und welche Version der Inferenz-Engine läuft.

So prüfen Sie die Isolation im eigenen Betrieb

Unternehmen, die LLMs einsetzen, sollten mehrere Schritte durchlaufen:

1. ermitteln, welche Inferenz-Engine in welcher Version das Modell bereitstellt und ob der Anbieter Korrekturen für diese Version veröffentlicht hat,
2. prüfen, ob die Modellkonfiguration im Produktivbetrieb den Empfehlungen für diese Version entspricht,
3. parallele Anfragen verschiedener Nutzer oder Mandanten testen und verifizieren, dass Antworten keine Inhalte aus anderen Sitzungen enthalten,
4. die Testergebnisse als Nachweis der Kontrolle dokumentieren.

Eine typische Falle ist die Annahme, der Cloudanbieter sei für alles verantwortlich. Die Verantwortung für Konfiguration und Prüfung bleibt in der Regel beim einsetzenden Unternehmen.

Wo das rechtliche Risiko liegt

Werden in den Anfragen personenbezogene Daten verarbeitet, kann die Vermischung zwischen Sitzungen ein Sicherheitsvorfall im Sinne der DSGVO in der EU sein. Relevant sind insbesondere Art. 32 zur Sicherheit der Verarbeitung sowie Art. 33, der bei einem Risiko für betroffene Personen eine Meldung an die Aufsichtsbehörde innerhalb von 72 Stunden verlangt. Der Verweis auf eine externe Komponente als Fehlerquelle entbindet den Verantwortlichen nicht von dieser Pflicht.

Fazit

Der Fall zeigt, dass die Sicherheit von KI-Systemen vom gesamten Stack abhängt: von der Konfiguration, der Inferenz-Engine und der Datenisolation zwischen Nutzern. Unternehmen sollten diese Elemente selbst überprüfen und sich nicht allein auf Zusicherungen des Modellanbieters verlassen. Die technischen Details und die Behebung beschreibt Cloudflare in der Originalquelle.

Lub System unterstützt B2B-Unternehmen bei der Einführung von KI, Automatisierung und IT-Lösungen - von der Strategie bis zur Umsetzung. Mehr zu unseren Leistungen oder Kontakt aufnehmen.