Die Runtime-Exfiltration stellt eines der kritischsten Risiken für KI-Systeme in der Produktion dar: das unbefugte Extrahieren sensibler Daten während der Modellausführung. Angreifer nutzen Inferenz-Endpunkte, Protokolle (Logs), Caches oder API-Antworten aus, um vertrauliche Informationen zu entwenden, die das System unter keinen Umständen preisgeben sollte.

Dieser Artikel ist Teil des Kapitels AI Data Testing der OWASP AI Testing Guide.

Testziele

Ein effektiver Test auf Runtime-Exfiltration muss:

• Schwachstellen identifizieren, die eine Datenextraktion während der Modellausführung ermöglichen
• Überprüfen, ob Inferenz-Ausgaben, Logs und Caches sensible Informationen preisgeben
• Die Sicherheits- und Datenschutzvorkehrungen validieren, die für die Datenverwaltung in der Produktion implementiert wurden
• Die Datenisolierung zwischen verschiedenen Benutzern oder Mandanten (Tenants) sicherstellen

Methodik und Payloads

Sensitive Data Inference Attack

Diese Technik beinhaltet das Senden von Inferenzanfragen, die darauf ausgelegt sind, sensible Daten zu extrahieren oder deren Offenlegung zu erzwingen. Der Test prüft, ob das Modell manipuliert werden kann, um Trainingsdaten mit vertraulichen Informationen, Daten anderer Benutzer oder Sitzungen, proprietäre Daten, Geschäftsgeheimnisse sowie personenbezogene Daten (PII) preiszugeben.

Hinweis auf eine Schwachstelle: Die Systemantworten enthalten sensible Daten, die geschützt oder maskiert sein sollten.

Überprüfung ungeschützter Logs und Caches

KI-Systeme generieren detaillierte Protokolle und nutzen Caches zur Leistungsoptimierung. Der Test prüft, ob System-Logs sensible Daten im Klartext aufzeichnen, ob Caches vertrauliche Informationen ohne angemessenen Schutz speichern, ob die Zugriffsmechanismen auf Logs und Caches ausreichend restriktiv sind und ob Verfahren zur Aufbewahrung und sicheren Löschung temporärer Daten existieren.

Hinweis auf eine Schwachstelle: Das Vorhandensein unmaskierter sensibler Daten in Logs oder Caches stellt eine kritische Schwachstelle dar.

Exploiting Runtime API Responses

Die API-Endpunkte von KI-Systemen können manipuliert werden, um unbefugte Informationen zu extrahieren. Der Test analysiert API-Antworten, die interne Systemdetails offenlegen, Fehlermeldungen, die Stack-Traces oder interne Variablen preisgeben, Antwortparameter, die Daten anderer Benutzer enthalten, sowie Metadaten, die Informationen über die Struktur oder Konfiguration des Systems verraten.

Hinweis auf eine Schwachstelle: Eine API-Antwort, die versehentlich sensible Daten preisgibt, verstößt gegen Sicherheits- und Datenschutzanforderungen.

Erwartete Ergebnisse

Schutz der Inferenz-Ausgaben

Das System muss sicherstellen, dass die Modellantworten keine sensiblen Daten aus anderen Kontexten oder von anderen Benutzern, unbefugte personenbezogene Daten, proprietäre Daten oder Geschäftsgeheimnisse sowie technische Details enthalten, die weitere Angriffe erleichtern könnten.

Maskierung in Logs und Caches

Alle sensiblen Daten müssen vor der Protokollierung maskiert oder anonymisiert, bei der Speicherung im Cache verschlüsselt, aus Fehlermeldungen und Debug-Traces entfernt sowie gemäß Aufbewahrungs- und sicheren Löschrichtlinien behandelt werden.

Sicherheit der Runtime-APIs

APIs müssen strenge Kontrollen implementieren: generische Fehlermeldungen, die keine internen Details preisgeben, Validierung und Bereinigung aller Ein- und Ausgaben, Datenisolierung zwischen verschiedenen Benutzern oder Mandanten sowie eine sichere Protokollierung der Vorgänge, ohne sensible Daten offenzulegen.

Remediation-Maßnahmen

Validierung und Bereinigung der Ausgaben

Implementierung automatischer Kontrollen, die Ausgaben vor der Rückgabe auf Muster sensibler Daten scannen, vertrauliche Informationen automatisch maskieren oder entfernen, Data Loss Prevention (DLP)-Regeln in Echtzeit anwenden und Extraktionsversuche für Sicherheitsanalysen protokollieren.

Erwartete Auswirkung: Signifikante Verringerung des Risikos einer versehentlichen Offenlegung sensibler Daten durch Modellantworten.

Sicheres Logging und Cache-Management

Konfiguration der Systeme, um sensible Daten vor der Protokollierung zu filtern oder zu maskieren, Vermeidung der Protokollierung von rohen Benutzereingaben oder vollständigen API-Antworten in der Produktion, Protokollierung nur der für Fehlerbehebung und Audit notwendigen Metadaten, Verschlüsselung der Caches, Implementierung automatischer Ablaufrichtlinien sowie Beschränkung des Zugriffs auf Logs und Caches auf autorisiertes Personal.

Erwartete Auswirkung: Schutz sensibler Daten über den gesamten operativen Lebenszyklus des KI-Systems hinweg.

Fehlermanagement und Multi-Tenancy-Kontrollen

Übernahme von Best Practices zur Anzeige ausschließlich generischer Fehlermeldungen für Endbenutzer, Vermeidung der Offenlegung von Stack-Traces, internen Variablen oder Rohdaten, logische und kryptografische Isolierung der Daten jedes Mandanten, Implementierung granularer Zugriffskontrollen auf Datenebene sowie regelmäßige Überprüfung der Wirksamkeit der Mandantenisolierung.

Erwartete Auswirkung: Eliminierung von Angriffsvektoren, die auf Fehlermeldungen basieren, und Stärkung der Multi-Tenant-Isolierung.

Empfohlene Tools

• OWASP AI Security and Privacy Guide: Referenz-Framework für die Sicherheit von KI-Systemen
• Rebuff: Tool zur Erkennung und Blockierung von Prompt-Injection- und Datenexfiltrationsversuchen
• PyRIT (Python Risk Identification Toolkit): Microsoft-Toolkit zur Identifizierung von Sicherheitsrisiken in generativen KI-Systemen
• Garak: Schwachstellenscanner für Sprachmodelle

Nützliche weiterführende Informationen

Um den Kontext der Runtime-Exfiltration innerhalb der KI-Datensicherheit besser zu verstehen, lesen Sie diese verwandten Artikel:

• AI Data Testing: Sicherheit und Datenvalidierung: Vollständiger Überblick über das Kapitel OWASP AI Data Testing
• AITG-DAT-01: Testing for Training Data Exposure: Test zum Schutz von Trainingsdaten
• AITG-INF-02: Testing for Resource Exhaustion: Schutz gegen Angriffe zur Ressourcenerschöpfung

Wie ISGroup unterstützt

ISGroup bietet spezialisierte Dienstleistungen zur Bewertung und Verbesserung der Sicherheit von KI-Systemen in der Produktion an. Durch unseren Service der Secure Architecture Review analysieren unsere Experten die Architektur von KI-Systemen, um Schwachstellen hinsichtlich Runtime-Exfiltration zu identifizieren und konkrete Minderungsstrategien vorzuschlagen.

Das ISGroup-Team unterstützt Unternehmen bei der Implementierung effektiver Sicherheitskontrollen, von der Validierung der Ausgaben über die sichere Konfiguration von Logs und Caches bis hin zur Überprüfung der Multi-Tenant-Isolierung.

FAQ

• Was ist Runtime-Exfiltration bei KI-Systemen?
• Runtime-Exfiltration ist die unbefugte Extraktion sensibler Daten während der Ausführung eines KI-Modells in der Produktion. Angreifer nutzen Inferenz-Endpunkte, Logs, Caches oder API-Antworten aus, um vertrauliche Informationen zu entwenden, die das System nicht preisgeben sollte.
• Was sind die Hauptangriffsvektoren für Runtime-Exfiltration?
• Zu den Hauptvektoren gehören manipulierte Modellantworten, die Daten anderer Benutzer preisgeben, System-Logs, die sensible Informationen im Klartext aufzeichnen, ungeschützte Caches, Fehlermeldungen, die interne Details offenlegen, sowie API-Antworten, die unbefugte Daten enthalten.
• Wie testet man die Anfälligkeit für Runtime-Exfiltration?
• Der Test umfasst drei Hauptmethoden: Sensitive Data Inference Attacks (Anfragen zur Extraktion sensibler Daten), Überprüfung ungeschützter Logs und Caches sowie Exploiting Runtime API Responses (Analyse von API-Antworten zur Identifizierung unbefugter Offenlegungen).
• Welche Kontrollen sollten implementiert werden, um Runtime-Exfiltration zu verhindern?
• Zu den wesentlichen Kontrollen gehören die automatische Validierung und Bereinigung von Ausgaben, die Maskierung sensibler Daten in Logs, die Verschlüsselung von Caches, generische Fehlermeldungen, Multi-Tenant-Isolierung sowie Data Loss Prevention (DLP)-Richtlinien in Echtzeit.
• Was ist der Unterschied zwischen Runtime-Exfiltration und Training Data Exposure?
• Runtime-Exfiltration betrifft die Extraktion von Daten während der Modellausführung in der Produktion, während sich Training Data Exposure auf die Offenlegung von Informationen bezieht, die in den Trainingsdaten enthalten sind. Beides sind kritische Schwachstellen, erfordern jedoch unterschiedliche Test- und Minderungstechniken.

Referenzen

• OWASP Foundation, OWASP AI Exchange – Sensitive Information Disclosure, 2024, genai.owasp.org
• OWASP Foundation, OWASP Top 10 for LLM Applications 2025 – Sensitive Data Leakage and Exfiltration, 2025, genai.owasp.org
• NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), 2023, DOI: 10.6028/NIST.AI.100-1

Die Integration von Kontrollen zur Ausgabevalidierung, sicherem Logging und Multi-Tenant-Isolierung trägt dazu bei, sensible Daten während der Inferenz zu schützen. Die regelmäßige Überprüfung von KI-Systemen in der Produktion ist entscheidend, um die Sicherheit und den Datenschutz in realen Betriebsumgebungen zu gewährleisten.