Die Offenlegung von Trainingsdaten (Training Data Exposure) tritt auf, wenn sensible Daten, die zum Training eines KI-Modells verwendet werden, unbefugt offengelegt werden. Diese Schwachstelle kann durch falsch konfigurierte Speicher, unzureichende Zugriffskontrollen oder dadurch entstehen, dass das Modell versehentlich Teile der Trainingsdaten speichert, was es Angreifern ermöglicht, vertrauliche Informationen oder geistiges Eigentum zu extrahieren.

Dieser Artikel ist Teil des Kapitels AI Data Testing des OWASP AI Testing Guide.

Warum Training Data Exposure testen?

Trainingsdatensätze enthalten oft hochsensible Informationen: personenbezogene Daten, Geschäftsgeheimnisse, geistiges Eigentum. Ohne angemessene Schutzmaßnahmen können diese Daten auf verschiedenen Wegen offengelegt werden:

• Falsch konfigurierte Speichersysteme, die ohne Authentifizierung zugänglich sind
• APIs, die unbeabsichtigt Teile der Trainingsdatensätze preisgeben
• Modelle, die Fragmente der Trainingsdaten „auswendig lernen“ und diese offenbaren können
• Datenverwaltungsprozesse ohne angemessene Zugriffskontrollen

Das Testen dieser Schwachstellen ermöglicht es, Offenlegungen zu identifizieren und zu beheben, bevor sie ausgenutzt werden, wodurch die Vertraulichkeit der Daten geschützt und die Einhaltung gesetzlicher Vorschriften sichergestellt wird.

Ziele des Tests

• Überprüfung auf Schwachstellen, die einen unbefugten Zugriff auf sensible Trainingsdatensätze ermöglichen
• Identifizierung potenzieller Datenlecks durch unsichere Speicher, APIs oder KI-Modell-Outputs
• Bewertung der Wirksamkeit von Zugriffskontrollen über den gesamten Datenlebenszyklus hinweg
• Sicherstellung des Schutzes und der Privatsphäre der Datensätze während Entwicklung, Training und Deployment

Methodik und Payloads

Direkter Zugriff auf Datenspeicher (Direct data storage access)

Diese Methodik simuliert den Versuch, direkt auf die Speichersysteme zuzugreifen, in denen die Trainingsdatensätze liegen. Der Test umfasst die Identifizierung der Speicherorte (Cloud-Buckets, Dateifreigaben, Datenbanken), die Überprüfung der Möglichkeit, Dateien ohne Authentifizierung aufzulisten oder herunterzuladen, die Kontrolle der Berechtigungskonfigurationen und Zugriffsrichtlinien sowie die Analyse auf ungeschützte Backups oder Kopien der Datensätze.

Hinweis auf eine Schwachstelle: Wenn Daten ohne angemessene Autorisierung zugänglich sind, liegt eine kritische Schwachstelle vor, die ein sofortiges Eingreifen erfordert.

Inferenzbasierte Datenextraktion (Inference-based data extraction)

Diese Technik prüft, ob das KI-Modell dazu gebracht werden kann, Teile der Trainingsdaten durch gezielte Prompts preiszugeben. Der Test beinhaltet das Senden von Prompts, die darauf ausgelegt sind, gespeicherte Informationen zu extrahieren („Wiederhole den folgenden Text exakt“), spezifische Anfragen zu Dokumenten oder Informationen, die in den Trainingsdaten enthalten sein könnten, die Analyse der Antworten zur Identifizierung von Mustern sensibler Daten (E-Mails, Identifikationsnummern, persönliche Informationen) sowie die Überprüfung der Fähigkeit des Modells, Inhalte wortwörtlich aus den Datensätzen wiederzugeben.

Hinweis auf eine Schwachstelle: Das Modell offenbart sensible Daten oder Texte, die mit den Trainingsdaten identisch sind, durch scheinbar normale Interaktionen.

API-basierte Datenlecks (API-based data leakage)

Viele KI-Systeme stellen APIs für die Verwaltung von Datensätzen oder für die Interaktion mit den Modellen bereit. Dieser Test prüft auf das Vorhandensein von API-Endpunkten, die Trainingsdaten ohne angemessene Authentifizierung preisgeben, die Möglichkeit, auf Metadaten oder Statistiken zuzugreifen, die Informationen über die Datensätze enthüllen, die Wirksamkeit von Autorisierungskontrollen bei Datenlesevorgängen sowie das Vorhandensein von Schwachstellen in den APIs, die einen unbefugten Zugriff ermöglichen.

Hinweis auf eine Schwachstelle: Die APIs ermöglichen den Zugriff auf Trainingsdaten oder deren Metadaten ohne robuste Authentifizierung oder explizite Autorisierung.

Erwartetes Ergebnis

Ein korrekt geschütztes KI-System muss folgende Anforderungen erfüllen:

• Alle Speichersysteme, die Trainingsdaten enthalten, müssen privat sein und nur über eine starke Authentifizierung und explizite Autorisierung zugänglich sein
• Das KI-Modell darf keine Texte offenlegen, die mit den Trainingsdaten identisch sind, oder sensible Informationen wie personenbezogene Daten preisgeben
• Alle APIs müssen eine robuste Authentifizierung und granulare Autorisierung implementieren, um einen unbeabsichtigten Zugriff auf die Datensätze zu verhindern
• Protokolle und Überwachungssysteme müssen anomale Zugriffsversuche auf Trainingsdaten erkennen

Sanierungsmaßnahmen

Zugriffskontrollen und Authentifizierung

Implementieren Sie strenge Zugriffskontrollen für alle Systeme, die Trainingsdaten verwalten oder speichern. Wenden Sie das Prinzip der geringsten Rechte (Least Privilege) unter Verwendung granularer IAM-Rollen und -Richtlinien an, fordern Sie eine Multi-Faktor-Authentifizierung für den Zugriff auf sensible Datensätze, trennen Sie Trainingsdaten in isolierten Umgebungen mit kontrolliertem Zugriff und implementieren Sie vollständige Audit-Trails, um alle Datenzugriffe nachzuverfolgen.

Erwartete Auswirkung: Drastische Reduzierung der Angriffsfläche und vollständige Nachvollziehbarkeit der Zugriffe auf sensible Daten.

Datenminimierung und Anonymisierung

Reduzieren Sie das inhärente Risiko, indem Sie die Menge und Sensibilität der verwendeten Daten begrenzen. Sammeln Sie nur die für das Training des Modells unbedingt erforderlichen Daten, anonymisieren oder pseudonymisieren Sie persönliche Informationen vor der Verwendung, entfernen oder maskieren Sie sensible Daten, die nicht zum Lernprozess beitragen, und prüfen Sie die Verwendung synthetischer Daten, wann immer dies möglich ist.

Erwartete Auswirkung: Verringerung des Offenlegungsrisikos und verbesserte Einhaltung von Datenschutzbestimmungen.

Differenzielle Privatsphäre und fortgeschrittene Techniken

Erwägen Sie für besonders sensible Datensätze die Einführung fortgeschrittener Datenschutztechniken. Implementieren Sie differenzielle Privatsphäre (Differential Privacy) während des Trainings durch Hinzufügen von kontrolliertem statistischem Rauschen, nutzen Sie Techniken des Federated Learning, um eine Zentralisierung der Daten zu vermeiden, und wenden Sie Machine-Unlearning-Techniken an, um spezifische Daten aus trainierten Modellen zu entfernen.

Erwartete Auswirkung: Mathematisch garantierter Schutz gegen die Extraktion von Informationen über einzelne Datensätze.

Kontinuierliche Überwachung und Schutz

Behalten Sie eine ständige Wachsamkeit gegenüber Systemen und Daten bei. Überwachen Sie Datenzugriffsmuster und konfigurieren Sie Warnmeldungen für anomales Verhalten, prüfen Sie regelmäßig die Modell-Outputs auf potenzielle Datenlecks, implementieren Sie Data-Loss-Prevention-Lösungen zur Identifizierung und Blockierung sensibler Muster, verschlüsseln Sie sensible Daten sowohl im Ruhezustand als auch bei der Übertragung und führen Sie regelmäßige Überprüfungen der Sicherheitskonfigurationen und Berechtigungen durch.

Erwartete Auswirkung: Rechtzeitige Erkennung von unbefugten Zugriffsversuchen und schnelle Reaktionsfähigkeit auf Vorfälle.

Empfohlene Tools

• git-secrets: Verhindert das versehentliche Committen von Anmeldeinformationen und sensiblen Daten in Repositories
• TruffleHog: Scannt Repositories und Speicher, um offengelegte Geheimnisse und sensible Daten zu identifizieren
• detect-secrets: Erkennt und verhindert das Einfügen von Geheimnissen in den Quellcode
• Google Cloud DLP: Identifiziert und schützt sensible Daten in Datensätzen und Cloud-Speichern

Referenzen

• OWASP, OWASP AI Exchange – Sensitive Information Disclosure, genai.owasp.org
• OWASP, OWASP Top 10 for LLM Applications 2025 – Sensitive Data Leakage, genai.owasp.org
• NIST, Artificial Intelligence Risk Management Framework, 2025, DOI:10.6028/NIST.AI.100-2e2025

Nützliche weiterführende Informationen

Um die Datensicherheit in KI-Systemen und damit verbundene Schutztechniken zu vertiefen:

• AI Data Testing: Sicherheit und Validierung von Datensätzen
• AITG-DAT-02: Testing for Runtime Exfiltration

Wie ISGroup unterstützt

ISGroup unterstützt Unternehmen bei der Identifizierung und Minderung von Schwachstellen im Zusammenhang mit Training Data Exposure durch spezialisierte Assessments. Der Dienst Secure Architecture Review ermöglicht eine eingehende Bewertung von KI-Architekturen, identifiziert Sicherheitslücken bei der Verwaltung von Trainingsdaten und liefert konkrete Empfehlungen zum Schutz sensibler Datensätze über den gesamten Lebenszyklus des Modells hinweg. Zur Überprüfung der Sicherheit des Codes, der die Trainingsdaten verarbeitet, analysiert der Dienst Code Review den Quellcode, um Schwachstellen zu finden, die die Datensätze gefährden könnten.

Häufig gestellte Fragen (FAQ)

• Was sind die Hauptrisiken bei Training Data Exposure?
• Die Risiken umfassen die Verletzung der Privatsphäre der Nutzer, den Verlust von geistigem Eigentum und Geschäftsgeheimnissen, Verstöße gegen regulatorische Anforderungen (DSGVO, NIS2) und Reputationsschäden. Angreifer können diese Schwachstellen ausnutzen, um Wettbewerbsinformationen zu erlangen oder gezieltere Angriffe durchzuführen.
• Wie überprüft man, ob ein KI-Modell Trainingsdaten preisgibt?
• Die Überprüfung erfolgt durch inferenzbasierte Extraktionstests, bei denen Prompts gesendet werden, die darauf ausgelegt sind, das Modell zur Preisgabe gespeicherter Informationen zu verleiten. Die Antworten werden auf Muster sensibler Daten, wortwörtliche Texte aus den Trainingsdatensätzen oder Informationen, die nicht öffentlich zugänglich sein sollten, analysiert.
• Eliminiert differenzielle Privatsphäre das Risiko von Training Data Exposure vollständig?
• Differenzielle Privatsphäre reduziert das Risiko erheblich, eliminiert es jedoch nicht vollständig. Sie fügt den Daten während des Trainings kontrolliertes statistisches Rauschen hinzu, was es wesentlich schwieriger macht, Informationen über einzelne Datensätze zu extrahieren. Sie muss jedoch mit anderen Sicherheitsmaßnahmen wie strengen Zugriffskontrollen, Verschlüsselung und kontinuierlicher Überwachung kombiniert werden.
• Wie oft sollten Tests auf Training Data Exposure durchgeführt werden?
• Tests sollten bei jedem signifikanten Update des Modells oder der Trainingsdatensätze durchgeführt werden. Es ist ratsam, sie in den kontinuierlichen Entwicklungszyklus (CI/CD) zu integrieren und mindestens vierteljährlich eingehende Assessments durchzuführen. Außerordentliche Tests sind nach Änderungen an Sicherheitskonfigurationen oder nach Sicherheitsvorfällen erforderlich.
• Welche regulatorischen Auswirkungen hat Training Data Exposure in Europa?
• In Europa kann Training Data Exposure bei der Offenlegung personenbezogener Daten zu Verstößen gegen die DSGVO führen, mit Sanktionen von bis zu 4 % des weltweiten Jahresumsatzes. Die NIS2-Richtlinie erfordert angemessene Sicherheitsmaßnahmen zum Schutz von Daten, und der kommende europäische AI Act wird spezifische Anforderungen für den sicheren Umgang mit Trainingsdatensätzen einführen, insbesondere für KI-Systeme mit hohem Risiko.

Die Integration strenger Zugriffskontrollen, Anonymisierungstechniken und kontinuierlicher Überwachung trägt dazu bei, die für das Training von KI-Modellen verwendeten sensiblen Daten zu schützen. Das regelmäßige Testen der Offenlegung von Trainingsdatensätzen ist entscheidend, um die Einhaltung gesetzlicher Vorschriften und die Sicherheit in der Produktion zu gewährleisten.