Während der Entwicklung von KI-Modellen ist das geistige Eigentum konkreten Diebstahlrisiken ausgesetzt. Proprietäre Modelle, Trainingsdatensätze und strategische Komponenten können noch vor Erreichen der Produktion entwendet werden – bedingt durch unsichere Umgebungen, unzureichende Zugriffskontrollen und ungeschützte Speicherpraktiken. Der „Dev-Time Model Theft“ stellt eine kritische Bedrohung für Organisationen dar, die in künstliche Intelligenz investieren.

Dieser Artikel ist Teil des Kapitels AI Infrastructure Testing des OWASP AI Testing Guide.

Wie Modelldiebstahl während der Entwicklung geschieht

Angreifer nutzen drei Hauptbereiche aus, um Modelle während der Entwicklungsphasen zu entwenden:

• Unbefugter Zugriff: Diebstahl durch kompromittierte Zugangsdaten oder übermäßige Berechtigungen in Entwicklungs- und Trainingsumgebungen.
• Schwache Zugriffskontrollen: Unzureichende Isolierung zwischen Entwicklungs-, Test- und Produktionsumgebungen, was seitliche Bewegungen (Lateral Movement) erleichtert.
• Unsichere Speicherung und Übertragung: Modell-Artefakte und Datensätze, die während der Trainingsphasen ohne Verschlüsselung oder angemessene Schutzmaßnahmen aufbewahrt werden.

Methodik und Payloads

Scannen nach hardcodierten Zugangsdaten

Der erste zu prüfende Vektor betrifft Zugangsdaten, die im Quellcode eingebettet sind. Automatisierte Scantools identifizieren API-Schlüssel, Passwörter und Zugriffstokens in den Git-Repositories des Projekts.

Indikator für eine Schwachstelle: Gültige Zugangsdaten ermöglichen den Lesezugriff auf Speicherorte, die Modelle oder Trainingsdatensätze enthalten, und legen so das gesamte geistige Eigentum der Organisation offen.

Exfiltration über CI/CD-Pipelines

Pipelines für Continuous Integration und Deployment sind ein bevorzugtes Ziel. Der Test prüft, ob Benutzer mit Entwicklerrolle die Pipeline modifizieren können, indem sie Schritte hinzufügen, die Artefakte an externe Server exfiltrieren.

Indikator für eine Schwachstelle: Die Pipeline erlaubt nicht autorisierte Änderungen, ohne Sicherheitswarnungen zu generieren oder ausgehende Netzwerkrichtlinien anzuwenden, was die Übertragung proprietärer Modelle nach außen ermöglicht.

Modellextraktion über ungeschützte Entwicklungs-APIs

Entwicklungsumgebungen legen häufig interne oder Staging-APIs offen, die für das Debugging und die Evaluierung von Modellen verwendet werden. Wenn diese Schnittstellen von externen Umgebungen aus zugänglich sind oder keine angemessene Authentifizierung aufweisen, ermöglichen sie den direkten Download von Modelldateien und Parametern.

Indikator für eine Schwachstelle: Offengelegte Entwicklungs-APIs erlauben den Download proprietärer Artefakte ohne Authentifizierung oder mit leicht zu erlangenden Zugangsdaten.

Erwartetes Ergebnis

Eine korrekt geschützte KI-Entwicklungsinfrastruktur weist diese überprüfbaren Merkmale auf:

• Keine Geheimnisse im Code: Keine hardcodierten Zugangsdaten oder API-Schlüssel in den Quellcode-Repositories.
• Gehärtete CI/CD-Pipeline: Änderungen unterliegen einer Sicherheitsüberprüfung, laufen in Sandbox-Runnern und unterliegen einer strengen Kontrolle des ausgehenden Datenverkehrs.
• Granularer Zugriff auf Modelle: Modelldateien und Trainingsdatensätze sind ausschließlich autorisierten Diensten und Personal zugänglich, mit vollständiger Protokollierung aller Vorgänge.

Remediation-Maßnahmen

Zugriffskontrolle und Secrets Management

Die Implementierung einer strengen RBAC (Role-Based Access Control) für alle Entwicklungsressourcen bildet die erste Verteidigungslinie. Passwörter und API-Schlüssel müssen ausschließlich in sicheren Vaults mit regelmäßiger Rotation und vollständigem Audit-Trail gespeichert werden.

Erwartete Wirkung: Eliminierung hardcodierter Zugangsdaten und Reduzierung des Risikos unbefugter Zugriffe auf Modell-Artefakte.

Sicherheit der CI/CD-Pipeline

Die Stärkung der Pipeline-Sicherheit erfordert Branch-Protection-Regeln, eine obligatorische Überprüfung kritischer Änderungen sowie die Verwendung von Sandbox-Runnern mit restriktiven Egress-Regeln. Jede Änderung an der Pipeline muss nachverfolgt und genehmigt werden.

Erwartete Wirkung: Verhinderung der Exfiltration durch kompromittierte Pipelines und vollständige Nachvollziehbarkeit der Änderungen an der Build-Infrastruktur.

Digitale Signatur und Integrität der Artefakte

Alle Modell-Artefakte müssen während des Build-Prozesses digital signiert werden. Das Deployment überprüft die Signatur, um Integrität und Manipulationsfreiheit entlang der gesamten Lieferkette zu gewährleisten.

Erwartete Wirkung: Gewährleistung der Integrität der Artefakte und sofortige Erkennung von Ersetzungs- oder Manipulationsversuchen an den Modellen.

Verschlüsselte Speicherung und Audit-Logging

Modell-Artefakte müssen verschlüsselt in privaten Repositories mit granularer Zugriffskontrolle gespeichert werden. Kontinuierliches Audit-Logging zeichnet jeden Zugriff und jede Operation an den Modellen auf, was die rechtzeitige Erkennung anomaler Aktivitäten ermöglicht.

Erwartete Wirkung: Schutz der Vertraulichkeit proprietärer Assets und vollständige Transparenz über Modellzugriffe.

Überwachung und Data Loss Prevention (DLP)

Implementierung von Überwachungssystemen, die alle Modellzugriffe kontrollieren und unbefugte Dateiübertragungsversuche automatisch blockieren. DLP-Richtlinien müssen so konfiguriert sein, dass sie die Exfiltration proprietärer Assets erkennen und verhindern.

Erwartete Wirkung: Echtzeit-Erkennung und Blockierung von Exfiltrationsversuchen bei gleichzeitiger signifikanter Reduzierung des Risikos von Diebstahl geistigen Eigentums.

Empfohlene Tools

• TruffleHog: Automatisches Scannen nach offengelegten Zugangsdaten in Git-Repositories.
• Gitleaks: Erkennung von hardcodierten Geheimnissen im Quellcode.
• git-secrets: Verhindert das Committen von AWS-Zugangsdaten und anderen Geheimnissen.
• HashiCorp Vault: Zentralisierte Verwaltung von Geheimnissen und Zugangsdaten.

Häufig gestellte Fragen (FAQ)

• Was sind Anzeichen für einen laufenden Modelldiebstahl?
• Anomale Zugriffe auf Modell-Repositories, Downloads großer Datenmengen durch nicht autorisierte Benutzer, nicht genehmigte Änderungen an CI/CD-Pipelines und unerwartete Verbindungsversuche zu externen Servern sind allesamt Indikatoren für eine laufende Exfiltration.
• Wie kann ich prüfen, ob Zugangsdaten im Code offengelegt sind?
• Verwenden Sie automatisierte Scantools wie git-secrets, TruffleHog oder Gitleaks, um hardcodierte Zugangsdaten in Repositories zu identifizieren. Diese Tools analysieren die Git-Historie und erkennen Muster von API-Schlüsseln, Passwörtern und offengelegten Tokens.
• Welche Kontrollen sollten für CI/CD-Pipelines implementiert werden?
• Branch-Protection-Regeln, obligatorische Überprüfungen für Pipeline-Änderungen, Sandbox-Runner mit restriktiven Egress-Regeln, vollständige Protokollierung aller Vorgänge und automatische Warnmeldungen bei nicht autorisierten Änderungen sind essenzielle Kontrollen.
• Wie schütze ich Trainingsdatensätze vor Diebstahl?
• Speichern Sie Datensätze verschlüsselt in Speichern mit granularer Zugriffskontrolle, implementieren Sie Audit-Logging zur Nachverfolgung jedes Zugriffs, nutzen Sie DLP-Richtlinien zur Verhinderung der Exfiltration und beschränken Sie den Zugriff auf autorisierte Benutzer und Dienste.
• Was ist der Unterschied zwischen Dev-Time Model Theft und Runtime Model Theft?
• Dev-Time Model Theft findet während der Entwicklungs- und Trainingsphasen statt, wenn sich die Modelle noch in Arbeit befinden. Runtime Model Theft tritt auf, wenn das Modell bereits in Produktion ist und durch wiederholte Abfragen oder direkten Zugriff auf die Inferenz-Infrastruktur extrahiert wird.

Nützliche weiterführende Informationen

Um den Sicherheitskontext der KI-Infrastruktur und die damit verbundenen Bedrohungen besser zu verstehen:

• AI Data Testing: Methoden für die Sicherheit von Datensätzen
• Supply Chain Tampering AI: Schutz der Lieferkette
• Testing Poisoning Fine-tuning: Überprüfung der Trainingsintegrität

Wie ISGroup unterstützt

ISGroup unterstützt Organisationen beim Schutz ihrer KI-Assets während des gesamten Entwicklungszyklus durch den Service Secure Architecture Review. Das Team bewertet die Entwicklungsarchitektur, identifiziert Schwachstellen in den Prozessen zur Modellverwaltung und liefert konkrete Empfehlungen zur Implementierung effektiver Sicherheitskontrollen.

Für die Überprüfung der Sicherheit des Quellcodes und die Identifizierung offengelegter Zugangsdaten bietet ISGroup den Service Code Review an, der den Code analysiert, um schlechte Praktiken und Schwachstellen zu erkennen, bevor sie die Produktion erreichen.

Referenzen

• OWASP GenAI – Generative AI Security
• MITRE ATT&CK – Data Staged: Model Theft
• NIST AI Security Guidelines – Protecting AI Artifacts and Intellectual Property

Die Integration strenger Zugriffskontrollen, sicheres Secrets Management und kontinuierliche Überwachung helfen dabei, das geistige Eigentum an KI während der Entwicklung zu schützen. Das regelmäßige Testen der Sicherheit von CI/CD-Pipelines und Entwicklungsumgebungen ist entscheidend, um den Schutz proprietärer Assets in der Produktion zu gewährleisten.