Supply Chain Tampering (Manipulation der Lieferkette) in Systemen der künstlichen Intelligenz stellt eine kritische Bedrohung für Organisationen dar, die KI-Modelle entwickeln oder nutzen. Unbefugte Änderungen können in jeder Phase des Lebenszyklus eingeführt werden: von der Daten-Pipeline über den Trainingsprozess und Software-Abhängigkeiten bis hin zu Containern und Cloud-Umgebungen, die für das Deployment verwendet werden.

Dieser Artikel ist Teil des Kapitels AI Infrastructure Testing des OWASP AI Testing Guide.

Die Konsequenzen umfassen bösartiges Modellverhalten, Leistungsverschlechterung, unbefugten Datenzugriff oder die Kompromittierung der gesamten KI-Infrastruktur. Der Schutz der Integrität der Lieferkette ist entscheidend, um Sicherheit, Zuverlässigkeit und die Einhaltung gesetzlicher Vorschriften zu gewährleisten.

Testziele

Ein effektiver Sicherheitstest muss drei Hauptziele verfolgen:

• Identifizierung von Schwachstellen, die unbefugten Zugriff oder Änderungen an der KI-Lieferkette ermöglichen
• Erkennung unbefugter Änderungen im Lebenszyklus des Modells: Training, Deployment und Updates
• Gewährleistung von Integrität und Authentizität über die gesamte KI-Deployment-Pipeline hinweg

Methodik und Payloads

Dependency Poisoning (Abhängigkeitsmanipulation)

Software-Abhängigkeiten stellen einen der häufigsten Angriffsvektoren dar. Die automatisierte Analyse der Projektabhängigkeiten (Dateien wie requirements.txt, package.json) mittels Software Composition Analysis (SCA)-Tools ermöglicht die Identifizierung kompromittierter oder veralteter Bibliotheken.

Hinweis auf Schwachstellen: Abhängigkeiten mit Schwachstellen der Stufe HIGH oder CRITICAL signalisieren die Möglichkeit von Exploits durch Bibliotheken von Drittanbietern.

Container- und Image-Manipulation

Docker-Images und Container, die zur Bereitstellung von KI-Modellen verwendet werden, können Schwachstellen in Systempaketen oder enthaltenen Bibliotheken aufweisen. Das Scannen von Images muss in den Deployment-Prozess integriert werden.

Hinweis auf Schwachstellen: Kritische Schwachstellen in Systempaketen oder Bibliotheken des Images, die zur Laufzeit potenziell ausgenutzt werden könnten, um die Ausführungsumgebung zu kompromittieren.

CI/CD-Pipeline-Tampering

Die Continuous-Integration- und Deployment-Pipeline ist ein bevorzugtes Ziel für Angreifer. Die Analyse muss die Konfiguration auf Fehlkonfigurationen untersuchen: hartcodierte Geheimnisse, unzureichende Zugriffskontrollen, Nutzung von Ressourcen aus nicht vertrauenswürdigen Quellen.

Hinweis auf Schwachstellen: Die Pipeline kann unbefugten Änderungen unterliegen, Klartext-Anmeldeinformationen enthalten oder während des Build-Prozesses nicht signierte Artefakte verwenden.

Erwartetes Ergebnis

Eine sichere KI-Infrastruktur muss automatisierte Kontrollen implementieren, die Folgendes gewährleisten:

• Automatische Ablehnung anfälliger Abhängigkeiten: Die CI/CD-Pipeline muss Builds automatisch blockieren, wenn Schwachstellen der Stufe HIGH oder CRITICAL in den Abhängigkeiten erkannt werden
• Integrität von Container-Images: Alle Produktions-Images müssen gescannt, digital signiert und vor dem Deployment verifiziert werden. Das Deployment muss bei kritischen Schwachstellen blockiert werden
• Pipeline-Sicherheit: Implementierung einer strengen rollenbasierten Zugriffskontrolle (RBAC), Verhinderung unbefugter Änderungen und Aufrechterhaltung unveränderlicher Audit-Logs für alle Build- und Deployment-Aktivitäten

Remediation-Maßnahmen

Management von Abhängigkeiten

Implementieren Sie Tools für das Abhängigkeitsmanagement und integrieren Sie automatisierte SCA-Scans in die CI/CD-Pipeline. Builds mit bekannten Schwachstellen müssen automatisch blockiert werden. Führen Sie ein aktuelles Inventar aller verwendeten Abhängigkeiten.

Erwartete Auswirkung: Verringerung des Risikos von Exploits durch kompromittierte Bibliotheken und bessere Sichtbarkeit der in der Produktion verwendeten Abhängigkeiten.

Härtung von Containern

Verwenden Sie minimalistische Container-Images aus vertrauenswürdigen Registern. Implementieren Sie die digitale Signatur von Images und verifizieren Sie die Signaturen innerhalb der Container-Laufzeitumgebung. Reduzieren Sie die Angriffsfläche durch das Entfernen unnötiger Komponenten.

Erwartete Auswirkung: Schutz der Ausführungsumgebung vor bekannten Schwachstellen und Verhinderung der Verwendung nicht autorisierter Images.

Sicherheit der CI/CD-Pipeline

Wenden Sie das Prinzip der geringsten Rechte (Least Privilege) auf alle Jobs und Benutzer der Pipeline an. Speichern Sie alle Geheimnisse in dedizierten, sicheren Tresoren (Vaults). Nutzen Sie unveränderliche Infrastrukturen und versionierte Build-Konfigurationen, um unbefugte Manipulationen zu verhindern.

Erwartete Auswirkung: Verhinderung unbefugter Änderungen an der Pipeline und Schutz sensibler Anmeldeinformationen vor versehentlicher Offenlegung.

Software Bill of Materials (SBOM)

Generieren Sie automatisch eine Software Bill of Materials für jeden Build, in der alle Komponenten und Abhängigkeiten dokumentiert sind. Die SBOM ist entscheidend für das Schwachstellenmanagement, die Einhaltung gesetzlicher Vorschriften und eine effektive Reaktion auf Sicherheitsvorfälle.

Erwartete Auswirkung: Vollständige Rückverfolgbarkeit der verwendeten Komponenten und schnelle Reaktionsfähigkeit bei entdeckten Schwachstellen in Abhängigkeiten.

Empfohlene Tools

• Trivy: Schwachstellenscanner für Container und Abhängigkeiten
• Syft: Automatische Generierung von SBOMs
• Grype: Schwachstellenscanner für Container-Images und Dateisysteme
• Snyk: Sicherheitsplattform für Abhängigkeiten und Container
• Cosign: Signatur und Verifizierung von Container-Images

Nützliche weiterführende Informationen

ISGroup bietet spezialisierte Dienstleistungen zum Schutz der Integrität der KI-Lieferkette durch den Service Secure Architecture Review an. Unser Expertenteam bewertet komplexe KI-Infrastrukturen eingehend, identifiziert Schwachstellen in der Lieferkette und liefert konkrete Empfehlungen zur Implementierung effektiver Sicherheitskontrollen.

Das Assessment deckt die gesamte Pipeline ab: vom Abhängigkeitsmanagement über die Containersicherheit bis hin zur CI/CD-Konfiguration und SBOM-Generierung, um sicherzustellen, dass jede Komponente den höchsten Sicherheitsstandards entspricht.

Für einen umfassenden Schutz des Softwareentwicklungszyklus integriert der Service Software Assurance Lifecycle kontinuierliche Sicherheitsüberprüfungen in die Releases und stellt sicher, dass jede Phase des Software-Lebenszyklus den Best Practices der Sicherheit entspricht.

• Was ist Supply Chain Tampering bei KI-Systemen?
• KI-Supply-Chain-Tampering besteht aus unbefugten Änderungen, die in jeder Phase des Entwicklungs- oder Verteilungszyklus eines KI-Modells eingeführt werden: von der Daten-Pipeline über das Training bis hin zu Software-Abhängigkeiten, Containern und Cloud-Umgebungen. Diese Änderungen können die Sicherheit, Zuverlässigkeit und Konformität des Systems gefährden.
• Was sind die wichtigsten Angriffsvektoren in der KI-Lieferkette?
• Zu den Hauptvektoren gehören: Dependency Poisoning (kompromittierte Bibliotheken), Container- und Image-Manipulation (Schwachstellen in Docker-Images) sowie CI/CD-Pipeline-Tampering (unbefugte Änderungen an der Deployment-Pipeline). Jeder dieser Vektoren kann genutzt werden, um bösartiges Verhalten einzuführen oder auf sensible Daten zuzugreifen.
• Wie schützt man die KI-Lieferkette vor Schwachstellen?
• Der Schutz erfordert einen mehrschichtigen Ansatz: automatisierte Abhängigkeitsscans mit SCA-Tools, digitale Signatur und Verifizierung von Container-Images, Implementierung einer strengen RBAC für die CI/CD-Pipeline, automatische Generierung von SBOMs für jeden Build sowie unveränderliche Audit-Logs für alle Build- und Deployment-Aktivitäten.
• Was ist eine Software Bill of Materials (SBOM) und warum ist sie wichtig?
• Eine SBOM ist ein vollständiges Inventar aller Komponenten und Abhängigkeiten, die in einem Software-Build verwendet werden. Sie ist entscheidend für das Schwachstellenmanagement, die Einhaltung gesetzlicher Vorschriften und eine effektive Reaktion auf Vorfälle, da sie es ermöglicht, schnell zu identifizieren, welche Systeme von einer in einer Abhängigkeit entdeckten Schwachstelle betroffen sind.
• Welche automatisierten Kontrollen sollte eine Organisation implementieren?
• Zu den wesentlichen Kontrollen gehören: automatisches Blockieren von Builds mit anfälligen Abhängigkeiten (HIGH oder CRITICAL), obligatorisches Scannen und digitale Signatur von Container-Images vor dem Deployment, strenge RBAC für alle Pipeline-Jobs, sichere Tresore für das Geheimnismanagement sowie versionierte und unveränderliche Build-Konfigurationen.
• Wie erkennt man unbefugte Änderungen in der CI/CD-Pipeline?
• Unbefugte Änderungen werden erkannt durch: unveränderliche Audit-Logs, die alle Aktivitäten verfolgen, Integritätsprüfung der Artefakte mittels digitaler Signatur, automatisierte Kontrollen der Pipeline-Konfiguration, Überwachung von Berechtigungs- und Zugriffsänderungen sowie regelmäßige Analysen der Konfigurationen zur Identifizierung von hartcodierten Geheimnissen oder Ressourcen aus nicht vertrauenswürdigen Quellen.

Referenzen

• OWASP GenAI – OWASP GenAI Project
• NIST – NIST AI 100-2e2025
• MITRE ATT&CK – Supply Chain Compromise Techniques
• SPDX – Software Package Data Exchange

Verwandte Artikel

• AI Data Testing: Sicherheit der Trainingsdaten
• Dev-Time Model Theft: Schutz von KI-Modellen
• Testing Poisoning Fine-tuning: Validierung der Modellintegrität

Die Integration automatisierter Kontrollen für Abhängigkeiten, Container und CI/CD-Pipelines hilft, unbefugte Änderungen an der KI-Lieferkette zu verhindern. Das regelmäßige Testen der Integrität der Lieferkette ist entscheidend, um die Sicherheit und Zuverlässigkeit von KI-Systemen in der Produktion zu gewährleisten.