Das Threat Modeling für generative KI-Systeme und Large Language Models identifiziert systematisch Schwachstellen und Kompromittierungsmethoden von Modellen, indem nicht nur technische Aspekte, sondern auch die soziokulturellen, regulatorischen und ethischen Kontexte analysiert werden, in denen sie operieren.

Für einen Überblick über Red-Teaming-Praktiken für GenAI-Systeme konsultieren Sie den vollständigen Leitfaden zum GenAI Red Teaming.

Referenz-Frameworks für KI-Threat-Modeling

Das NIST AI Risk Management Framework (AI RMF) bietet eine solide Grundlage für die Definition von Risiken, Bedrohungsquellen und spezifischen Angriffszielen für KI-Systeme. MITRE ATLAS bildet reale Szenarien von adversarialen Angriffen auf Machine-Learning-Modelle ab, während die OWASP AI Security and Privacy Guide praktische Richtlinien zur Identifizierung und Minderung von Bedrohungen in KI-Systemen bietet.

Im Gegensatz zu traditionellen, softwareorientierten Frameworks adressieren diese Instrumente spezifische KI-Herausforderungen wie algorithmische Voreingenommenheit (Bias), CBRN-Risiken (chemisch, biologisch, radiologisch, nuklear), CSAM (Material über sexuellen Missbrauch von Kindern) und NCII (nicht einvernehmliche intime Bilder), die dedizierte Bewertungsansätze erfordern.

Operativer Prozess des Threat Modeling für KI-Systeme

Der Prozess des Threat Modeling für KI-Systeme gliedert sich in vier Phasen:

1. Architekturmodellierung: Abbildung von Systemkomponenten, Datenflüssen, Schnittstellen und Abhängigkeiten in der Lieferkette.
2. Identifizierung von Bedrohungen: Auflistung technischer und kontextueller Bedrohungen unter Verwendung von Frameworks wie MITRE ATLAS und OWASP AI Top 10.
3. Definition von Minderungsmaßnahmen: Festlegung von Sicherheitskontrollen, die dem identifizierten Risiko angemessen sind.
4. Iterative Validierung: Testen und Aktualisieren des Modells basierend auf neuen Bedrohungen und architektonischen Änderungen.

Zuordnung von Bedrohungen zu architektonischen Komponenten

Jede Komponente des KI-Systems weist spezifische Angriffsflächen auf. Die Datenerfassungsphase kann durch Data Poisoning kompromittiert werden; das Training kann Backdoor-Angriffen ausgesetzt sein; Inferenz-APIs sind anfällig für Prompt Injection und Model Extraction. Die Zuordnung von OWASP-Bedrohungen zu den architektonischen Komponenten ermöglicht es, zu identifizieren, welche Kontrollen in jeder Phase des Modelllebenszyklus anzuwenden sind, von der Datenerfassung bis zum Deployment in der Produktion.

Responsible AI und Trustworthy AI Bedrohungen

Neben technischen Schwachstellen müssen KI-Systeme Risiken in Bezug auf Fairness, Rechenschaftspflicht und Transparenz bewältigen. Ein Modell kann auch ohne böswillige Absicht diskriminierende Ergebnisse liefern oder schädliche Inhalte generieren, die gegen ethische Richtlinien oder Vorschriften verstoßen. Das Threat Modeling muss daher Szenarien von systemischem Bias, mangelnder Erklärbarkeit und potenziellem Missbrauch des Modells einbeziehen und die Auswirkungen auf spezifische Gemeinschaften und unterschiedliche regulatorische Kontexte bewerten.

Unterschiede zur traditionellen Software

KI-Modelle zeichnen sich durch die Unvorhersehbarkeit ihres Verhaltens aus, insbesondere unter Grenzbedingungen oder bei adversarialen Angriffen. Im Gegensatz zu deterministischer Software kann ein LLM auch bei scheinbar harmlosen Eingaben unerwartete Ausgaben erzeugen. Das Threat Modeling muss daher die gesamte Lieferkette berücksichtigen: Datenerfassung und -speicherung, Training, Tests, Deployment, Überwachung und kontinuierliche Aktualisierung des Modells.

Angriffsszenarien und operative Minderungsmaßnahmen

Prompt Injection

Ein Angreifer erstellt bösartige Eingaben, um die Sicherheitsvorkehrungen des LLM zu umgehen und nicht vorgesehene Befehle auszuführen. Wirksame Minderungsmaßnahmen: Strenge Validierung der Eingaben, kontextuelle Filter, Sandboxing der Antworten und Trennung zwischen Systemanweisungen und Benutzerinhalten.

Deepfake-Manipulationen

Der Einsatz von GANs, Diffusionsmodellen und LLMs ermöglicht die Erstellung gefälschter Audio- oder Videodateien, um sich als Führungskräfte auszugeben und Geldtransfers oder die Offenlegung sensibler Daten zu erzwingen. Gegenmaßnahmen: Multi-Faktor-Verifizierungsprotokolle für kritische Kommunikation, Personalschulung zur Erkennung von Deepfakes und automatisierte Erkennungssysteme.

RAG-Schwachstellen (Retrieval-Augmented Generation)

Ein böswilliger Akteur fügt Inhalte mit Phishing-Links oder Malware in externe Quellen ein, die das RAG-System in die Antworten integriert. Wenn das LLM diese Inhalte ohne Validierung zurückgibt, können Benutzer dazu verleitet werden, schädliche Websites zu besuchen. Es ist eine Validierung der abgerufenen Inhalte erforderlich, sowie eine sorgfältige Moderation und Bereinigung der Ausgaben vor der Präsentation an den Benutzer.

Generierung von bösartigem Code

Das LLM kann Code vorschlagen, der Backdoors oder absichtliche Schwachstellen enthält. Die kontinuierliche Überprüfung des generierten Codes, der Einsatz von Tools zur statischen Analyse und das Bewusstsein für die Grenzen des LLM sind entscheidend, um die Einführung von Risiken im Entwicklungszyklus zu verhindern.

Zu analysierende Komponenten und Angriffsflächen

Ein vollständiges Threat Modeling muss alle relevanten Bedrohungsvektoren für das KI-System abdecken:

• Modellarchitektur und Datenflüsse zwischen den Komponenten
• Pipeline für Datenerfassung, Speicherung, Training und Tests
• Deployment-Kanäle, Inferenz-APIs und Überwachungssysteme
• Schnittstellen zwischen Modellen, externen Datenquellen und Endbenutzern
• Lieferkette von vortrainierten Modellen und Abhängigkeiten von Drittanbietern

Mehrstufiger Ansatz und operativer Nutzen

Jede KI-Anwendung arbeitet mit spezifischen Assets, Architekturen und Benutzergruppen. Die Integration von Threat Modeling mit technischen und sozialen Red-Teaming-Aktivitäten ermöglicht es, menschliche Aufsicht, Bias-Minderung und die Bewertung systemischer Risiken in Einklang zu bringen. Die Sicherheitsmaßnahmen sind somit besser auf die tatsächlichen Bedürfnisse der Organisation und die vorgesehenen Nutzungskontexte abgestimmt.

Ein oft unterschätztes Element ist die kontinuierliche Überwachung externer Bedrohungen: Zu wissen, welche Akteure Angriffstechniken gegen KI-Systeme entwickeln, welche Schwachstellen in Untergrundforen diskutiert werden und welche Indikatoren für eine Kompromittierung im Laufe der Zeit auftauchen, ist ein wesentlicher Bestandteil einer ausgereiften Verteidigungshaltung. Ein strukturierter Dienst für Threat Intelligence und den Schutz digitaler Risiken ermöglicht es, den Threat-Modeling-Prozess mit aktuellen Daten über reale Bedrohungen zu speisen, wodurch die Minderungsmaßnahmen präziser und zeitnaher werden.

Die Einführung eines strukturierten Ansatzes für das Threat Modeling von KI-Systemen ermöglicht es, Schwachstellen vor dem Deployment zu identifizieren, die Exposition gegenüber regulatorischen und Reputationsrisiken zu verringern und durch transparente und überprüfbare Sicherheitspraktiken Vertrauen bei den Stakeholdern aufzubauen.

• Was sind die wichtigsten Frameworks für KI-Threat-Modeling?
• Die am häufigsten verwendeten Frameworks sind das NIST AI RMF für das Risikomanagement, MITRE ATLAS für die Abbildung von adversarialen Angriffen und die OWASP AI Security Guide für praktische Sicherheitsrichtlinien.
• Wie unterscheidet sich KI-Threat-Modeling vom traditionellen Threat Modeling?
• KI-Threat-Modeling muss die Unvorhersehbarkeit des Modellverhaltens, Risiken im Zusammenhang mit Bias und Fairness sowie die gesamte Lieferkette von Daten und vortrainierten Modellen berücksichtigen, zusätzlich zu klassischen technischen Schwachstellen.
• Was sind Responsible-AI-Bedrohungen?
• Dies sind Risiken im Zusammenhang mit Fairness, Rechenschaftspflicht, Transparenz und ethischer Nutzung von KI-Modellen, die auch ohne böswillige Absichten der Entwickler zu Diskriminierung oder schädlichen Inhalten führen können.
• Was sind die häufigsten Angriffe auf LLM-Systeme?
• Zu den häufigsten Angriffen gehören Prompt Injection zur Umgehung von Sicherheitsvorkehrungen, Deepfake-Manipulationen zur Identitätsfälschung, RAG-Schwachstellen, die bösartige Inhalte einschleusen, und die Generierung von Code mit Backdoors.
• Wie werden Schwachstellen in RAG-Systemen gemindert?
• Wirksame Minderungsmaßnahmen umfassen eine strenge Validierung der aus externen Quellen abgerufenen Inhalte, die Moderation der Ausgaben, die Bereinigung von Links und die Überprüfung der Zuverlässigkeit der in das System integrierten Quellen.

Nützliche weiterführende Informationen

Um die Red-Teaming-Praktiken und Minderungsstrategien für generative KI-Systeme zu vertiefen, lesen Sie diese Artikel:

• GenAI Red Teaming: Allgemeiner Überblick über Red-Teaming-Praktiken für generative KI-Systeme
• Risiken und Bedrohungen im GenAI Red Teaming: Detaillierte Analyse der spezifischen Risiken generativer KI-Systeme
• Red-Teaming-Strategie für LLMs: Strategischer Ansatz und Roadmap für das Red Teaming von Large Language Models
• Operative Techniken für GenAI Red Teaming: Praktische Techniken zum Testen der Sicherheit von KI-Systemen
• Metriken für GenAI Red Teaming: Mess-Framework zur Bewertung der Wirksamkeit von Red-Teaming-Aktivitäten
• Red Teaming für Agentic AI: Spezifischer Ansatz für autonome und agentische KI-Systeme

[Callforaction-THREAT-Footer]