GenAI Red Teaming bewertet Verteidigungsfähigkeiten durch die Simulation realer Bedrohungen. Im Kontext der Sicherheit generativer Künstlicher Intelligenz umfasst Red Teaming eine systematische Überprüfung von Systemen auf mögliches gegnerisches Verhalten, wobei spezifische Taktiken, Techniken und Prozeduren (TTPs) emuliert werden, die böswillige Akteure nutzen könnten, um KI-Systeme auszunutzen.

Für einen Überblick über die Methoden und Grundprinzipien lesen Sie den vollständigen Leitfaden zum GenAI Red Teaming.

Red-Teaming-Strategie für Large Language Models

Eine effektive Red-Teaming-Strategie für Large Language Models erfordert risikoorientierte, kontextbezogene Entscheidungen, die mit den Zielen der Organisation – einschließlich der Prinzipien für verantwortungsvolle KI (Responsible AI) – und der spezifischen Art der Anwendung im Einklang stehen. Inspiriert durch das PASTA-Framework (Process for Attack Simulation and Threat Analysis) legt diese Strategie den Schwerpunkt auf risikoorientiertes Denken, Anpassungsfähigkeit an den Kontext und funktionsübergreifende Zusammenarbeit.

Risikobasierte Eingrenzung (Risk-based Scoping)

Der erste Schritt besteht darin, den Testumfang basierend auf der Kritikalität und den potenziellen geschäftlichen Auswirkungen zu definieren:

• Priorisierung der zu testenden Anwendungen und Endpunkte basierend auf ihrer Kritikalität und ihrem potenziellen Einfluss auf das Geschäft.
• Berücksichtigung der Art der LLM-Implementierung und der Ergebnisse, auf die die Anwendung zugreift, sei es als Agent, Klassifikator, Zusammenfassungs-Tool, Übersetzer oder Textgenerator.
• Fokus auf Anwendungen, die sensible Daten verarbeiten oder maßgebliche Geschäftsentscheidungen beeinflussen.
• Durchführung einer Wirkungsanalyse in Bezug auf die Responsible AI (RAI) der Organisation und Nutzung des NIST AI RMF zur Kartierung, Messung und Verwaltung; das Red Team ist ein integraler Bestandteil dieser Übungen.

Funktionsübergreifende Zusammenarbeit

Die Zusammenarbeit zwischen verschiedenen Fachbereichen ist entscheidend, um Konsistenz und organisatorische Unterstützung zu gewährleisten:

• Einholung der Zustimmung verschiedener Stakeholder wie Model Risk Management (MRM), Rechtsabteilung, Risikomanagement und Informationssicherheit zu den Prozessen, Prozesslandkarten und Metriken, die die kontinuierliche Überwachung steuern.
• Kollektive Definition von Leistungsschwellenwerten für die gewählten Metriken, Vereinbarung von Eskalationsprotokollen und Koordinierung der Reaktionen auf identifizierte Risiken.
• Diese Zusammenarbeit stellt Konsistenz, Transparenz und Unterstützung für verantwortungsvolle, sichere und konforme KI-Bereitstellungen sicher.

Maßgeschneiderte Bewertungsansätze

Es gibt keinen einheitlichen Ansatz, der für alle Kontexte gleichermaßen gilt:

• Auswahl und Anpassung der Methodik, die am besten zur Komplexität und zum Integrationsgrad der Anwendung passt.
• Nicht alle LLM-Integrationen eignen sich für Black-Box-Tests; bei Systemen, die tief in Prozesse integriert sind, ist eine Gray-Box-Bewertung oder ein “Assumed-Breach”-Ansatz vorzuziehen.

Klarheit der Red-Teaming-Ziele

Die frühzeitige Definition der erwarteten Ergebnisse eines Red-Team-Engagements ist entscheidend für die Erfolgsmessung:

• Die Ziele können Tests auf Domänenkompromittierung, Exfiltration kritischer Daten oder die Herbeiführung unerwünschter Verhaltensweisen in geschäftskritischen Workflows umfassen.
• Die Dokumentation der Ziele ermöglicht es, die Erwartungen zwischen technischen Teams und Business-Stakeholdern in Einklang zu bringen.

Bedrohungsmodellierung und Schwachstellenbewertung

Die Bedrohungsmodellierung (Threat Modeling) bildet die Grundlage für die Identifizierung und Priorisierung von Risiken:

• Entwicklung eines Bedrohungsmodells, das auf geschäftlichen und regulatorischen Anforderungen basiert.
• Stellen grundlegender Fragen zur Steuerung der Analyse:
  1. Was bauen wir mit KI?
  2. Was kann in Bezug auf die KI-Sicherheit schiefgehen?
  3. Was kann die Vertrauenswürdigkeit der KI untergraben?
  4. Wie werden wir diese Probleme angehen?
• Integration bekannter Bedrohungen und architektonischer Risiken, wie sie beispielsweise von Frameworks Dritter, einschließlich Berryville IML, identifiziert wurden.

Modell-Aufklärung und Anwendungszerlegung

Die Aufklärungsphase (Reconnaissance) ermöglicht das Verständnis der internen Struktur des Modells:

• Analyse der LLM-Struktur über APIs oder interaktive Playgrounds.
• Überprüfung von Architektur, Hyperparametern, Anzahl der Transformer-Layer, Hidden-Layer und Dimensionen des Feedforward-Netzwerks.
• Das Verständnis der internen Funktionsweise ermöglicht eine präzisere Exploit-Strategie.

Angriffsmodellierung und Ausnutzung von Angriffspfaden

Nutzung der gesammelten Informationen zum Aufbau realistischer Angriffsszenarien:

• Verwendung der in der Aufklärungs- und Schwachstellenbewertungsphase gesammelten Informationen zur Konzeption realistischer Angriffsszenarien.
• Simulation gegnerischen Verhaltens für alle definierten Ziele, um sicherzustellen, dass die Methode authentische Bedrohungen für die Organisation widerspiegelt.

Risikoanalyse und Berichterstattung

Die letzte Phase wandelt technische Ergebnisse in konkrete Maßnahmen um:

• Nach Abschluss der Tests Analyse aller identifizierten Risiken und Schwachstellen.
• Präsentation der Ergebnisse in klarer Form, zusammen mit Empfehlungen für Minderungsmaßnahmen und Eskalationspfade.
• Dies ermöglicht es Stakeholdern, fundierte Entscheidungen zur Stärkung der Sicherheit und Vertrauenswürdigkeit in LLM-basierten Anwendungen zu treffen.

Nützliche weiterführende Informationen

Um die operativen und methodischen Aspekte der Sicherheitstests für generative KI zu vertiefen, konsultieren Sie diese Ressourcen:

• GenAI Red Teaming – Überblick über die Methoden und Grundprinzipien
• GenAI Red Teaming Techniken – operative Techniken zum Testen generativer KI-Systeme
• Metriken für GenAI Red Teaming – KPIs und Metriken zur Messung der Testeffektivität
• Threat Modeling für KI und LLM – Methoden zur Identifizierung und Priorisierung von Bedrohungen
• Risiken und Bedrohungen im GenAI Red Teaming – Überblick über spezifische Risiken generativer KI-Systeme
• Blueprint für GenAI Red Teaming – Implementierungs-Framework für strukturierte Testprogramme