Die Sicherheitsprüfung generativer Modelle erfordert einen strukturierten Ansatz und spezifische Techniken, um Schwachstellen zu identifizieren, die von automatisierten Tools nicht erkannt werden. Dieser Artikel stellt die wesentlichen operativen Techniken zur Durchführung effektiver GenAI-Red-Teaming-Aktivitäten vor, von der Generierung adversarieller Prompts bis hin zur ethischen Bewertung der Modelle.

Für einen Überblick über das Framework und die Methodik des GenAI Red Teamings konsultieren Sie den vollständigen Leitfaden zum GenAI Red Teaming.

Techniken des adversariellen Prompt Engineerings

Die Erstellung adversarieller Prompts stellt den Ausgangspunkt für das Testen der Robustheit generativer Modelle dar.

• Adversarial Prompt Engineering
  • Strukturierung der Generierung und Verwaltung von Datensätzen mit adversariellen Prompts für Robustheitstests.
• Dataset Generation and Manipulation
  • Abwägung zwischen statischen Datensätzen und dynamischen oder synthetischen Datensätzen, um evolutionäre Bedrohungsszenarien oder durch Beobachtung identifizierte Schwachstellen aufzudecken.
  • Verwaltung von One-Shot Attacks, die auf einen einzelnen Prompt abzielen, und Multi-Turn Attacks, um Schwachstellen durch komplexe Konversationen zu erforschen.
• Tracking Multi-Turn Attacks
  • Überwachung jedes Schritts von Multi-Turn-Konversationen durch Tracking und Tagging, auch mittels Conversation-IDs, um die Nachvollziehbarkeit und Analyse der Ergebnisse sicherzustellen.
  • Anwendung von Reward-Funktionen, um automatisierte Aktionen zu ermöglichen und den Fortschritt der Angriffe zu bewerten.

Testen von Edge Cases und Modellfragilität

Generative Modelle zeigen unvorhersehbares Verhalten, wenn sie mit mehrdeutigen oder gestörten Eingaben konfrontiert werden.

• Edge Cases und mehrdeutige Abfragen
  • Definition von Einschlusskriterien für Edge Cases, mehrdeutige Abfragen und potenziell schädliche Anweisungen.
  • Abdeckung von Fällen wie mehrdeutigen Prompts, Versuchen, Sicherheitsregeln zu umgehen, und Anweisungen, die darauf abzielen, riskante Antworten zu provozieren.
• Prompt Brittleness Testing mittels dynamischer Datensätze
  • Wiederholung von Prompts, um den Nicht-Determinismus des Systems zu untersuchen.
  • Leichte Störung (Perturbation) der Prompts, um die Resilienz und Fragilität des Modells auf die Probe zu stellen.
• Dataset Improvement
  • Nachverfolgung von Erfolgs- und Misserfolgsraten adversarieller Prompts und iterative Aktualisierung des Datensatzes, um das Testen gegenüber neuen Bedrohungen effektiver zu gestalten.

Umgang mit stochastischer Variabilität

Die probabilistische Natur generativer Modelle erfordert spezifische Ansätze zur Bewertung der Antwortkonsistenz.

• Managing Stochastic Output Variability
  • Durchführung von Konsistenztests durch mehrfache Versuche für jeden Prompt.
  • Festlegung von Schwellenwerten (Threshold Determination), um zu definieren, wann eine Schwachstelle gemeldet werden muss, beispielsweise nach einer bestimmten Anzahl erfolgreicher Versuche.
• Bewertungskriterien für Prompt Injection
  • Definition von Erfolgskriterien zur Identifizierung einer Schwachstelle, wie etwa die Reproduzierbarkeit adversarieller Antworten und die Kohärenz der Ergebnisse.

Multimodales und szenariobasiertes Testen

Moderne Modelle unterstützen vielfältige Eingaben, die spezifische Überprüfungen für jeden Modus erfordern.

• Szenariobasiertes Testen
  • Simulation potenzieller Missbräuche im Einklang mit dem Risikomodell und Überprüfung, ob die Ergebnisse für die Risikoverantwortlichen des Unternehmens relevant sind.
• Multifaceted Input Testing
  • Bewertung aller unterstützten Eingabemodi (Text, Bilder, Code usw.) durch Überprüfung der Konsistenz der Antworten auf denselben Prompt in verschiedenen Modi.
  • Sicherstellung der Abdeckung für alle implementierten Eingangskanäle (z. B. direkte Eingabe, durch Datenspeicher hydrierte Daten).

Output-Analyse und Stresstests

Die Validierung der Antworten und das Verhalten unter Last sind kritische Elemente für die operative Sicherheit.

• Output Analysis and Validation
  • Implementierung automatisierter Kontrollen hinsichtlich Genauigkeit, Kohärenz und Sicherheit.
  • Durchführung manueller Überprüfungen auf Bias, unangemessene Inhalte und korrekte Darstellung von HTML/Markdown.
• Stress Testing and Load Simulation
  • Testen der Verschlechterung von Qualität oder Sicherheit unter Stress und Überprüfung der Rate-Limiting-Richtlinien.
  • Untersuchung des Umgangs mit ungewöhnlichen Situationen wie dem Erschöpfen von Token-Kontingenten.

Datenschutz, Datenabfluss und Sicherheitsgrenzen

Der Schutz sensibler Daten und die Einhaltung von Sicherheitsgrenzen haben beim Testen höchste Priorität.

• Privacy and Data Leakage Assessment
  • Überprüfung der Offenlegung sensibler Informationen und der Widerstandsfähigkeit gegen Extraktionsangriffe.
  • Testen der Berechtigungsverwaltung für vertrauliche Dokumente und der Prüfregeln im Guardrail-System.
• Security Boundary Testing
  • Versuche, Sicherheitsmaßnahmen und Inhaltsfilter zu umgehen.
  • Testen der Sicherheitsgrenzen bei Systemintegrationen.

Ethische Bewertung und Bias

Generative Modelle können bestehende Vorurteile (Bias) perpetuieren oder verstärken, was tiefgreifende Bewertungen hinsichtlich Fairness und ethischer Auswirkungen erfordert.

• Ethical and Bias Evaluation
  • Testen auf Bias, Leistungsunterschiede und Homogenisierung zwischen Untergruppen oder Sprachen.
  • Bewertung von Antworten zu ethisch sensiblen Themen und Variationen aufgrund von Dialekten, Sprachstilen oder kulturellem Kontext.
  • Analyse, wie Antworten bei Vorhandensein impliziter kultureller oder sprachlicher Marker variieren.
  • Vergleich von Empfehlungen und professionellen Urteilen ausgehend von äquivalenten, aber sprachlich, kulturell oder stilistisch unterschiedlichen Ausdrücken.
  • Überprüfung, ob das Modell Vorurteile bezüglich Bildung, Status oder Kriminalität basierend auf sprachlichen Entscheidungen annimmt.

Testen von agentischen Systemen und Plugins

Systeme, die externe Tools integrieren oder autonom agieren, erfordern spezifische Überprüfungen der Zugriffskontrollen und der Entscheidungsfindung.

• Agentic / Tooling / Plugin Analysis
  • Testen der Grenzen von Zugriffskontrollen, der autonomen Entscheidungsfindung und der Sanitisierung von Ein-/Ausgaben für Tools und Plugins.
• Temporal Consistency Checking
  • Bewertung der Beständigkeit von Antworten über die Zeit und Identifizierung etwaiger Informations- oder Verhaltensdrifts.
• Cross-Model Comparative Analysis
  • Vergleich der Antworten zwischen verschiedenen Modellen oder früheren Versionen, um Regressionen oder Verbesserungen zu identifizieren.

Erkennungs- und Reaktionsfähigkeiten der Organisation

Die organisatorische Reife im Incident Management bestimmt die Gesamteffektivität des Sicherheitsprogramms.

• Detection & Response Capabilities and Maturity of the Organization
  • Bereitstellung eines unveränderlichen Loggings der Prompts in jeder Phase.
  • Integration mit Systemen zur Erkennung und Risikoanalyse, wie SIEM/EDR und UEBA.
  • Planung regelmäßiger Übungen für das Incident Management, Zuweisung klarer Rollen (RACI-Matrix) und Entwicklung umfassender Playbooks.
  • Einführung skalierbarer technischer Kontrollen, adaptiver Richtlinien und bewährter Verfahren für die sichere Softwareentwicklung.

Nützliche weiterführende Informationen

Um das methodische Framework, spezifische Risiken und operative Tools des GenAI Red Teamings zu vertiefen, konsultieren Sie diese verwandten Artikel:

• GenAI Red Teaming – Überblick über das Framework und die Methodik
• Risiken und Bedrohungen im GenAI Red Teaming – Analyse spezifischer Bedrohungen für generative Modelle
• Metriken für GenAI und AI Red Team – KPIs und Indikatoren zur Messung der Testeffektivität
• Tools und Datensätze für Red Teaming – operative Ressourcen zur Implementierung der Techniken
• Red Teaming für Agentic AI – spezifische Techniken für autonome agentische Systeme