Organisationen, die sich mit künstlicher Intelligenz befassen, setzen Red-Teaming-Praktiken ein, um Herausforderungen in den Bereichen Sicherheit, ethische Verantwortung und Zuverlässigkeit von GenAI-Systemen zu bewältigen. Einige einflussreiche Akteure strukturieren ihre Red-Teaming-Prozesse spezifisch und integrieren dabei Methoden, Werkzeuge und Fachkenntnisse, um effektive und zielgerichtete Bewertungen im Bereich der generativen KI zu erreichen.

Für einen umfassenden Überblick über die Methoden und Ansätze des Red Teamings für generative KI-Systeme lesen Sie den Leitfaden zum GenAI Red Teaming.

Wie führende KI-Organisationen arbeiten

Organisation A: Automatisierung und technische Raffinesse

• Hat Red-Teaming-Prozesse seit 2018 formalisiert und dabei Sicherheit sowie verantwortungsvolle Praktiken integriert.
• Nutzt ein automatisiertes Framework, das Prompts generiert, interagiert, analysiert, bewertet und Berichte erstellt, was das Testen von Tausenden von Prompts in kurzer Zeit ermöglicht.
• Führt Red Teaming sowohl auf der Ebene des Basismodells als auch der Anwendung durch, um Sicherheitslücken, Fairness-Probleme und inhaltliche Mängel zu identifizieren.
• Bewertet Risiken wie Prompt Injection und Modell-Diebstahl und berücksichtigt dabei Aspekte der verantwortungsvollen KI (Responsible AI).
• Die Automatisierung sorgt für Effizienz, wird jedoch durch menschliche Aufsicht ergänzt, um Lücken zu schließen und die Qualität der Bewertungen zu wahren.

Organisation B: Integration von Sicherheit und KI

• Das KI-Red-Team arbeitet eng mit traditionellen Sicherheitsteams zusammen und kombiniert KI-Expertise mit realistischen Bedrohungssimulationen.
• Der duale Ansatz ermöglicht umfassende Tests von KI-Systemen in verschiedenen Kontexten.
• Komplexe gegnerische Szenarien identifizieren Schwachstellen wie die Extraktion von Trainingsdaten und Adversarial Examples.
• Arbeitet eng mit Sicherheitsteams zusammen, um die Lücke zwischen traditionellen Schwachstellen und KI-spezifischen Risiken zu schließen.
• Fördert den Austausch gewonnener Erkenntnisse und die Weiterentwicklung von Sicherheitsstandards.

Organisation C: Community-getriebene Innovation

• Integriert interne und externe Beiträge und fördert Zusammenarbeit, Skalierbarkeit sowie kontinuierliche Verbesserung.
• Das Netzwerk externer Experten bewertet vielfältige Risiken, von natürlichen bis hin zu ethischen Aspekten.
• Automatisiert das Red Teaming in großem Maßstab, wobei menschliche Aufsicht eine präzise Analyse sicherstellt.
• Stellt detaillierte Dokumentationen (“System Cards”) zu Sicherheitsmaßnahmen und Schwachstellen bereit, um Transparenz zu fördern.

Organisation D: Multi-faktorieller und richtlinienorientierter Ansatz

• Iterative Tests verbessern die Robustheit der Modelle gegen möglichen Missbrauch.
• Bewertet Schwachstellen bei verschiedenen Inhaltstypen (Text, Bilder, Video).
• Konzentriert sich auf kritische Anwendungen sowie Systeme, die für die nationale und kulturelle Sicherheit relevant sind.
• Fördert eine breite Beteiligung durch offenes Red Teaming und Challenges.
• Verknüpft die Ergebnisse mit Deployment-Entscheidungen und empfiehlt standardisierte Praktiken.

Organisation E: Benchmarking und automatische Schutzmaßnahmen

• Nutzt ein Open-Source-Framework, um Risiken und Fähigkeiten von KI-Systemen empirisch zu bewerten.
• Analysiert acht Risikoarten in verschiedenen Kategorien: Drittanbieter und Anwendungsentwickler.
• Implementiert Werkzeuge zur Erkennung, Minderung und Protokollierung riskanten Modellverhaltens.
• Simuliert groß angelegte Operationen (einschließlich Ransomware-Szenarien und Exploit-Code-Generierung) und kombiniert dabei Automatisierung mit menschlicher Überprüfung.

Best Practices für GenAI Red Teaming gemäß OWASP

• Richtlinien, Standards und Leitlinien etablieren: Basierend auf dem organisatorischen Kontext und einer korrekten Repräsentation der verwendeten LLMs, um Phänomene wie Shadow IT oder Shadow AI zu bekämpfen.
• Klare Ziele für jede Sitzung definieren: Diese an den Risikomanagementstrategien ausrichten.
• Klare Bewertungskriterien festlegen: Objektive Parameter definieren, die zwischen natürlichen Modellvariationen und konkreten Sicherheitsauswirkungen unterscheiden.
• Umfassende Test-Suiten entwickeln: Aktualisierte und diversifizierte Testfälle bereitstellen, die aufkommende Bedrohungen und Nutzungsszenarien widerspiegeln.
• Bereichsübergreifende Zusammenarbeit fördern: Spezialisten aus verschiedenen Fachgebieten einbeziehen und den Wissensaustausch fördern.
• Ethisch denken: Die Einhaltung ethischer Prinzipien, den Schutz der Privatsphäre und die Wahrung des Nutzervertrauens sicherstellen, um den Missbrauch von Daten und LLM-Schwachstellen zu vermeiden.
• Detaillierte Dokumentation führen: Verfahren, Ergebnisse und Minderungsstrategien nachverfolgen.
• Iterieren und anpassen: Testergebnisse nutzen, um Systeme und Red-Teaming-Praktiken kontinuierlich zu verfeinern.
• Kontinuierlich überwachen: Red Teaming von den frühen Entwicklungsphasen an integrieren (Shift Left) und über den gesamten Lebenszyklus des KI-Systems hinweg beibehalten.
• Risikobasierter Ansatz: Den Umfang des Red Teamings nach dem Risikoprofil festlegen und dabei externe Chatbots, Anwendungen mit sensiblen Daten oder solche, die zu geschäftlichen Aktionen führen, priorisieren.
• Kontinuierliche Integration in den Entwicklungszyklus: Automatisierte Tests in CI/CD-Pipelines ausführen und Modelle sowie Sicherheitsmaßnahmen basierend auf den Ergebnissen aktualisieren.
• Realistische Simulationen: Testumgebungen schaffen, die die operative Realität getreu widerspiegeln, einschließlich verschiedener Nutzer und gegnerischer Akteure.
• Automatisierung und manuelle Überprüfung ausbalancieren: Wiederkehrende Aufgaben automatisieren und die Analyse komplexer Fälle menschlichen Experten überlassen.
• Ständige Anpassung: Red-Teaming-Strategien an neue Bedrohungen und den Fortschritt der Forschung anpassen.
• Menschliche Aufsicht: Die Präsenz von Prüfern in automatisierten Prozessen beibehalten, um Ethik und Validität der Schlussfolgerungen zu gewährleisten.
• Transparenz und Reporting: Effektive Kommunikation mit Entwicklungsteams sowie detaillierte und konkrete Berichte sicherstellen.
• Metriken definieren und überwachen: KPIs für Sicherheit und Zuverlässigkeit verfolgen, Benchmarking gegenüber Industriestandards durchführen und Model Drift überwachen.
• Zusammenarbeit zwischen Teams: Interaktion zwischen Red Team, Entwicklung und Stakeholdern fördern und Offenheit sowie ständige Verbesserung unterstützen.
• Testumfang regelmäßig bewerten: Die Abdeckung der Red-Teaming-Aktivitäten auf neue Funktionen und identifizierte Risiken aktualisieren.
• API-Sicherheit gewährleisten: Bei der Integration von KI-Anwendungen auf APIs achten und mögliche Angriffsvektoren identifizieren.
• Externe Audits und Tests durch Dritte: Interne Bewertungen durch externe Audits für eine unabhängige Perspektive ergänzen.
• GenAI Red Teaming automatisieren: Angreifende LLMs verwenden, die auf heterogenen und unzensierten Datensätzen trainiert wurden (sowohl synthetisch generiert als auch aus Quellen wie GitHub oder Hugging Face).
• Werkzeuge und Methoden standardisieren: Dedizierte Sicherheitswerkzeuge entwickeln und homogene Ansätze bei KI-Assessments verfolgen.
• Kontinuierliche Weiterbildung: Die Fähigkeiten des Teams hinsichtlich neuer Risiken und Entwicklungen im KI-Red-Teaming auf dem neuesten Stand halten.

Nützliche weiterführende Informationen

Um tiefer in die Techniken, Werkzeuge und Methoden des Red Teamings für generative KI-Systeme einzutauchen, lesen Sie diese Artikel:

• GenAI Red Teaming: Vollständiger Leitfaden zur Sicherheit generativer KI-Systeme
• Red-Teaming-Techniken für GenAI
• Werkzeuge und Datensätze für GenAI Red Teaming
• Metriken und KPIs für GenAI Red Teaming
• Red Teaming für Agentic AI-Systeme