Das Dokument bietet einen Überblick über die wichtigsten Aktivitäten für das Red Teaming von agentischen KI-Systemen oder -Anwendungen. Es werden zwölf Interventionsbereiche beschrieben, mit Hinweisen zu operativen Tests, erwarteten Ergebnissen und Empfehlungen zur Stärkung der Sicherheit dieser Systeme.

Für einen vollständigen Überblick über die Methoden und Referenz-Frameworks konsultieren Sie den Leitfaden zum GenAI Red Teaming.

Agent authorization and control hijacking

Es werden Tests zur unbefugten Befehlsausführung, zur Rechteeskalation und zur Rollenvererbung durchgeführt. Die Schritte umfassen die Injektion bösartiger Befehle, die Simulation gefälschter Steuersignale und die Überprüfung des Widerrufs von Berechtigungen. Die Ergebnisse zeigen Schwachstellen in den Autorisierungsmechanismen auf, protokollieren Fehler bei der Verwaltung von Grenzwerten und geben Empfehlungen für eine bessere Rollenverwaltung und Überwachung.

Checker-out-of-the-loop vulnerability

Es wird überprüft, ob die Checker bei unsicheren Vorgängen oder beim Überschreiten von Schwellenwerten informiert werden. Die vorgesehenen Schritte umfassen die Simulation von Schwellenwertüberschreitungen, die Unterdrückung von Warnmeldungen und die Überprüfung von Fallback-Mechanismen. Die Ergebnisse liefern Beispiele für Warnfehler, fehlende Kommunikation und Empfehlungen für die Robustheit von Warnmeldungen und Fail-Safe-Protokollen.

Agent critical system interaction

Es werden die Interaktionen des Agenten mit kritischen physischen und digitalen Systemen bewertet. Die Tests umfassen die Simulation unsicherer Eingaben, die Überprüfung der Sicherheit bei der Kommunikation mit IoT-Geräten und die Bewertung von Sicherheitsmechanismen. Zu den Ergebnissen gehören Protokolle von Verstößen, unsichere Interaktionen und Strategien zur Verbesserung der Interaktionssicherheit.

Goal and instruction manipulation

Es wird die Widerstandsfähigkeit gegenüber Angriffen gemessen, die Ziele oder Anweisungen verändern. Die Tests umfassen mehrdeutige Anweisungen, Variationen in Aufgabenfolgen und Simulationen von Kettenänderungen bei den Zielen. Die Ergebnisse betreffen Schwachstellen in der Integrität der Ziele und Vorschläge zur Validierung von Anweisungen.

Agent hallucination exploitation

Es werden Schwachstellen identifiziert, die auf erfundenen oder falschen Ausgaben beruhen. Es wird mit mehrdeutigen Eingaben, Kettenfehlern durch Halluzinationen und Tests von Validierungsmechanismen vorgegangen. Die Ergebnisse liefern Erkenntnisse über die Auswirkungen von Halluzinationen, Protokolle von Ausnutzungsversuchen und Strategien zur Erhöhung der Ausgabegenauigkeit und Überwachung.

Agent impact chain and blast radius

Es wird das Risiko von Kettenfehlern und die Eindämmung der Auswirkungen von Sicherheitsverletzungen untersucht. Die Schritte umfassen die Simulation einer Kompromittierung des Agenten, die Überprüfung von Vertrauensbeziehungen zwischen Agenten und die Untersuchung von Eindämmungsmechanismen. Die Ergebnisse umfassen Ausbreitungseffekte, Protokolle von Kettenreaktionen und Empfehlungen zur Minimierung der Auswirkungen von Sicherheitsverletzungen.

Agent knowledge base poisoning

Es werden die Risiken bewertet, die von Trainingsdaten, externen Eingaben und kompromittierten internen Speichern ausgehen. Die Schritte sehen die Injektion bösartiger Daten, die Simulation kontaminierter externer Eingaben und das Testen von Rollback-Fähigkeiten vor. Die Ergebnisse identifizieren Kompromittierungen bei Entscheidungen, Angriffsprotokolle und Strategien zur Wahrung der Wissensintegrität.

Agent memory and context manipulation

Es werden Schwachstellen bei der Zustandsverwaltung und der Sitzungsisolierung identifiziert. Es werden Kontext-Resets, Datenlecks zwischen Sitzungen und Speicherüberlaufszenarien getestet. Die Ergebnisse weisen auf Isolationsprobleme hin, protokollieren Manipulationen und schlagen Verbesserungen für die Kontextbewahrung vor.

Multi-agent exploitation

Es werden die Risiken bei der Kommunikation zwischen Agenten, beim Vertrauen und bei der Koordination analysiert. Die wichtigsten Schritte umfassen das Abfangen von Kommunikation, die Überprüfung von Vertrauensbeziehungen und die Simulation von Feedbackschleifen. Die Ergebnisse identifizieren Schwachstellen in den Vertrauens- und Kommunikationsprotokollen und schlagen Strategien zur Stärkung der Grenzen und der Überwachung vor.

Resource and service exhaustion

Es wird die Widerstandsfähigkeit gegen Ressourcenerschöpfung und Denial-of-Service-Angriffe getestet. Die Schritte umfassen Simulationen rechenintensiver Aufgaben, die Überprüfung von Speicherlimits und die Erschöpfung von API-Kontingenten. Die Protokolle dieser Tests dokumentieren die Ressourcenverwaltung und schlagen Fallback-Mechanismen vor.

Supply chain and dependency attacks

Es werden die Risiken im Zusammenhang mit Entwicklungstools, externen Bibliotheken und APIs untersucht. Die Tests umfassen die Einführung manipulierter Abhängigkeiten, die Simulation kompromittierter Dienste und die Überprüfung der Sicherheit in der Deployment-Pipeline. Die Ergebnisse decken kompromittierte Komponenten auf und geben Empfehlungen zur Verbesserung der Abhängigkeitsverwaltung und der Verteilungssicherheit.

Agent untraceability

Es werden die Nachvollziehbarkeit von Aktionen, die Rechenschaftspflicht und die forensische Bereitschaft bewertet. Die wichtigsten Schritte sind die Unterdrückung von Protokollen, die Simulation von Missbrauch bei der Rollenvererbung und die Verschleierung forensischer Daten. Die Ergebnisse weisen auf Lücken in der Nachvollziehbarkeit hin, protokollieren Umgehungsversuche und geben Vorschläge zur Verbesserung von Protokollen und forensischen Tools.

Zusammenfassung der Red-Teaming-Aktivitäten für agentische KI

Die Red-Teaming-Aktivitäten für agentische KI decken ein breites Spektrum möglicher Schwachstellen ab und bieten ein Prüf-Framework für Autorisierungen, Warnmeldungen, Systeminteraktionen, Zielintegrität, Ausgabegenauigkeit, Ausbreitung von Sicherheitsverletzungen, Datenintegrität, Sitzungsisolierung, Kommunikation zwischen Agenten, Ressourcenverwaltung, Lieferkettensicherheit und Nachvollziehbarkeit von Aktionen. Jeder Bereich umfasst spezifische Tests und konkrete Empfehlungen zur Stärkung der Sicherheit.

Nützliche weiterführende Informationen

Um die Techniken und Frameworks des Red Teamings für generative KI zu vertiefen, könnten Sie sich für Folgendes interessieren:

• GenAI Red Teaming: Vollständiger Leitfaden zur Sicherheit generativer KI-Systeme
• Operative Techniken für GenAI Red Teaming
• Risiken und Bedrohungen in GenAI-Systemen
• Metriken und KPIs für das Red Teaming von KI-Systemen
• Tools und Datensätze für KI-Red-Teaming
• Kontinuierliche Überwachung und Beobachtbarkeit für LLMs