Tag: Testing for Prompt Injection

Prompt Injection ist eine Angriffstechnik gegen Systeme auf Basis von Large Language Models (LLM), die es ermöglicht, das Modellverhalten durch Einfügen bösartiger Anweisungen in den Benutzer-Prompt zu manipulieren. Das Testen überprüft, ob eine KI-Anwendung anfällig für manipulierte Eingaben ist, die Systemanweisungen überschreiben, umgehen oder verändern, was zu unbefugten Ausgaben, Datenlecks oder der Ausführung unerwarteter Aktionen führt. Beinhaltet direkte Injektionstechniken, indirekte Injektion über externe Inhalte und Jailbreak zur Umgehung von Sicherheitsrichtlinien.