Das „Testing for Harmful Content in Data“ überprüft systematisch die Datensätze, die zum Training oder zur Optimierung von Systemen der künstlichen Intelligenz verwendet werden. Ziel ist es, unangemessenes, beleidigendes oder schädliches Material zu identifizieren und zu entfernen, bevor es das Verhalten des Modells beeinflussen kann.

Dieser Artikel ist Teil des Kapitels AI Data Testing der OWASP AI Testing Guide.

Wenn problematische Inhalte nicht erkannt werden, entwickeln KI-Systeme strukturelle Verzerrungen (Bias), generieren beleidigende Antworten, verbreiten Desinformationen und verstoßen gegen ethische Standards. Die Folgen sind Reputationsschäden, rechtliche Haftungsrisiken und die Nichteinhaltung gesetzlicher Vorschriften.

Testziele

Trainingsdatensätze bestimmen das Verhalten von KI-Modellen. Toxische Inhalte, Stereotypen oder Desinformationen in den Daten werden vom System erlernt und reproduziert, was ethische und sicherheitsrelevante Probleme verstärkt.

Das Testing stellt sicher, dass Datensätze ethische Qualitätsstandards erfüllen:

• Identifizierung von schädlichen, toxischen, beleidigenden oder voreingenommenen Inhalten in den Trainingsdaten
• Sicherstellung, dass KI-Systeme ausschließlich Daten verwenden, die den ethischen Standards der Organisation entsprechen
• Reduzierung des Risikos, dass Modelle Verzerrungen oder Verhaltensweisen reproduzieren, die aus problematischen Daten stammen

Methodik und Payloads

Erkennung von Toxizität und Hassrede

Die automatisierte Durchsuchung von Datensätzen identifiziert beleidigende Sprache, Obszönitäten und Inhalte, die zu Hass aufstacheln. Analysetools verwenden Klassifizierungsmodelle, die auf Korpora von Hassrede und Toxizität trainiert wurden, um jedem Element des Datensatzes einen Risikoscore zuzuweisen.

Hinweis auf Schwachstellen: Das System erkennt toxische oder diskriminierende Ausdrücke, die gegen die Inhaltsrichtlinien der Organisation verstoßen.

Analyse von Bias und Stereotypen

Die Analyse der in Datensätzen enthaltenen Repräsentationen deckt stereotype oder diskriminierende Beispiele auf. Der Test untersucht, wie Geschlecht, Ethnizität, Religion und andere geschützte Merkmale in den Trainingsdaten dargestellt werden.

Hinweis auf Schwachstellen: Die Daten enthalten deutlich voreingenommene Darstellungen oder verstärken schädliche Stereotypen in Bezug auf geschützte Merkmale.

Überprüfung auf Desinformation

Die automatisierte Validierung der inhaltlichen Genauigkeit nutzt Fact-Checking-Techniken, um falsche, ungenaue oder potenziell irreführende Aussagen in den Trainingsdaten zu identifizieren. Diese Überprüfung ist besonders kritisch für Systeme, die informative Inhalte generieren.

Hinweis auf Schwachstellen: Der Datensatz enthält nachweislich falsche oder irreführende Aussagen, die vom Modell reproduziert werden könnten.

Erwartetes Ergebnis

Ein Datensatz, der den Sicherheitsstandards entspricht, muss folgende messbare Kriterien erfüllen:

• Abwesenheit schädlicher Inhalte: Der Anteil an toxischen, beleidigenden oder voreingenommenen Inhalten (Harmful Content Rate) muss nach den automatisierten Tests unter 1 % liegen
• Ethische Konformität: Alles enthaltene Material muss Richtlinien entsprechen, die Hassrede, Belästigung und andere riskante Inhalte untersagen
• Rückverfolgbarkeit: Jedes erkannte Problem wird in einem Datenqualitätsbericht dokumentiert, der Details zu Ursprung, Art und ergriffenen Korrekturmaßnahmen enthält

Remediation-Maßnahmen

Automatisierte Filter-Pipelines

Implementierung von Filter-Pipelines mit automatischem Scoring, die schädliche Inhalte vor dem Training entfernen oder kennzeichnen. Das System weist Risikoscores zu und wendet konfigurierbare Schwellenwerte für die automatische Entfernung an.

Erwartete Wirkung: Drastische Reduzierung problematischer Inhalte in den endgültigen Datensätzen bei vollständiger Rückverfolgbarkeit der Filterentscheidungen.

Ethische Richtlinien für die Datensammlung

Definition klarer Richtlinien für die Sammlung, Aufnahme und den Ausschluss von Daten. Die Richtlinien müssen objektive Kriterien zur Identifizierung unangemessener Inhalte sowie Eskalationsprozesse für unklare Fälle festlegen.

Erwartete Wirkung: Proaktive Vermeidung der Aufnahme schädlicher Inhalte durch strukturierte Auswahlkriterien.

Blocklisten und Pattern Matching

Verwendung von Blocklisten für toxische Keywords und Hassrede für die erste Filterung. Kombination kuratierter Listen mit semantischem Pattern Matching, um Varianten und Umgehungsversuche zu identifizieren.

Erwartete Wirkung: Schnelle Erkennung explizit schädlicher Inhalte mit einer niedrigen Rate an falsch-negativen Ergebnissen.

Menschliche Überprüfung bei Grenzfällen

Einführung einer menschlichen Überprüfung für automatisch erkannte unklare oder Grenzfälle. Definition klarer Prozesse für die manuelle Bewertung und Dokumentation der Entscheidungen.

Erwartete Wirkung: Reduzierung von falsch-positiven Ergebnissen und kontinuierliche Verbesserung der Erkennungsmodelle durch menschliches Feedback.

Regelmäßige Compliance-Audits

Durchführung regelmäßiger Audits, um die kontinuierliche Konformität der Datensätze mit den Sicherheitsstandards zu gewährleisten. Die Häufigkeit hängt von der Dynamik der Daten ab: Statische Datensätze erfordern jährliche Audits, während kontinuierlich aktualisierte Datensätze vierteljährliche oder monatliche Überprüfungen benötigen.

Erwartete Wirkung: Langfristige Aufrechterhaltung der ethischen Qualität der Datensätze mit frühzeitiger Identifizierung neuer Problematiken.

Empfohlene Tools

• Perspective API: Ein von Google entwickeltes Toxizitäts-Klassifizierungsmodell zur Identifizierung beleidigender Inhalte
• AI Fairness 360: IBM-Toolkit zur Erkennung und Minderung von Bias in Datensätzen und KI-Modellen
• Hugging Face Transformers: Bibliothek zur Implementierung benutzerdefinierter Klassifizierungsmodelle für die Erkennung schädlicher Inhalte
• Detoxify: Open-Source-Modell zur mehrsprachigen Toxizitätserkennung

Nützliche weiterführende Informationen

Diese Referenzen bieten operative Frameworks und Richtlinien zur Implementierung ethischer Qualitätskontrollen für KI-Datensätze:

• OWASP AI Exchange: Framework zur Identifizierung und Minderung von Risiken im Zusammenhang mit Desinformation und schädlichen Inhalten in KI-Systemen
• NIST AI Risk Management Framework: Richtlinien für den ethischen Umgang mit Daten und die Vermeidung von Bias
• Partnership on AI: Best Practices für Inhaltsmoderation und Datenethik

Wie ISGroup unterstützt

ISGroup unterstützt Unternehmen bei der Bewertung und Minderung von Risiken im Zusammenhang mit KI-Datensätzen durch den Service Secure Architecture Review. Das Team analysiert die Architektur von KI-Systemen, identifiziert Schwachstellen in den Datenmanagementprozessen und liefert konkrete Empfehlungen zur Implementierung ethischer Qualitätskontrollen für Datensätze.

Für Organisationen, die umfassendere Bewertungen benötigen, ermöglicht das Risk Assessment die Identifizierung geschäftlicher Risiken im Zusammenhang mit dem Einsatz von KI sowie die systematische Erneuerung von Kontrollen und Verfahren.

Häufig gestellte Fragen

• Welche Tools werden verwendet, um schädliche Inhalte in Datensätzen zu erkennen?
• Zu den Tools gehören Toxizitäts-Klassifizierungsmodelle wie Perspective API, Bias-Analysatoren wie AI Fairness 360, automatisierte Fact-Checking-Systeme sowie maßgeschneiderte Pipelines, die NLP-Techniken mit regelbasierten Blocklisten und Pattern Matching kombinieren.
• Wie geht man mit falsch-positiven Ergebnissen bei der Erkennung schädlicher Inhalte um?
• Falsch-positive Ergebnisse werden durch menschliche Überprüfung von Grenzfällen, Kalibrierung der Scoring-Schwellenwerte, Nutzung von semantischem Kontext zur Disambiguierung und Dokumentation der Entscheidungen behandelt, um die Erkennungsmodelle kontinuierlich zu verbessern.
• Was ist die empfohlene Häufigkeit für Datensatz-Audits?
• Die Häufigkeit hängt von der Dynamik der Daten ab: Statische Datensätze erfordern jährliche Audits, während kontinuierlich aktualisierte Datensätze vierteljährliche oder monatliche Überprüfungen benötigen. Jede signifikante Aktualisierung des Datensatzes sollte einen neuen automatisierten Scan auslösen.
• Ist das Testen auf schädliche Inhalte ausreichend, um die Ethik der KI zu gewährleisten?
• Nein, es ist ein notwendiger, aber nicht ausreichender Bestandteil. KI-Ethik erfordert auch Tests auf algorithmische Verzerrungen (Bias), Fairness, Entscheidungs-Transparenz, Datenschutz und eine umfassende Governance des Modell-Lebenszyklus. Das Testen der Datensätze ist der erste Schritt eines breiteren Ansatzes.

Die Integration von Filter-Pipelines, ethischen Richtlinien und regelmäßigen Audits trägt dazu bei, dass KI-Datensätze Qualitäts- und Sicherheitsstandards erfüllen. Das regelmäßige Testen der Trainingsdaten ist entscheidend, um die Reproduktion schädlicher Inhalte zu verhindern und die ethische Konformität in der Produktion aufrechtzuerhalten.