So schreiben Sie kontextspezifische Moderationsprüfungen für Shieldstral

Eine feste Liste von Schadenskategorien kann ungeeignet werden, wenn sich Zielgruppe oder Zweck eines KI-Produkts ändern. Inhalte, die in einem Forschungswerkzeug für Cybersicherheit vertretbar sind, können auf einer Plattform für psychische Gesundheit schädlich sein. Shieldstral begegnet diesem Problem, indem Entwickler die Richtlinie beim Ausführen des Modells in natürlicher Sprache eingeben können.

Diese Anleitung gilt ausdrücklich für Shieldstral von Mistral AI und nicht allgemein für Le Chat. Shieldstral ist ein unter der Apache-2.0-Lizenz veröffentlichter Sicherheitsklassifikator mit 3 Milliarden Parametern und frei zugänglichen Gewichten. Er bewertet Texte, Bilder sowie kombinierte Text-Bild-Inhalte mithilfe eines einheitlichen Frage-Antwort-Formats.

Jede Prüfung aus drei Teilen aufbauen

Eine Shieldstral-Anfrage besteht aus einer Anweisung, einer Abfrage und einem Dokument. Jeder Teil erfüllt eine eigene Aufgabe.

• <Instruct> legt den Bewertungskontext und die Strenge fest. Dort kann außerdem definiert werden, was als unsicher gelten soll.
• <Query> stellt eine einzelne, mit Ja oder Nein zu beantwortende Frage zu der geprüften Richtlinie.
• <Document> enthält das zu bewertende Material.

Das Dokument kann eine Nutzereingabe, eine Antwort des Assistenten, ein Eingabe-Antwort-Paar oder ein Bild mit optionalem Text sein. Richten Sie die Auswahl nach der konkreten Moderationsaufgabe. Verwenden Sie eine Eingabe, um eine eingehende Anfrage zu prüfen, eine Antwort, um generierte Ausgaben zu kontrollieren, und ein Eingabe-Antwort-Paar, wenn die Beziehung zwischen beiden entscheidend ist.

Richtlinien in präzise Fragen übersetzen

Formulieren Sie die Abfrage so, dass eine Ja-Antwort genau eine eindeutige Bedeutung hat. Die Quelle nennt etwa Fragen danach, ob Inhalte körperliche Gewalt fördern, ob ein Bild für Minderjährige geeignet ist oder ob ein Assistent eine Anfrage abgelehnt hat.

Diese Struktur ist hilfreich, wenn eine Anwendung mehrere Arten von Prüfungen benötigt. Behandeln Sie jede Richtliniengrenze als eigenständige Frage, anstatt voneinander unabhängige Aspekte in einer weit gefassten Abfrage zusammenzufassen. Bei einer gezielten Frage lässt sich die zurückgegebene Wahrscheinlichkeit leichter interpretieren, weil sie einer bestimmten Bedingung entspricht.

Nehmen Sie Kontextangaben in die Anweisung auf. Wenn ein Produkt bei feindseligen Jailbreak-Versuchen streng, bei der Prüfung der Antwortqualität jedoch weniger streng vorgehen soll, geben Sie die für die jeweilige Prüfung angemessene Strenge an. Falls ein Begriff wie unsicher mehrdeutig sein könnte, fügen Sie dort auch die maßgebliche Definition ein.

Da die Richtlinie Teil der Anfrage ist, kann sie ohne erneutes Training von Shieldstral an einen neuen Einsatzkontext angepasst werden. So lässt sich derselbe Modellstand wiederverwenden, während Fragen und Anweisungen auf unterschiedliche Anwendungen oder Zielgruppen zugeschnitten werden.

Den Wert für mehr als nur eine Kennzeichnung nutzen

Während der Inferenz liest Shieldstral die Logits für Ja und Nein aus und erzeugt durch Softmax-Normalisierung einen kontinuierlichen Sicherheitswert. Das Urteil entsteht aus einem einzelnen Token und einem einzigen Vorwärtsdurchlauf.

Dieser Wert ermöglicht zwei praktische Vorgehensweisen. Ein System kann einen Schwellenwert anwenden, wenn es eine Entscheidungsgrenze benötigt, oder bewertete Elemente nach Konfidenz ordnen, wenn Ergebnisse priorisiert werden sollen. Die Quelle schreibt keinen universellen Schwellenwert vor. Das bereitgestellte Material bietet daher keine Grundlage dafür, einen bestimmten Grenzwert als für jedes Produkt richtig anzusehen.

Dieselbe Schnittstelle kann die Klassifizierung von Eingaben, die Moderation von Antworten, die Erkennung von Ablehnungen und die Erkennung toxischer Inhalte abdecken. Richten Sie die Frage stets nach der Aufgabe aus. Bei einer Ablehnungsprüfung sollte gefragt werden, ob der Assistent die Anfrage abgelehnt hat; bei einer Inhaltssicherheitsprüfung sollte die Frage auf die konkrete unsichere Eigenschaft zielen.

Modalität und Kontext zusammenhalten

Stellen Sie bei der Bildmoderation das Bild als Dokument bereit und fügen Sie optional Text hinzu, wenn dieser für die Bewertung relevant ist. Shieldstral verwendet dieselbe natürlichsprachliche Richtlinienschnittstelle für Texte, Bilder und kombinierte Text-Bild-Eingaben. Die Richtlinie muss daher nicht in eine separate, feste Bildtaxonomie übertragen werden.

Nutzen Sie bei der Prüfung von Unterhaltungen ein Eingabe-Antwort-Paar, wenn durch die isolierte Bewertung nur einer Seite notwendiger Kontext verloren ginge. Für eine einfache Prüfung von Ein- oder Ausgaben stellen Sie lediglich die relevante Eingabe beziehungsweise Antwort bereit. So bleibt das Dokument eng auf die Entscheidung abgestimmt, zu der die Abfrage das Modell auffordert.

Prüfen Sie vor der Implementierung das Veröffentlichungsdatum und die aktuelle Shieldstral-Dokumentation, da sich die Funktionen von Anbietern ändern.