Shieldstral向けに状況特化型モデレーションチェックを設計する方法
モデレーション要件を的を絞った質問に落とし込み、関連コンテンツを提供したうえで、Shieldstralの信頼スコアを用いて結果をランク付けまたは閾値判定する方法を解説する。
ひとことで言うと
開発者はMistral AIのShieldstralを使ってコンテンツモデレーションのチェックをどのように構成すべきか。
Shieldstralによるモデレーションチェックでは、評価の文脈と厳格さを明示したうえで、ポリシーに関するイエス・ノー形式の質問を一つだけ用意し、評価対象のコンテンツを提供する。異なるポリシーは別々の質問として扱う。得られたイエス・ノーの確率は連続的な安全性スコアとして扱い、閾値判定や信頼度によるケースのランク付けに利用する。
要点
- 固定された分類体系に頼るのではなく、各モデレーションポリシーを単一のイエス・ノー質問として表現する。
- 展開先の文脈、求める厳格さ、安全でないコンテンツの定義があれば、それらを指示に含める。
- 評価対象の文書として、プロンプト、応答、プロンプトと応答のペア、またはテキストを添えた画像を提供する。
- Shieldstralの連続的なイエス・ノー確率を用いて、判断の閾値設定や信頼度によるケースのランク付けを行う。
- Shieldstralは、新たなポリシーごとに再学習することなく、テキスト、画像、テキストと画像を組み合わせた入力に適用できる。
AI製品の対象ユーザーや目的が変われば、固定された害悪カテゴリーのリストは適合しなくなることがある。サイバーセキュリティ研究ツールでは許容されるコンテンツも、メンタルヘルス向けプラットフォームでは有害となり得る。Shieldstralは、モデルの実行時にポリシーを平易な言葉で入力として与えられるようにすることで、この課題に対応している。
このガイダンスはMistral AIのShieldstralに特化したものであり、Le Chat全般に当てはまるものではない。Shieldstralは、Apache 2.0ライセンスの下で公開された30億パラメータのオープンウェイト安全性分類器である。テキスト、画像、およびテキストと画像を組み合わせた素材を、一つの質疑応答形式で評価する。
すべてのチェックを3つの要素で構成する
Shieldstralへのリクエストは、指示(instruction)、クエリ(query)、文書(document)の3要素で構成される。各要素には明確な役割がある。
<Instruct>は評価の文脈と厳格さを定める。安全でないとみなすべき内容の定義を含めることもできる。<Query>は、検証対象のポリシーについてイエス・ノーで答えられる質問を一つだけ提示する。<Document>は判定対象の素材を含む。
文書には、ユーザーのプロンプト、アシスタントの応答、プロンプトと応答のペア、あるいはテキストを添えた画像を用いることができる。この選択は、実際のモデレーション業務に即して行う必要がある。入力リクエストを審査する場合はプロンプトを、生成された出力を確認する場合は応答を、両者の関係性が重要な場合はプロンプトと応答のペアを用いる。
ポリシーを的を絞った質問に落とし込む
イエスという回答が一つの明確な意味を持つように、クエリを組み立てる。ソースでは、コンテンツが身体的暴力を助長しているか、画像が未成年者にとって安全か、アシスタントが要求を拒否したか、といった質問例が挙げられている。
この構成は、アプリケーションが複数種類のチェックを必要とする場合に有用である。無関係な懸念事項を一つの広範なクエリに詰め込むのではなく、各ポリシーの境界線を個別の質問として扱う。的を絞った質問であれば、返される確率が特定の条件に対応するため、解釈しやすくなる。
文脈上の詳細は指示に盛り込む。敵対的なジェイルブレイクには厳格な対応が必要だが、応答品質のレビューにはより寛容な扱いが適切といった製品であれば、実行するチェックに応じた適切な厳格さを明示する。「安全でない」といった用語に曖昧さが生じ得る場合は、その定義もここに記載する。
ポリシーがリクエスト内に存在するため、Shieldstralを再学習させることなく、新たな展開先の文脈に合わせてポリシーを変更できる。これにより、一つのチェックポイントを使い回しながら、異なるアプリケーションや対象ユーザーに応じて質問や指示を調整することが可能になる。
スコアを単なるラベル以上のものとして活用する
推論時、Shieldstralはイエスとノーそれぞれのロジットを読み取り、ソフトマックス正規化を適用して連続的な安全性スコアを生成する。判定は単一トークン、単一の順伝播で得られる。
このスコアは実務上、二つの活用パターンを支える。判断の境界線が必要な場合は閾値を適用し、結果に優先順位を付ける必要がある場合は信頼度によって評価対象をランク付けできる。ソースは普遍的な閾値を規定していないため、提供された資料からは、あらゆる製品に共通して正しいとされる単一の基準値があるとは言えない。
同一のインターフェースで、プロンプト分類、応答モデレーション、拒否検出、有害性検出をカバーできる。質問はタスクに合わせて設定する。拒否検出のチェックではアシスタントが拒否したかどうかを尋ね、コンテンツの安全性チェックでは特定の安全でない性質について尋ねる。
モダリティと文脈を切り離さない
画像のモデレーションでは、画像を文書として提供し、評価に寄与するテキストがあれば任意で含める。Shieldstralはテキスト、画像、テキストと画像の組み合わせ入力に対して同一の自然言語ポリシーインターフェースを用いるため、ポリシーを別個の固定された画像分類体系に変換し直す必要はない。
会話のレビューでは、片方だけを評価すると必要な文脈が失われる場合に、プロンプトと応答のペアを用いる。単純な入力審査や出力審査であれば、該当するプロンプトまたは応答のみを提供する。これにより、文書はクエリがモデルに求める判断に密接に対応した状態を保てる。
ベンダーの機能は変更され得るため、実装前に公開日と最新のShieldstralドキュメントを確認すること。
よくある質問
- このガイダンスはどの製品に適用されるか。
- Mistral AIのShieldstral、すなわち30億パラメータのオープンウェイト・マルチモーダル安全性分類器に適用される。ソースは、このワークフローをLe Chatの機能としては説明していない。
- モデレーションポリシーが変更された場合、Shieldstralの再学習は必要か。
- 必要ない。ポリシーは推論時に平易な言葉で提供されるため、再学習することなく同一のチェックポイントを別の対象に転用できる。
- Shieldstralはどのようなコンテンツを評価できるか。
- 文書には、プロンプト、応答、プロンプトと応答のペア、あるいはテキストを添えた画像を用いることができる。
- Shieldstralは安全・不安全のラベルのみを返すのか。
- イエスとノーのロジットを読み取り、正規化して連続的な確率に変換する。このスコアは、閾値判定や信頼度に基づくランク付けに活用できる。
出典
- Introducing Shieldstral. | Mistral AI — Mistral AI