Anthropic、AIシステムのレッドチーミング手法を詳説
Anthropic outlined red teaming methods it has used to test AI systems and proposed steps for standardizing safety testing.
ひとことで言うと
Anthropicは、どのようなレッドチーミング手法と政策提言について説明しましたか？
Anthropic detailed several methods it has used to test AI systems, including expert-led, automated, multilingual, multimodal, crowdsourced and community testing. The company also described converting qualitative findings into automated evaluations and urged policymakers to fund standards, support independent testing bodies, certify professional services and facilitate vetted third-party access.
要点
- Anthropic outlined expert-led, automated, multilingual, multimodal, crowdsourced and community-based approaches to red teaming AI systems.
- 同社は、利用ポリシーの対象となるリスクを検証するため、外部の専門家とともにポリシー脆弱性テストを実施していると説明した。
- Anthropic described an iterative process that turns qualitative testing by experts into quantitative, automated evaluations.
- 同社は、技術基準の策定、独立した試験機関、専門的なレッドチームサービスの認証制度、審査を経た第三者によるAIシステムへのアクセスを推奨した。
Anthropicは、AIシステムのテストに用いてきたレッドチーミング手法の概要を公表し、その利点と課題を説明するとともに、安全性テストのさらなる標準化を支えるための施策を提案した。
同社はレッドチーミングを、技術システムに潜む脆弱性を特定するために設計された敵対的テストと定義している。手法や実務が統一されていないため、異なるAIシステムの相対的な安全性を客観的に比較することが難しいとしている。
特定のリスクを対象とする専門家によるテスト
Anthropicによると、分野別の取り組みでは、各領域の専門家を招き、その分野における脆弱性の特定と評価を行っている。トラスト＆セーフティ上のリスクについては、利用ポリシーの対象となるテーマに関し、外部の専門家とともに詳細な定性分析を行う「ポリシー脆弱性テスト」を採用している。
同社は、児童の安全、選挙の公正性、過激化に関する取り組みに参加した組織として、Thorn、Institute for Strategic Dialogue、Global Project Against Hate and Extremismを挙げた。
Anthropicによると、最先端の脅威に関するテストでは、主に化学・生物・放射線・核（CBRN）リスク、サイバーセキュリティ、自律型AIのリスクに重点を置いている。外部の専門家は、実際の利用状況を想定した環境で運用中のClaudeをテストする場合もあれば、異なるリスク軽減策を備えた非商用版を用いる場合もある。
同社はまた、レッドチーミングの取り組みが英語と米国在住者の視点に偏っている状況を改善する手段として、多言語・多文化テストを挙げた。具体例として、シンガポールの情報通信メディア開発庁およびAI Verify Foundationと共同で、英語、タミル語、中国語（標準語）、マレー語を対象に、シンガポールの利用者に関連するテーマも扱ったプロジェクトを紹介している。
自動化・マルチモーダル手法
Anthropicは、モデルを活用して手作業によるテストを補完する方法を検討している。同社の自動化手法では、レッドチームモデルを使って狙った挙動を引き起こしやすい攻撃を生成し、その出力でブルーチームモデルをファインチューニングすることで、類似攻撃に対する堅牢性を高める。同社によると、このサイクルを繰り返すことで新たな攻撃手法を開発できる。
視覚情報を受け取り、テキストで応答するClaude 3について、Anthropicのトラスト＆セーフティチームは、提供開始前に画像およびテキストに起因するリスクをテストした。外部のレッドチーム担当者も、有害な画像やテキストの入力をモデルがどの程度適切に拒否できるかを評価した。
Anthropicはさらに、クラウドソーシングやコミュニティーに基づくテストについても説明した。Claudeの公開前には、クラウドワーカーが管理された環境下での研究に参加したという。また、2023年にDEF CONのAI Villageで開催された「Generative Red Teaming Challenge」では、技術的な経歴を持たない参加者を含む、幅広い年齢層と分野の数千人が、Anthropicや他の研究機関が提供したモデルをテストしたとしている。
定性テストから評価へ
同社は、分野の専門家が脅威モデルを定義し、システムを詳細に検証することから始まる反復的なプロセスを示した。その後、テスターが有効な入力を標準化し、言語モデルが数百から数千のバリエーションを生成する。Anthropicによると、このプロセスを通じて、国家安全保障上のリスクや選挙の公正性を検証するための、拡張可能な評価手法を開発してきた。
Anthropicは政策立案者に対し、技術標準と共通慣行への資金提供、政府および非営利の独立検査機関への支援、認証を受けた専門的なレッドチーミングサービスの奨励、審査済みの外部団体によるテストの促進を提言した。また企業には、レッドチーミングの要件を、モデルの開発継続や公開を規定する方針と連動させるよう求めた。
出典：Anthropicの発表「Challenges in red teaming AI systems」（2024年6月12日公開）。
よくある質問
- What is AI red teaming?
- Anthropicは、レッドチーミングを、技術システムに潜在する脆弱性を特定するための敵対的テストと説明している。
- Which risks does Anthropic examine through expert red teaming?
- 同社によると、その業務は、トラスト＆セーフティに関する政策課題のほか、化学・生物・放射線・核（CBRN）リスク、サイバーセキュリティ、自律型AIのリスクに関連する最先端の脅威を対象としている。
- How does Anthropic use models for automated red teaming?
- Anthropicによると、一方のモデルが標的となる挙動を引き出すための攻撃を生成し、もう一方のモデルはその出力を用いてファインチューニングされ、同様の攻撃に対する堅牢性を高める。このプロセスを繰り返すことで、新たな攻撃手法を開発できる。
- What policy measures did Anthropic recommend?
- Anthropicは、資金提供に関する基準と独立した試験機関の整備、認証を受けた専門的なレッドチーミング・サービスの開発、審査済みの第三者による試験の促進、さらにレッドチーミングの実践をモデルの規模拡大や公開の条件と結びつけることを求めた。
出典
- Challenges in red teaming AI systems \ Anthropic — Anthropic