Anthropic、AIによる被害を評価する枠組みの詳細を公表

Anthropic、被害評価の枠組みを公表

Anthropicは、生物学的脅威などの破滅的リスクから、子どもの安全、偽情報、詐欺といった懸念まで、自社のAIシステムがもたらし得るさまざまな被害を評価・軽減するため、現在も発展を続けるアプローチを共有すると発表した。

同社によると、この枠組みは破滅的リスクに特化した「責任あるスケーリング方針」を補完し、その他の影響もより幅広く検討するものだ。Anthropicは、このアプローチはなお発展途上にあり、今後も更新される現時点での考え方を公開したとしている。

被害を捉える5つの側面

Anthropicは、潜在的な影響を以下の5つの基本的側面から評価するとしている。

• 身体的影響：身体の健康と福祉への影響
• 心理的影響：精神的健康と認知機能への影響
• 経済的影響：金銭的な結果と財産に関する影響
• 社会的影響：地域社会、制度、社会共通の仕組みへの影響
• 個人の自律性への影響：個人の意思決定と自由への影響

同社は各側面について、発生可能性、規模、影響を受ける人々、持続期間、因果関係、被害に対する技術の寄与度、軽減策の実現可能性などを検討するとしている。

Anthropicは、この枠組みで特定したリスクを、複数の対策を組み合わせて管理している。具体的には、利用規約、公開前後に実施するレッドチーミングや敵対的テストなどの評価、不正利用の特定を目的とする検知技術、プロンプトの修正からアカウントの停止までを含む措置を挙げている。

適用事例

Anthropicは、この枠組みを適用した事例を2つ紹介した。

モデルがコンピューターのインターフェースを操作できる「computer use」機能について、同社は、無許可の自動化が詐欺や不正操作を助長しかねない金融ソフトウェアや銀行プラットフォームに関連するリスクのほか、標的型の影響工作やフィッシングに悪用される可能性がある通信ツールについて検討したとしている。この分析を受け、Anthropicは規制措置を講じる基準をより厳格に設定し、プライバシー基準を維持しながら被害を検知できる手法だとする「階層的要約」を導入した。

同社はまた、明らかに無害な依頼と明らかに有害な依頼の中間に位置する要求をモデルがどう扱うかを対象とした「モデルの応答境界」に関する取り組みも説明した。Anthropicによると、有用性を高めるよう訓練されたモデルは有害な行動に傾くことがある一方、無害性を過度に重視するモデルは、無害な依頼であっても情報提供を拒む場合がある。Claude 3.7 Sonnetでは、この連続的な範囲に沿ってさまざまな種類の依頼を評価し、曖昧なプロンプトの処理方法を変更。拒否するのではなく、安全かつ有用な回答を優先するようにしたという。Anthropicによると、その結果、有害コンテンツに対する強固な安全対策を維持しながら、不必要な拒否を45％削減した。この種の分析は、子ども、社会的に疎外されたコミュニティー、危機的状況にある人々など、リスクが特に高い可能性があると同社が特定した集団について、安全性評価の重点をどこに置くかを決める際にも活用されているという。

今後も進化

Anthropicは、被害を理解し対処するためのこのアプローチは、同社のより広範な安全戦略を構成する要素の一つだと説明した。AIシステムの能力が高まるにつれ、新たな課題が生じると見込んでいる。同社は研究者、政策専門家、業界パートナーに協力を呼びかけ、連絡先としてusersafety@anthropic.comを案内している。

出典：Anthropic「AIによる被害の理解と対処に向けた当社のアプローチ」、2025年4月21日公開。