Databricks、Zeptoの評価優先型カスタマーサポートエージェントの詳細を公開
Databricksによると、ZeptoはDatabricksとMLflowを使い、1日10万件を超えるサポートチケットに対応するAIエージェントを評価・運用している。
ひとことで言うと
ZeptoはDatabricksとMLflowをどのように活用してカスタマーサポートAIエージェントを評価しているのか。
Databricksによると、ZeptoはDatabricksとMLflowを使い、カスタマーサポートエージェント向けの二重ループ評価フレームワークを構築した。このシステムは、開発時のテスト、本番環境の監視、実行トレース、ゴールデンデータセット、デプロイ時の品質ゲートを組み合わせている。Databricksによれば、これらのエージェントは人間の監督下でサポートチケットの80％超を完全に処理している。
要点
- Databricksによると、Zeptoのマルチエージェント型カスタマーサポートシステムは1日10万件を超えるチケットを処理している。
- このフレームワークは品質ゲートを通じて開発ループと本番ループを接続し、本番で発生した障害を後続の開発に反映する。
- Zeptoは、エージェントの挙動をテストするため、MLflowのトレース、評価データセット、自動プロンプト最適化、スコアリングを利用している。
- Databricksによると、AIエージェントは人間の監督下でチケットの80％超を完全に処理し、サポートコストを65％削減した。
- Databricksは、投資回収期間が1カ月未満で、顧客満足度が20％、精度が8％向上したと報告している。
Databricksは、ZeptoがDatabricksとMLflow上でカスタマーサポートAIエージェントを構築・運用するために利用している評価フレームワークの詳細を公開した。同社によると、Zeptoのマルチエージェントシステムは1日10万件を超えるサポートチケットを処理し、AIエージェントが人間の監督下でチケットの80％超を完全に処理している。
Databricksによると、このフレームワークによりZeptoはサポートコストを65％削減し、1カ月未満で投資を回収した。同社はまた、顧客満足度が20％、精度が8％向上し、開発サイクルが3倍高速化、解決までの時間が4倍改善したと報告している。
開発ループと本番ループ
このフレームワークは、品質ゲートで接続された開発ループと本番ループを使う。Databricksは、開発ループを、チームがリリース前にエージェントのバージョンを設計・改良・評価する環境と説明している。本番ループは稼働中の挙動を監視し、デプロイ後の障害を検出する。
フィードバックループは本番で発生した障害を開発に送り返し、品質ゲートはエージェントのバージョンを本番に投入できるか、さらなる作業のために差し戻すべきかを判断する。Databricksによると、障害は自動的に記録され、後続の反復開発に利用される。
このアプローチは実行トレースから始まる。エージェントの呼び出しごとに、プロンプト、生成結果、取得した文書、ツール呼び出し、レイテンシー、判断経路を記録する。Databricksによると、ZeptoはMLflowの自動トレースとカスタムトレース注釈を利用し、トレースは一意の識別子を持つOpenTelemetryスパンとして出力される。MLflowとUnity Catalogの統合により、ログはDeltaテーブルに一元化される。
評価の柱とデータセット
Databricksによると、Zeptoはステークホルダーの要件に基づいて評価の柱を定義している。例として、顧客体験、業務効率、リスクとコンプライアンス、財務的影響が挙げられている。各柱には数値しきい値が設定され、エージェントはデプロイ前にそれを満たさなければならない。
ゴールデンデータセットは、開発時に挙動を評価するための基準となる。通常のケース、エッジケース、障害に加え、ステークホルダーの期待値や、シナリオの種類、事業部門、リスクレベルなどのメタデータを含む。Databricksによると、セキュリティチームはプロンプトインジェクション、ID攻撃、データ流出の試みを含む敵対的な事例を追加できる。
投稿によると、Zeptoは6カ月間でMLflowの評価データセットを500例から2,000例、さらに5,247例へと拡張した。Databricksによれば、開発時と本番時の精度の差は、500例では8ポイントだったが、2,000例で2ポイント、5,247例で0.4ポイントまで縮小した。本番で発生した障害のトレースは、将来のバージョンを評価するためデータセットに追加される。
プロンプトのテストとスコアリング
Databricksによると、Zeptoは手作業で記述したプロンプトだけに頼らず、MLflowのプロンプト最適化も利用している。このプロセスでは、初期プロンプトを登録し、複数のバリエーションを生成・最適化し、デプロイ判断に使うものと同じスコアラーで評価したうえで、最も性能の高い結果をデプロイする。
Databricksによると、最適化処理では内省に高性能なモデルを使い、本番候補のスコアリングにはより安価なモデルを使う。候補プロンプトは本番に到達する前にゴールデンデータセットと照合して測定される。このフレームワークは、エージェント品質について設定した評価軸に沿って、本番トレースもスコアリングする。
出典：Databricks「Evaluation-First AI Agents: How Zepto Scales Customer Support on Databricks and MLflow」、2026年9月9日公開。
よくある質問
- DatabricksはZeptoのカスタマーサポートシステムについて何を発表したのか。
- Databricksは、ZeptoがDatabricksとMLflow上でカスタマーサポートAIエージェント向けの評価優先型フレームワークを構築した経緯を説明した。
- このシステムは何件のサポートチケットを処理するのか。
- Databricksによると、Zeptoのマルチエージェントシステムは1日10万件を超えるサポートチケットを処理している。
- 二重ループのアーキテクチャとは何か。
- 開発ループと本番ループを品質ゲートで接続する構成だ。フィードバックループによって本番の障害を開発に戻し、後続の反復に活用する。
- Databricksはどのような成果を報告したのか。
- Databricksによると、AIエージェントは人間の監督下でチケットの80％超を完全に処理している。また、サポートコストが65％低下し、投資回収期間が1カ月未満、顧客満足度が20％、精度が8％向上したと報告している。