Databricks, Zepto의 평가 우선형 고객 지원 에이전트 상세 공개
Databricks says Zepto uses Databricks and MLflow to evaluate and operate AI agents handling more than 100,000 support tickets daily.
한 줄 답
Zepto는 고객 지원 AI 에이전트를 평가하기 위해 Databricks와 MLflow를 어떻게 활용하나요?
Databricks says Zepto built a dual-loop evaluation framework for customer support agents using Databricks and MLflow. The system combines development testing, production monitoring, execution traces, golden datasets and deployment quality gates. According to Databricks, the agents fully manage more than 80% of support tickets with human oversight.
핵심 요약
- Databricks says Zepto’s multi-agent customer support system processes more than 100,000 tickets per day.
- 이 프레임워크는 품질 게이트를 통해 개발과 생산의 순환 고리를 연결하고, 생산 과정에서 발생한 실패를 후속 개발에 반영한다.
- Zepto uses MLflow traces, evaluation datasets, automated prompt optimization and scoring to test agent behavior.
- Databricks에 따르면 AI 에이전트는 인간의 감독 아래 티켓의 80% 이상을 전적으로 처리하며 지원 비용을 65% 절감했습니다.
- Databricks reports a payback period of less than one month, a 20% improvement in customer satisfaction and an 8% improvement in accuracy.
Databricks는 Zepto가 Databricks와 MLflow에서 고객 지원 AI 에이전트를 구축하고 운영하는 데 사용하는 평가 프레임워크의 세부 내용을 공개했다. 회사에 따르면 Zepto의 멀티 에이전트 시스템은 하루 10만 건이 넘는 지원 티켓을 처리하며, 사람의 감독 아래 AI 에이전트가 티켓의 80% 이상을 전적으로 관리한다.
Databricks는 이 프레임워크를 통해 Zepto가 지원 비용을 65% 절감하고 한 달이 채 되지 않아 투자금을 회수했다고 밝혔다. 또한 고객 만족도는 20%, 정확도는 8% 향상됐으며, 개발 주기는 3배 빨라지고 문제 해결까지 걸리는 시간은 4배 개선됐다고 전했다.
개발 및 프로덕션 루프
이 프레임워크는 품질 게이트로 연결된 개발 루프와 프로덕션 루프를 পৃথ개로 운영한다. Databricks는 개발 루프를 팀이 에이전트 버전을 출시하기 전에 설계·수정·평가하는 환경으로 설명한다. 프로덕션 루프는 배포 후 실시간 동작을 모니터링하고 장애를 감지한다.
피드백 루프는 프로덕션에서 발생한 장애를 개발 단계로 되돌려보내며, 품질 게이트는 에이전트 버전을 프로덕션에 투입할지 아니면 추가 작업을 위해 되돌릴지를 결정한다. Databricks는 장애가 자동으로 수집돼 이후 반복 작업에 활용된다고 밝혔다.
이 접근법은 실행 추적에서 시작된다. 각 에이전트 호출은 프롬프트, 완료 결과, 검색된 문서, 도구 호출, 지연 시간, 의사결정 경로를 기록한다. Databricks에 따르면 Zepto는 MLflow의 자동 추적 기능과 사용자 정의 추적 주석을 사용하며, 추적 정보는 고유 식별자를 담은 OpenTelemetry 스팬으로 생성된다. MLflow와 Unity Catalog의 통합으로 로그는 Delta 테이블에 중앙화된다.
평가 기준과 데이터셋
Databricks에 따르면 Zepto는 이해관계자의 요구사항을 바탕으로 평가 기준을 정의한다. 제시된 사례에는 고객 경험, 운영 효율성, 위험 및 규정 준수, 재무적 영향이 포함된다. 각 기준에는 에이전트가 배포 전에 충족해야 하는 수치 임계값이 부여된다.
골든 데이터셋은 개발 단계에서 동작을 평가하기 위한 기준 데이터로 사용된다. 여기에는 일반적인 사례와 예외 사례, 장애 사례를 비롯해 이해관계자의 기대치와 시나리오 유형, 사업 부문, 위험 수준 등의 메타데이터가 포함된다. Databricks는 보안팀이 프롬프트 인젝션, 신원 공격, 데이터 유출 시도와 관련된 적대적 사례를 추가할 수 있다고 밝혔다.
게시물에 따르면 Zepto는 6개월 동안 MLflow 평가 데이터셋을 500개 예시에서 2,000개, 이후 5,247개로 확대했다. Databricks는 개발 단계와 프로덕션 단계의 정확도 차이가 500개 예시에서 8%포인트였던 것에서 2,000개 예시에서는 2%포인트, 5,247개 예시에서는 0.4%포인트로 줄었다고 밝혔다. 프로덕션에서 발생한 장애 추적 정보는 향후 버전을 평가하기 위해 데이터셋에 추가된다.
프롬프트 테스트와 점수 산정
Databricks에 따르면 Zepto는 사람이 직접 작성한 프롬프트에만 의존하지 않고 MLflow의 프롬프트 최적화 기능도 사용한다. 이 과정에서는 초기 프롬프트를 등록한 뒤 변형을 생성하고 최적화하며, 배포 여부를 결정할 때 사용하는 것과 동일한 평가기로 이를 평가한 다음 성능이 가장 높은 결과를 배포한다.
Databricks에 따르면 최적화기는 성찰 과정에 더 강력한 모델을 사용하고, 프로덕션 후보를 평가하는 데는 비용이 더 낮은 모델을 사용한다. 후보 프롬프트는 프로덕션에 도달하기 전에 골든 데이터셋을 기준으로 측정된다. 이 프레임워크는 에이전트 품질을 위해 설정된 평가 차원 전반에서 프로덕션 추적 정보에도 점수를 매긴다.
출처: 2026년 9월 9일 발행된 Databricks의 “평가 우선 AI 에이전트: Zepto가 Databricks와 MLflow에서 고객 지원을 확장하는 방법”.
자주 묻는 질문
- Databricks는 Zepto의 고객 지원 시스템에 대해 무엇을 발표했습니까?
- Databricks described how Zepto built an evaluation-first framework for customer support AI agents on Databricks and MLflow.
- How many support tickets does the system process?
- Databricks says Zepto’s multi-agent system processes more than 100,000 support tickets each day.
- 이중 루프 아키텍처란 무엇인가?
- It consists of a development loop and a production loop connected by a quality gate. A feedback loop returns production failures to development for later iterations.
- Databricks는 어떤 실적을 발표했나요?
- Databricks says AI agents fully manage more than 80% of tickets with human oversight. It also reports 65% lower support costs, payback in less than one month, a 20% improvement in customer satisfaction and an 8% improvement in accuracy.