Databricks beschreibt Zeptos Kundenservice-Agenten, bei denen Evaluation an erster Stelle steht
Databricks says Zepto uses Databricks and MLflow to evaluate and operate AI agents handling more than 100,000 support tickets daily.
Kurze Antwort
Wie nutzt Zepto Databricks und MLflow, um seine KI-Agenten im Kundensupport zu bewerten?
Databricks says Zepto built a dual-loop evaluation framework for customer support agents using Databricks and MLflow. The system combines development testing, production monitoring, execution traces, golden datasets and deployment quality gates. According to Databricks, the agents fully manage more than 80% of support tickets with human oversight.
Das Wichtigste
- Databricks says Zepto’s multi-agent customer support system processes more than 100,000 tickets per day.
- Das Rahmenwerk verbindet Entwicklungs- und Produktionszyklen über eine Qualitätsprüfung; Produktionsfehler fließen in die weitere Entwicklung ein.
- Zepto uses MLflow traces, evaluation datasets, automated prompt optimization and scoring to test agent behavior.
- Laut Databricks bearbeiten KI-Agenten mehr als 80 % der Support-Tickets vollständig unter menschlicher Aufsicht und haben die Supportkosten um 65 % gesenkt.
- Databricks reports a payback period of less than one month, a 20% improvement in customer satisfaction and an 8% improvement in accuracy.
Databricks veröffentlichte Einzelheiten zu einem Evaluierungsrahmen, mit dem Zepto Kundenservice-KI-Agenten auf Databricks und MLflow entwickelt und betreibt. Nach Angaben des Unternehmens verarbeitet Zeptos Multi-Agenten-System täglich mehr als 100.000 Support-Tickets; dabei verwalten KI-Agenten unter menschlicher Aufsicht mehr als 80 % der Tickets vollständig.
Databricks zufolge half der Rahmen Zepto, die Supportkosten um 65 % zu senken und die Amortisation in weniger als einem Monat zu erreichen. Das Unternehmen berichtet außerdem von einer um 20 % höheren Kundenzufriedenheit, einer um 8 % gesteigerten Genauigkeit, dreimal schnelleren Entwicklungszyklen und einer Vervierfachung der Geschwindigkeit bis zur Problemlösung.
Entwicklungs- und Produktionsschleifen
Der Rahmen nutzt getrennte Entwicklungs- und Produktionsschleifen, die durch ein Qualitätstor verbunden sind. Databricks beschreibt die Entwicklungsschleife als Umgebung, in der Teams Agentenversionen vor ihrer Freigabe entwerfen, überarbeiten und evaluieren. Die Produktionsschleife überwacht das Verhalten im Live-Betrieb und erkennt nach der Bereitstellung auftretende Fehler.
Eine Feedbackschleife leitet Produktionsfehler zurück in die Entwicklung, während das Qualitätstor entscheidet, ob eine Agentenversion in die Produktion gelangen darf oder zur weiteren Bearbeitung zurückgestellt werden muss. Databricks zufolge werden Fehler automatisch erfasst und in späteren Iterationen verwendet.
Der Ansatz beginnt mit der Ausführungsprotokollierung. Jeder Aufruf eines Agenten erfasst Prompts, Vervollständigungen, abgerufene Dokumente, Tool-Aufrufe, Latenzzeiten und Entscheidungswege. Databricks zufolge verwendet Zepto die automatische Protokollierung von MLflow und benutzerdefinierte Anmerkungen zu den Protokollen; die Protokolle werden als OpenTelemetry-Spans mit eindeutigen Identifikatoren ausgegeben. Die Integration von MLflow in Unity Catalog zentralisiert die Logs in Delta-Tabellen.
Evaluierungssäulen und Datensätze
Zepto definiert Databricks zufolge Evaluierungssäulen auf Grundlage der Anforderungen der Stakeholder. Die genannten Beispiele umfassen Kundenerlebnis, operative Effizienz, Risiko und Compliance sowie finanzielle Auswirkungen. Jede Säule erhält numerische Schwellenwerte, die ein Agent vor seiner Bereitstellung erreichen muss.
Ein Golden-Datensatz dient als Referenz für die Bewertung des Verhaltens während der Entwicklung. Er umfasst Routinefälle, Grenzfälle und Fehler sowie die Erwartungen der Stakeholder und Metadaten wie Szenariotyp, Geschäftsbereich und Risikostufe. Databricks zufolge können Sicherheitsteams kontradiktorische Beispiele beisteuern, etwa zu Prompt-Injection, Identitätsangriffen und versuchten Datenabflüssen.
Über einen Zeitraum von sechs Monaten erweiterte Zepto seinen MLflow-Evaluierungsdatensatz laut dem Beitrag von 500 Beispielen auf 2.000 und anschließend auf 5.247. Databricks zufolge sank der Unterschied zwischen der Genauigkeit in Entwicklung und Produktion von acht Prozentpunkten bei 500 Beispielen auf zwei Prozentpunkte bei 2.000 Beispielen und 0,4 Prozentpunkte bei 5.247 Beispielen. Produktionsfehlerprotokolle werden dem Datensatz hinzugefügt, um künftige Versionen zu evaluieren.
Prompt-Tests und Bewertung
Databricks zufolge nutzt Zepto außerdem die Prompt-Optimierung von MLflow, statt sich ausschließlich auf manuell verfasste Prompts zu verlassen. Dabei wird zunächst ein Prompt registriert, anschließend werden Varianten erzeugt und optimiert, mit denselben Scorern bewertet, die für Bereitstellungsentscheidungen verwendet werden, und schließlich das leistungsstärkste Ergebnis bereitgestellt.
Laut Databricks verwendet der Optimierer ein leistungsfähigeres Modell für die Reflexion und ein kostengünstigeres Modell zur Bewertung von Produktionskandidaten. Kandidaten-Prompts werden anhand des Golden-Datensatzes gemessen, bevor sie die Produktion erreichen. Der Rahmen bewertet zudem Produktionsprotokolle entlang der für die Qualität der Agenten festgelegten Evaluierungsdimensionen.
Quelle: Databricks, „Evaluation-First AI Agents: How Zepto Scales Customer Support on Databricks and MLflow“, veröffentlicht am 9. September 2026.
Häufige Fragen
- Was gab Databricks über Zeptos Kundensupportsystem bekannt?
- Databricks described how Zepto built an evaluation-first framework for customer support AI agents on Databricks and MLflow.
- Wie viele Support-Tickets verarbeitet das System?
- Databricks says Zepto’s multi-agent system processes more than 100,000 support tickets each day.
- What is the dual-loop architecture?
- It consists of a development loop and a production loop connected by a quality gate. A feedback loop returns production failures to development for later iterations.
- Welche Ergebnisse hat Databricks gemeldet?
- Databricks says AI agents fully manage more than 80% of tickets with human oversight. It also reports 65% lower support costs, payback in less than one month, a 20% improvement in customer satisfaction and an 8% improvement in accuracy.