Databricks detalla los agentes de atención al cliente de Zepto, centrados en la evaluación

Databricks publicó detalles de un marco de evaluación que Zepto utiliza para crear y operar agentes de IA de atención al cliente en Databricks y MLflow. Según la empresa, el sistema multiagente de Zepto procesa más de 100.000 tickets de soporte al día, y los agentes de IA gestionan por completo más del 80 % de ellos bajo supervisión humana.

Databricks afirma que el marco ayudó a Zepto a reducir los costes de soporte un 65 % y a recuperar la inversión en menos de un mes. La empresa también informa de una mejora del 20 % en la satisfacción del cliente, del 8 % en la precisión, de ciclos de desarrollo tres veces más rápidos y de una mejora de cuatro veces en el tiempo de resolución.

Bucles de desarrollo y producción

El marco utiliza bucles separados de desarrollo y producción, conectados mediante un control de calidad. Databricks describe el bucle de desarrollo como el entorno en el que los equipos diseñan, revisan y evalúan versiones de los agentes antes de su lanzamiento. El bucle de producción supervisa el comportamiento en vivo y detecta fallos después del despliegue.

Un bucle de retroalimentación devuelve los fallos de producción al desarrollo, mientras que el control de calidad determina si una versión del agente puede pasar a producción o debe volver para seguir trabajando en ella. Databricks afirma que los fallos se capturan automáticamente y se utilizan en iteraciones posteriores.

El enfoque comienza con el trazado de la ejecución. Cada invocación del agente registra las indicaciones, las respuestas generadas, los documentos recuperados, las llamadas a herramientas, la latencia y las rutas de decisión. Databricks afirma que Zepto utiliza el trazado automático de MLflow y anotaciones de trazas personalizadas, y que las trazas se emiten como tramos de OpenTelemetry con identificadores únicos. La integración de MLflow con Unity Catalog centraliza los registros en tablas Delta.

Pilares de evaluación y conjuntos de datos

Según Databricks, Zepto define los pilares de evaluación a partir de los requisitos de las partes interesadas. Los ejemplos indicados abarcan la experiencia del cliente, la eficiencia operativa, el riesgo y el cumplimiento, y el impacto financiero. Cada pilar recibe umbrales numéricos que el agente debe alcanzar antes del despliegue.

Un conjunto de datos de referencia sirve como punto de comparación para evaluar el comportamiento durante el desarrollo. Incluye casos rutinarios, casos límite y fallos, además de las expectativas de las partes interesadas y metadatos como el tipo de escenario, la línea de negocio y el nivel de riesgo. Databricks afirma que los equipos de seguridad pueden aportar ejemplos adversariales relacionados con inyección de instrucciones, ataques de identidad e intentos de extracción de datos.

En seis meses, Zepto amplió su conjunto de datos de evaluación de MLflow de 500 ejemplos a 2.000 y después a 5.247, según la publicación. Databricks afirma que la diferencia entre la precisión en desarrollo y en producción disminuyó de ocho puntos con 500 ejemplos a dos puntos con 2.000 ejemplos y a 0,4 puntos con 5.247 ejemplos. Las trazas de fallos en producción se incorporan al conjunto de datos para evaluar versiones futuras.

Pruebas y puntuación de indicaciones

Databricks afirma que Zepto también utiliza la optimización de indicaciones de MLflow, en lugar de depender únicamente de indicaciones redactadas manualmente. El proceso registra una indicación inicial, genera y optimiza variantes, las evalúa con los mismos criterios utilizados para las decisiones de despliegue y despliega el resultado de mayor rendimiento.

Según Databricks, el optimizador utiliza un modelo más potente para la reflexión y otro menos costoso para puntuar los candidatos destinados a producción. Las indicaciones candidatas se miden con el conjunto de datos de referencia antes de llegar a producción. El marco también puntúa las trazas de producción según las dimensiones de evaluación establecidas para la calidad del agente.

Fuente: «Evaluation-First AI Agents: How Zepto Scales Customer Support on Databricks and MLflow», de Databricks, publicada el 9 de septiembre de 2026.