Databricks เผยรายละเอียดเกี่ยวกับเอเจนต์ฝ่ายสนับสนุนลูกค้าของ Zepto ที่ให้ความสำคัญกับการประเมินผลเป็นอันดับแรก
Databricks says Zepto uses Databricks and MLflow to evaluate and operate AI agents handling more than 100,000 support tickets daily.
คำตอบโดยย่อ
Zepto ใช้ Databricks และ MLflow ในการประเมินระบบเอเจนต์ AI สำหรับการสนับสนุนลูกค้าอย่างไร?
Databricks says Zepto built a dual-loop evaluation framework for customer support agents using Databricks and MLflow. The system combines development testing, production monitoring, execution traces, golden datasets and deployment quality gates. According to Databricks, the agents fully manage more than 80% of support tickets with human oversight.
ประเด็นสำคัญ
- Databricks says Zepto’s multi-agent customer support system processes more than 100,000 tickets per day.
- กรอบการทำงานนี้เชื่อมโยงวงจรการพัฒนาและการผลิตผ่านด่านตรวจสอบคุณภาพ โดยนำข้อผิดพลาดที่เกิดขึ้นในการผลิตไปปรับใช้กับการพัฒนาในขั้นตอนถัดไป
- Zepto uses MLflow traces, evaluation datasets, automated prompt optimization and scoring to test agent behavior.
- ตามข้อมูลของ Databricks เอเจนต์ AI สามารถจัดการตั๋วงานได้มากกว่า 80% โดยมีมนุษย์คอยกำกับดูแล และช่วยลดค่าใช้จ่ายด้านการสนับสนุนลง 65%
- Databricks reports a payback period of less than one month, a 20% improvement in customer satisfaction and an 8% improvement in accuracy.
Databricks เผยรายละเอียดกรอบการประเมินที่ Zepto ใช้สร้างและดำเนินงานเอเจนต์ AI สำหรับสนับสนุนลูกค้าบน Databricks และ MLflow บริษัทระบุว่า ระบบหลายเอเจนต์ของ Zepto ประมวลผลทิกเก็ตสนับสนุนมากกว่า 100,000 รายการต่อวัน โดยเอเจนต์ AI จัดการทิกเก็ตมากกว่า 80% ได้อย่างเต็มรูปแบบภายใต้การกำกับดูแลของมนุษย์
Databricks ระบุว่า กรอบการทำงานดังกล่าวช่วยให้ Zepto ลดต้นทุนการสนับสนุนลง 65% และคืนทุนได้ภายในเวลาไม่ถึงหนึ่งเดือน นอกจากนี้ บริษัทยังรายงานว่า ความพึงพอใจของลูกค้าดีขึ้น 20% ความแม่นยำดีขึ้น 8% รอบการพัฒนาเร็วขึ้นสามเท่า และระยะเวลาจนกว่าจะแก้ไขปัญหาเสร็จสมบูรณ์ดีขึ้นสี่เท่า
วงจรการพัฒนาและการใช้งานจริง
กรอบการทำงานนี้ใช้แยกวงจรการพัฒนาและการใช้งานจริงออกจากกัน โดยเชื่อมโยงผ่านด่านควบคุมคุณภาพ Databricks อธิบายว่า วงจรการพัฒนาเป็นสภาพแวดล้อมที่ทีมงานออกแบบ ปรับปรุง และประเมินเวอร์ชันต่าง ๆ ของเอเจนต์ก่อนเผยแพร่ ส่วนวงจรการใช้งานจริงจะติดตามพฤติกรรมที่เกิดขึ้นจริงและตรวจจับความล้มเหลวหลังการนำไปใช้งาน
วงจรป้อนกลับจะส่งความล้มเหลวจากการใช้งานจริงกลับเข้าสู่การพัฒนา ขณะที่ด่านควบคุมคุณภาพจะเป็นผู้ตัดสินว่าเวอร์ชันของเอเจนต์สามารถเข้าสู่การใช้งานจริงได้หรือจำเป็นต้องย้อนกลับไปพัฒนาต่อ Databricks ระบุว่า ความล้มเหลวจะถูกบันทึกโดยอัตโนมัติและนำไปใช้ในการทำซ้ำครั้งต่อ ๆ ไป
แนวทางนี้เริ่มต้นด้วยการติดตามการทำงาน ทุกครั้งที่เอเจนต์ถูกเรียกใช้งานจะบันทึกพรอมป์ การตอบกลับ เอกสารที่ค้นคืน การเรียกใช้เครื่องมือ เวลาแฝง และเส้นทางการตัดสินใจ Databricks ระบุว่า Zepto ใช้การติดตามอัตโนมัติของ MLflow และคำอธิบายประกอบการติดตามแบบกำหนดเอง โดยส่งข้อมูลการติดตามออกมาเป็นสแปนของ OpenTelemetry ที่มีตัวระบุเฉพาะ การผสานรวม MLflow กับ Unity Catalog ช่วยรวมบันทึกทั้งหมดไว้ในตาราง Delta
เสาหลักการประเมินและชุดข้อมูล
ตามข้อมูลของ Databricks Zepto กำหนดเสาหลักการประเมินโดยอิงจากข้อกำหนดของผู้มีส่วนได้ส่วนเสีย ตัวอย่างที่ระบุครอบคลุมประสบการณ์ลูกค้า ประสิทธิภาพการดำเนินงาน ความเสี่ยงและการปฏิบัติตามข้อกำหนด ตลอดจนผลกระทบทางการเงิน แต่ละเสาหลักจะได้รับเกณฑ์ตัวเลขที่เอเจนต์ต้องผ่านก่อนนำไปใช้งาน
ชุดข้อมูลมาตรฐานทำหน้าที่เป็นข้อมูลอ้างอิงสำหรับประเมินพฤติกรรมระหว่างการพัฒนา โดยประกอบด้วยกรณีปกติ กรณีขอบเขต และกรณีล้มเหลว รวมถึงความคาดหวังของผู้มีส่วนได้ส่วนเสียและข้อมูลเมทาดาทา เช่น ประเภทสถานการณ์ สายธุรกิจ และระดับความเสี่ยง Databricks ระบุว่า ทีมความปลอดภัยสามารถเพิ่มตัวอย่างเชิงโจมตีที่เกี่ยวข้องกับการฉีดพรอมป์ การโจมตีข้อมูลระบุตัวตน และความพยายามลักลอบนำข้อมูลออกได้
ตลอดระยะเวลาหกเดือน Zepto ขยายชุดข้อมูลการประเมิน MLflow จาก 500 ตัวอย่างเป็น 2,000 ตัวอย่าง และเพิ่มเป็น 5,247 ตัวอย่าง ตามข้อมูลในบทความ Databricks ระบุว่า ช่องว่างระหว่างความแม่นยำในการพัฒนาและการใช้งานจริงลดลงจาก 8 จุดเมื่อมี 500 ตัวอย่าง เหลือ 2 จุดเมื่อมี 2,000 ตัวอย่าง และ 0.4 จุดเมื่อมี 5,247 ตัวอย่าง ข้อมูลการติดตามความล้มเหลวจากการใช้งานจริงจะถูกเพิ่มเข้าไปในชุดข้อมูล เพื่อใช้ประเมินเวอร์ชันในอนาคต
การทดสอบพรอมป์และการให้คะแนน
Databricks ระบุว่า Zepto ยังใช้การเพิ่มประสิทธิภาพพรอมป์ของ MLflow แทนการพึ่งพาพรอมป์ที่เขียนด้วยมือเพียงอย่างเดียว กระบวนการนี้จะลงทะเบียนพรอมป์เริ่มต้น สร้างและปรับปรุงตัวแปรทางเลือก ประเมินด้วยตัวให้คะแนนชุดเดียวกับที่ใช้ตัดสินใจนำไปใช้งาน และนำผลลัพธ์ที่มีประสิทธิภาพสูงสุดไปใช้งาน
ตามข้อมูลของ Databricks เครื่องมือเพิ่มประสิทธิภาพใช้โมเดลที่มีความสามารถสูงกว่าในการทบทวน และใช้โมเดลที่มีต้นทุนต่ำกว่าเพื่อให้คะแนนผู้สมัครสำหรับการใช้งานจริง พรอมป์ที่เป็นผู้สมัครจะถูกวัดเทียบกับชุดข้อมูลมาตรฐานก่อนเข้าสู่การใช้งานจริง กรอบการทำงานนี้ยังให้คะแนนข้อมูลการติดตามจากการใช้งานจริงตามมิติการประเมินที่กำหนดไว้สำหรับคุณภาพของเอเจนต์
แหล่งที่มา: “Evaluation-First AI Agents: How Zepto Scales Customer Support on Databricks and MLflow” ของ Databricks เผยแพร่เมื่อวันที่ 9 กันยายน 2026
คำถามที่พบบ่อย
- Databricks ประกาศอะไรเกี่ยวกับระบบสนับสนุนลูกค้าของ Zepto?
- Databricks described how Zepto built an evaluation-first framework for customer support AI agents on Databricks and MLflow.
- ระบบประมวลผลตั๋วสนับสนุนกี่รายการ?
- Databricks says Zepto’s multi-agent system processes more than 100,000 support tickets each day.
- สถาปัตยกรรมแบบวงจรคู่คืออะไร?
- It consists of a development loop and a production loop connected by a quality gate. A feedback loop returns production failures to development for later iterations.
- Databricks รายงานผลอะไรบ้าง?
- Databricks says AI agents fully manage more than 80% of tickets with human oversight. It also reports 65% lower support costs, payback in less than one month, a 20% improvement in customer satisfaction and an 8% improvement in accuracy.