AWS เผยรายละเอียดวิธีที่ AgentCore Evaluations และ DevOps Agent เฝ้าติดตามการทำงานของ AI Agent ในสภาพแวดล้อมจริง

AWS เผยแพร่บทความในบล็อกอธิบายว่าเครื่องมือสองตัวของบริษัท ได้แก่ Amazon Bedrock AgentCore Evaluations และ AWS DevOps Agent สามารถนำมาใช้ร่วมกันเพื่อเฝ้าติดตามเอเจนต์ AI ที่ทำงานอยู่ในสภาพแวดล้อมจริงได้อย่างไร

ปัญหาที่ AWS อธิบายไว้

AWS ระบุว่าระบบมัลติเอเจนต์ที่ใช้งานจริงมักเกิดความล้มเหลวในรูปแบบที่การเฝ้าติดตามแบบดั้งเดิมตรวจจับไม่ได้ บริษัทยกตัวอย่างไว้สองกรณี กรณีแรกคือเอเจนต์ที่ไม่สามารถเรียกใช้ foundation model ของตนได้และส่งคืนคำตอบว่างเปล่า อันเป็นผลจากการขาดสิทธิ์ AWS Identity and Access Management (IAM) ที่จำเป็น โดยไม่มีข้อผิดพลาด 500 เกิดขึ้นให้เห็น กรณีที่สองคือเอเจนต์ผู้ควบคุมดูแล (supervisor agent) ที่มีการกำหนดขอบเขตพรอมป์ไม่รัดกุม จนเริ่มส่งคำขอราว 20 เปอร์เซ็นต์ไปยังผู้เชี่ยวชาญที่ผิดประเภท ทั้งที่ตัวชี้วัดด้านโครงสร้างพื้นฐานยังคงแสดงผลปกติ

AWS ระบุว่าเครื่องมือเฝ้าติดตามโครงสร้างพื้นฐานอย่าง Amazon CloudWatch สามารถยืนยันได้เพียงว่าระบบทำงานถูกต้องตามกระบวนการ แต่ไม่สามารถบอกได้ว่าเอเจนต์นั้นช่วยให้ผู้ใช้บรรลุเป้าหมายจริงหรือไม่ บริษัทเขียนไว้ว่าเอเจนต์อาจเรียกใช้ Amazon Bedrock ได้สำเร็จ เรียกใช้เครื่องมือทุกตัวโดยไม่มีข้อผิดพลาดใดๆ แต่ก็ยังส่งคืนคำตอบที่เข้าใจความต้องการของผู้ใช้ผิดพลาดได้อยู่ดี AWS ยังยกกรณีของเอเจนต์สำหรับจองตั๋วที่จู่ๆ ก็หยุดทำการจองให้สำเร็จ ทั้งที่บันทึกระบบแสดงว่าการเรียกใช้เครื่องมือต่างๆ สำเร็จทุกขั้นตอน เนื่องจากความล้มเหลวเกิดขึ้นลึกเข้าไปในลำดับการเรียกใช้ถึงสามชั้น จนไม่มีข้อผิดพลาดใดปรากฏออกมาให้เห็น

AWS ระบุว่าปัญหาเหล่านี้ยิ่งทวีความซับซ้อนขึ้นในระบบมัลติเอเจนต์ ซึ่งคำขอเพียงหนึ่งรายการสามารถกระตุ้นให้เอเจนต์ผู้ควบคุมดูแลกระจายงานไปยังผู้เชี่ยวชาญหลายราย โดยแต่ละรายมีเครื่องมือและการเรียกใช้โมเดลเป็นของตัวเอง AWS กล่าวว่าโดยทั่วไปแล้วไม่มีแผนผังการทำงานที่ตายตัวให้ติดตามตรวจสอบ และความล้มเหลวอาจเกิดขึ้นได้ในหลายจุดของการส่งต่องาน โดยไม่ลุกลามไปทั่วระบบในรูปแบบที่คาดเดาได้

ระบบที่ AWS สร้างขึ้น

เพื่อรับมือกับปัญหานี้ AWS ระบุว่าได้สร้างระบบจองตั๋วเครื่องบินสำหรับใช้งานจริงที่ประกอบด้วยเอเจนต์เฉพาะทางสี่ตัว โดยผสานรวม Amazon Bedrock AgentCore Evaluations สำหรับประเมินคุณภาพเอเจนต์อย่างต่อเนื่อง เข้ากับ AWS DevOps Agent สำหรับการตรวจสอบเหตุขัดข้องด้านโครงสร้างพื้นฐานแบบอัตโนมัติ

AWS อธิบาย Amazon Bedrock AgentCore ว่าเป็นแพลตฟอร์มสำหรับสร้าง เชื่อมต่อ และปรับแต่งเอเจนต์ในระดับใหญ่ โดยรองรับเฟรมเวิร์กหรือโมเดลใดก็ได้ ภายในแพลตฟอร์มดังกล่าว AWS ระบุว่า AgentCore Evaluations จะให้คะแนนการโต้ตอบที่เกิดขึ้นจริงอย่างต่อเนื่อง เพื่อจับความผิดพลาดในการเลือกเครื่องมือ ความล้มเหลวของงาน และความเสื่อมถอยของคุณภาพ ซึ่งเป็นสิ่งที่ตัวชี้วัดด้านโครงสร้างพื้นฐานมองข้ามไปโดยสิ้นเชิง ส่วน AWS DevOps Agent นั้น บริษัทระบุว่าสามารถสืบหาความล้มเหลวข้ามขอบเขตของบริการต่างๆ ได้โดยอัตโนมัติ ด้วยการเชื่อมโยงนโยบาย IAM บันทึกการเรียกใช้งาน และร่องรอยการประสานงานเข้าด้วยกัน โดยไม่ต้องอาศัยการตรวจสอบด้วยมือ AWS ระบุว่าเมื่อทำงานร่วมกัน ทั้งสองชั้นนี้มีจุดประสงค์เพื่อแสดงให้เห็นทั้งว่าเอเจนต์ทำงานถูกต้องหรือไม่ และโครงสร้างพื้นฐานเบื้องหลังรองรับการทำงานนั้นได้ดีเพียงใด

เทคโนโลยีหลักที่ใช้

AWS ระบุรายชื่อบริการหลายอย่างที่เป็นรากฐานของระบบนี้

• Amazon Bedrock ให้การเข้าถึง API ของ foundation model จาก Anthropic, Meta, Mistral และ Amazon และเป็นตัวขับเคลื่อนความเข้าใจภาษาในระบบจองตั๋วเครื่องบิน
• AgentCore runtime ทำหน้าที่ประสานงานเอเจนต์และจัดการวงจรชีวิตของการโต้ตอบ พร้อมความสามารถในการสังเกตการณ์ในตัวผ่านการติดตั้งเครื่องมือ OpenTelemetry
• Fullstack AgentCore Solution Template (FAST) ถูกกล่าวถึงในฐานะส่วนหนึ่งของการนำไปใช้งานจริง แม้ว่าบทความในบล็อกจะไม่ได้อธิบายบทบาทของเครื่องมือนี้ไว้อย่างละเอียดในเนื้อหาส่วนที่นำมาอ้างอิง

ที่มา: AWS Machine Learning Blog, "Monitoring production agent lifecycle with AWS DevOps Agent and AgentCore Evaluations," เผยแพร่เมื่อวันที่ 11 กันยายน 2026