AWS เปิดตัวฟีเจอร์แคชโมเดล ลดเวลาสตาร์ทเย็นของการอนุมานบน SageMaker HyperPod
AWS ประกาศเปิดตัวฟีเจอร์แคชโมเดลสำหรับ Amazon SageMaker Inference บน HyperPod ซึ่งโหลดน้ำหนักโมเดลและอิมเมจคอนเทนเนอร์ไว้ล่วงหน้า เพื่อลดเวลาสตาร์ทพอดจากหลักสิบนาทีให้เหลือเพียงไม่กี่วินาที
คำตอบโดยย่อ
AWS ประกาศฟีเจอร์อะไรเพื่อลดเวลาสตาร์ทเย็นของการอนุมานบน Amazon SageMaker HyperPod
AWS เปิดตัวฟีเจอร์แคชโมเดลสำหรับ Amazon SageMaker Inference บน HyperPod โดยฟีเจอร์นี้จะโหลดน้ำหนักโมเดลและอิมเมจคอนเทนเนอร์ไว้ล่วงหน้าบนโหนดของคลัสเตอร์ ทำให้พอดสามารถอ่านข้อมูลจากสตอเรจ NVMe ภายในเครื่องด้วยความเร็วประมาณ 7 กิกะไบต์ต่อวินาที แทนที่จะต้องดาวน์โหลดผ่านเครือข่าย ส่งผลให้พอดมักเริ่มให้บริการทราฟฟิกได้ภายในไม่กี่วินาที แทนที่จะใช้เวลาหลักสิบนาทีตามที่ AWS ระบุ
ประเด็นสำคัญ
- AWS ระบุว่าการนำ LLM ไปใช้งานบน SageMaker HyperPod ต้องผ่านการดาวน์โหลดสองขั้นตอนตามลำดับก่อนที่พอดจะให้บริการทราฟฟิกได้ ได้แก่ อิมเมจคอนเทนเนอร์ของเซิร์ฟเวอร์อนุมานจาก Amazon ECR จากนั้นจึงเป็นน้ำหนักโมเดลจากแหล่งจัดเก็บข้อมูล เช่น Amazon S3, FSx for Lustre หรือ HuggingFace Hub
- AWS ระบุว่าโมเดลขนาดใหญ่อย่าง DeepSeek-R1 ที่มีขนาดเกิน 600 กิกะไบต์ อาจใช้เวลา 30 นาทีขึ้นไปกว่าจะพร้อมใช้งาน และทุกครั้งที่มีการขยายขนาดจะเกิดวงจรการดาวน์โหลดซ้ำเช่นเดิม
- AWS ระบุว่าฟีเจอร์แคชโมเดลจะโหลดน้ำหนักโมเดลและอิมเมจคอนเทนเนอร์ไว้ล่วงหน้าบนโหนดของคลัสเตอร์ก่อนที่พอดจะต้องใช้งาน ทำให้พอดสามารถอ่านข้อมูลจากสตอเรจ NVMe ภายในเครื่องด้วยความเร็วประมาณ 7 กิกะไบต์ต่อวินาที แทนที่จะดาวน์โหลดผ่านเครือข่าย
- AWS ระบุว่าฟีเจอร์นี้มีแคชน้ำหนักโมเดล ซึ่งเปิดใช้งานโดยการเพิ่ม modelCacheConfig พร้อม weightsCache ลงในรีซอร์ส InferenceEndpointConfig หรือ JumpStartModel ซึ่งจะกระตุ้นให้ HyperPod Inference Operator สร้างรีซอร์ส ModelDataCacheConfig และเริ่มดาวน์โหลดน้ำหนักโมเดลไว้ล่วงหน้า
- AWS ระบุว่าความสามารถทั้งสองส่วนในฟีเจอร์แคชโมเดลสามารถเปิดใช้งานพร้อมกันหรือแยกกันก็ได้
Amazon Web Services ประกาศเปิดตัวฟีเจอร์แคชโมเดลสำหรับ Amazon SageMaker Inference บน HyperPod ซึ่งออกแบบมาเพื่อลดระยะเวลาที่พอดสำหรับการอนุมานต้องใช้ก่อนจะเริ่มให้บริการทราฟฟิกได้
ปัญหาการสตาร์ทเย็น
AWS ระบุว่า การนำโมเดลภาษาขนาดใหญ่ไปใช้งานสำหรับการอนุมานบน SageMaker HyperPod มีช่องว่างระหว่างการร้องขอพอดกับการที่พอดนั้นพร้อมรับคำขอ โดย AWS อธิบายว่าช่องว่างนี้เกิดจากการดาวน์โหลดสองขั้นตอนตามลำดับ ได้แก่ อิมเมจคอนเทนเนอร์ของเซิร์ฟเวอร์อนุมานจาก Amazon Elastic Container Registry และน้ำหนักโมเดลจากแหล่งจัดเก็บข้อมูล เช่น Amazon S3, Amazon FSx for Lustre หรือ HuggingFace Hub
AWS ระบุว่าอิมเมจคอนเทนเนอร์สำหรับเซิร์ฟเวอร์อย่าง vLLM หรือ LMI มีขนาดหลายกิกะไบต์และใช้เวลาดึงข้อมูล 5 ถึง 7 นาที เนื่องจากรวมไดรเวอร์ GPU ไลบรารี CUDA และเฟรมเวิร์กสำหรับให้บริการไว้ด้วยกัน หลังจากนั้นเซิร์ฟเวอร์อนุมานจะดาวน์โหลดน้ำหนักโมเดล AWS ระบุว่าโมเดลขนาด 145 กิกะไบต์บน Amazon S3 อาจใช้เวลาเพิ่มอีกกว่า 20 นาที ขึ้นอยู่กับสภาพเครือข่าย ส่วนโมเดลที่มีขนาดเกิน 600 กิกะไบต์ อย่าง DeepSeek-R1 อาจใช้เวลารวมมากกว่า 30 นาที
AWS ยังระบุด้วยว่า วงจรการดาวน์โหลดนี้จะเกิดซ้ำทุกครั้งที่มีพอดใหม่ในระหว่างเหตุการณ์ขยายขนาด (scale-out) ตามตัวอย่างของ AWS หากทราฟฟิกพุ่งสูงขึ้นและ HorizontalPodAutoscaler ร้องขอพอดใหม่ 5 ตัว พอดทั้ง 5 ตัวจะต้องผ่านขั้นตอนการดาวน์โหลดแยกกันเป็นอิสระ AWS ตั้งข้อสังเกตว่าแม้นโยบายการปรับขนาดอัตโนมัติอาจตอบสนองได้ภายในไม่กี่วินาที แต่เวลาที่แท้จริงก่อนจะสามารถรองรับทราฟฟิกเพิ่มเติมได้นั้นอยู่ที่ 25 ถึงมากกว่า 30 นาที เนื่องจากพอดแต่ละตัวต้องดาวน์โหลดให้เสร็จสิ้นก่อน
การทำงานของฟีเจอร์แคชโมเดล
AWS ระบุว่าฟีเจอร์แคชโมเดลจะโหลดข้อมูลไว้ล่วงหน้าบนโหนดต่างๆ ก่อนที่พอดจะถูกจัดสรร โดยประกอบด้วยความสามารถอิสระสองส่วนที่สามารถเปิดใช้งานพร้อมกันหรือแยกกันก็ได้
หนึ่งในนั้นคือแคชน้ำหนักโมเดล (weights cache) ซึ่งจะดาวน์โหลดน้ำหนักโมเดลไปยังสตอเรจ NVMe ภายในเครื่องบนแต่ละโหนดไว้ล่วงหน้า ตามข้อมูลของ AWS โดย AWS อธิบายขั้นตอนการตั้งค่าว่าคือการเพิ่ม modelCacheConfig พร้อมเปิดใช้ weightsCache ลงในรีซอร์ส InferenceEndpointConfig หรือ JumpStartModel แล้วนำไปใช้งาน เมื่อนำไปใช้งานแล้ว AWS ระบุว่า HyperPod Inference Operator จะสร้างรีซอร์ส ModelDataCacheConfig ขึ้นโดยอัตโนมัติ และเริ่มดาวน์โหลดน้ำหนักโมเดลจากแหล่งที่กำหนดไว้ ซึ่งอาจเป็น Amazon S3 หรือแหล่งอื่นๆ
เมื่อเปิดใช้งานฟีเจอร์แคชโมเดลแล้ว AWS ระบุว่าพอดสามารถอ่านข้อมูลจากสตอเรจ NVMe ภายในเครื่องด้วยความเร็วประมาณ 7 กิกะไบต์ต่อวินาที แทนที่จะต้องดาวน์โหลดผ่านเครือข่าย ผลที่ตามมาคือ AWS ระบุว่าพอดมักเริ่มให้บริการทราฟฟิกได้ภายในไม่กี่วินาที แทนที่จะใช้เวลาหลักสิบนาที
แหล่งที่มา: AWS Machine Learning Blog, "Reduce inference cold starts on Amazon SageMaker HyperPod with model caching," เผยแพร่เมื่อวันที่ 10 กันยายน 2026
คำถามที่พบบ่อย
- ฟีเจอร์แคชโมเดลแก้ปัญหาอะไร ตามข้อมูลของ AWS
- AWS ระบุว่าฟีเจอร์นี้แก้ปัญหาช่องว่างระหว่างการร้องขอพอดบน SageMaker HyperPod กับการที่พอดนั้นพร้อมให้บริการทราฟฟิก ซึ่งเป็นช่องว่างที่ AWS ระบุว่าเกิดจากการดาวน์โหลดอิมเมจคอนเทนเนอร์และน้ำหนักโมเดลตามลำดับ
- AWS ระบุว่าพอดสตาร์ทเร็วขึ้นแค่ไหนเมื่อเปิดใช้งานแคชโมเดล
- AWS ระบุว่าเมื่อเปิดใช้งานแคชโมเดลแล้ว พอดมักเริ่มให้บริการทราฟฟิกได้ภายในไม่กี่วินาที แทนที่จะใช้เวลาหลักสิบนาที
- ความสามารถสองส่วนในฟีเจอร์แคชโมเดลคืออะไร
- AWS อธิบายถึงแคชน้ำหนักโมเดล ซึ่งโหลดน้ำหนักโมเดลไว้ล่วงหน้าบนสตอเรจ NVMe ภายในเครื่องของแต่ละโหนด ว่าเป็นหนึ่งในสองความสามารถอิสระที่สามารถเปิดใช้งานพร้อมกันหรือแยกกันได้ โดยเนื้อหาที่เผยแพร่ยังไม่ได้ให้รายละเอียดครบถ้วนเกี่ยวกับความสามารถส่วนที่สอง
- แคชน้ำหนักโมเดลเปิดใช้งานอย่างไร
- AWS ระบุว่าผู้ใช้ต้องเพิ่ม modelCacheConfig พร้อมเปิดใช้ weightsCache ลงในรีซอร์ส InferenceEndpointConfig หรือ JumpStartModel ซึ่งจะทำให้ HyperPod Inference Operator สร้างรีซอร์ส ModelDataCacheConfig และเริ่มดาวน์โหลดน้ำหนักโมเดลจากแหล่งที่กำหนดไว้
แหล่งข้อมูล
- Reduce inference cold starts on Amazon SageMaker HyperPod with model caching | Artificial Intelligence — Amazon Web Services (AWS)