AWS เปิดเผยรายละเอียดเครื่องมือ Multi-Turn Reinforcement Learning บน SageMaker AI
AWS เผยแพร่คู่มือเชิงเทคนิคเกี่ยวกับ Multi-Turn Reinforcement Learning บน SageMaker AI ซึ่งเป็นวิธีการฝึกโมเดลให้ทำงานแบบ agentic ที่มีหลายขั้นตอน โดยใช้รางวัลที่อิงจากผลลัพธ์สุดท้าย
คำตอบโดยย่อ
AWS ประกาศอะไรเกี่ยวกับ Multi-Turn Reinforcement Learning บน SageMaker AI?
AWS เผยแพร่คู่มือเชิงเทคนิคที่อธิบายถึง Multi-Turn Reinforcement Learning (MTRL) บน Amazon SageMaker AI ซึ่งเป็นไปป์ไลน์แบบ serverless ที่ฝึกโมเดลให้ทำงาน agentic หลายขั้นตอนโดยใช้ Amazon Bedrock AgentCore เป็นตัวโฮสต์เอเจนต์และฟังก์ชันให้รางวัล โดยให้คะแนนลำดับการกระทำทั้งหมดแทนการให้คะแนนเพียงพรอมต์เดียว
ประเด็นสำคัญ
- AWS อธิบายว่า Multi-Turn Reinforcement Learning (MTRL) บน Amazon SageMaker AI เป็นวิธีการฝึกโมเดลให้ทำงาน agentic ที่ต้องใช้ลำดับการกระทำ โดยสามารถให้คะแนนได้เฉพาะผลลัพธ์สุดท้ายของลำดับเท่านั้น
- ตามข้อมูลของ AWS SageMaker AI ส่งพรอมต์ไปยังเอเจนต์ที่โฮสต์อยู่บน Amazon Bedrock AgentCore (หรือบนโครงสร้างพื้นฐานของลูกค้าเอง เช่น Amazon EKS, EC2 หรือ Fargate ผ่านตัวส่งต่อ AWS Lambda) และเอเจนต์จะรายงานรางวัลหนึ่งค่าเมื่อภารกิจตอนนั้นสิ้นสุดลง
- AWS ระบุว่าไปป์ไลน์นี้ใช้ Group Relative Policy Optimization (GRPO) เพื่ออัปเดต Low-Rank Adaptation (LoRA) adapter บนโมเดลนโยบาย โดยอิงจากความแตกต่างของรางวัลระหว่างหลายรอบการฝึก
- AWS ระบุว่าปัจจุบัน MTRL รองรับโมเดลพื้นฐานสี่โมเดลที่ใช้ LoRA adapter ได้แก่ Amazon Nova 2 Lite, GPT-OSS-20B, Gemma 4 31B (ปรับแต่งด้วยคำสั่ง) และ Qwen 3.6 27B โดยให้บริการในภูมิภาคของ AWS ที่แตกต่างกันไปตามแต่ละโมเดล
- ในการทดลองตัวอย่างที่ใช้เกม Wordle ซึ่ง AWS อธิบายไว้ MTRL ช่วยเพิ่มอัตราการแก้ปัญหาของ GPT-OSS-20B จากร้อยละ 61 เป็นร้อยละ 84 เมื่อใช้ความพยายามในการให้เหตุผลระดับปกติ และจากร้อยละ 15 เป็นร้อยละ 69 เมื่อใช้ความพยายามในการให้เหตุผลระดับต่ำ โดยมีค่าใช้จ่ายในการฝึกที่รายงานไว้ประมาณ 339 ดอลลาร์สหรัฐในรูปของโทเคน
สิ่งที่ AWS ประกาศ
AWS เผยแพร่บทความเชิงเทคนิคที่อธิบายรายละเอียดของ Multi-Turn Reinforcement Learning (MTRL) ซึ่งเป็นความสามารถในการฝึกโมเดลบน Amazon SageMaker AI ที่ออกแบบมาสำหรับงานแบบ agentic ที่ต้องใช้ลำดับการกระทำหลายขั้นตอนแทนการตอบสนองเพียงครั้งเดียว ตามข้อมูลของ AWS วิธีนี้แก้ไขช่องว่างในแนวทางการฝึกที่มีอยู่เดิม กล่าวคือ supervised fine-tuning ต้องใช้คำตอบที่ถูกต้องซึ่งมีการระบุไว้แล้ว แต่สิ่งนี้ไม่มีอยู่สำหรับงานหลายขั้นตอนที่มีเส้นทางสู่ความสำเร็จได้หลายแบบ ขณะที่ single-turn reinforcement learning ไม่สามารถระบุได้ว่าการตัดสินใจขั้นใดควรได้รับเครดิต เมื่อผลลัพธ์ปรากฏขึ้นหลังจากขั้นตอนนั้นไปแล้วหลายขั้น
AWS ระบุว่า MTRL ฝึกโมเดลโดยใช้เพียงรางวัลสุดท้ายที่รายงานเมื่อสิ้นสุดภารกิจทั้งตอน โดยไม่ต้องระบุว่าลำดับการกระทำที่ถูกต้องควรเป็นอย่างไร
ระบบทำงานอย่างไร
AWS อธิบายโครงสร้างสถาปัตยกรรมสองส่วน โดย SageMaker AI จัดการงานฝึกและโมเดลนโยบาย (policy model) ที่กำลังถูกฝึก ส่วน Amazon Bedrock AgentCore เป็นตัวโฮสต์เอเจนต์ สภาพแวดล้อมของภารกิจ และฟังก์ชันให้รางวัล สำหรับแต่ละรอบการฝึก (rollout) AWS ระบุว่าบริการ MTRL จะเรียกใช้ AgentCore runtime ด้วยตัวอย่างข้อมูลฝึกหนึ่งชุด และเอเจนต์ Strands ภายใน runtime นั้นจะเรียกใช้โมเดลนโยบายผ่านเอนด์พอยต์ที่รองรับมาตรฐาน OpenAI ซึ่งจัดเตรียมโดย SageMaker Job Runtime
AWS ระบุว่าเอเจนต์สามารถถูกโฮสต์บนโครงสร้างพื้นฐานของลูกค้าเองได้เช่นกัน ไม่ว่าจะเป็น Amazon Elastic Kubernetes Service, Amazon EC2 หรือ AWS Fargate โดยเชื่อมต่อผ่านตัวส่งต่อ AWS Lambda แม้ว่าตัวอย่างในบทความจะใช้ AgentCore ก็ตาม
เมื่อภารกิจแต่ละตอนสิ้นสุดลง AWS ระบุว่าเอเจนต์จะส่งคืนรางวัลเพียงค่าเดียว และระบบจะใช้ Group Relative Policy Optimization (GRPO) เพื่อเปรียบเทียบรางวัลระหว่างหลายรอบการฝึกของภารกิจเดียวกัน และอัปเดต Low-Rank Adaptation (LoRA) adapter บนโมเดลนโยบาย
AWS เน้นจุดออกแบบสำคัญสามประการ ได้แก่ เอเจนต์และฟังก์ชันให้รางวัลอยู่ร่วมกันในไฟล์ที่ถูกนำไปใช้งานไฟล์เดียว ชุดข้อมูลฝึกมีเพียงข้อมูลนำเข้าเฉพาะงานที่จำเป็นสำหรับการให้คะแนน และโครงสร้างรางวัลให้ความสำคัญกับผลลัพธ์สุดท้ายเป็นหลัก โดยมีองค์ประกอบย่อยสำหรับกลยุทธ์ระหว่างทาง
ตัวอย่างการทดลองและผลลัพธ์
AWS ยกตัวอย่างไปป์ไลน์นี้ด้วยเกม Wordle ซึ่งเป็นเกมที่ผู้เล่นมีโอกาสทายคำศัพท์ห้าตัวอักษรได้หกครั้ง โดยเลือกเกมนี้เนื่องจากกฎเรียบง่าย ข้อมูลป้อนกลับสะสมไปทีละตา และสามารถให้คะแนนผลลัพธ์ได้อย่างเป็นภาวะวิสัย AWS ระบุว่าโมเดลระดับแนวหน้าสามารถเล่น Wordle ได้ดีอยู่แล้ว และนำเสนอตัวอย่างนี้เพื่อเป็นตัวแทนของเวิร์กโฟลว์หลายขั้นตอนที่เฉพาะเจาะจงกับธุรกิจภายในองค์กร ซึ่งโมเดลสาธารณะยังไม่ถูกฝึกมาให้รองรับ
ในการรันการฝึกที่มีการรายงานผล AWS ระบุว่า MTRL ช่วยเพิ่มอัตราการแก้ปัญหาของ GPT-OSS-20B สำหรับคำศัพท์ที่กันไว้ทดสอบ จากร้อยละ 61 เป็นร้อยละ 84 เมื่อใช้ความพยายามในการให้เหตุผลระดับปกติของโมเดล และจากร้อยละ 15 เป็นร้อยละ 69 เมื่อใช้ความพยายามในการให้เหตุผลระดับต่ำที่ใช้ระหว่างการฝึก โดยมีค่าใช้จ่ายในการฝึกที่รายงานไว้ประมาณ 339 ดอลลาร์สหรัฐในรูปของโทเคน AWS ระบุว่าการรัน 100 สเตปใช้โทเคน prefill จำนวน 491.6 ล้านโทเคน โทเคนตัวอย่าง (sample) จำนวน 159.7 ล้านโทเคน และโทเคนฝึก (train) จำนวน 643.3 ล้านโทเคน ตลอด 105,486 รอบการฝึก เป็นเวลา 12 ชั่วโมง 40 นาที
โมเดลที่รองรับและราคา
AWS ระบุว่าปัจจุบัน MTRL รองรับโมเดลพื้นฐานสี่โมเดล โดยแต่ละโมเดลถูกฝึกด้วย LoRA adapter ได้แก่ Amazon Nova 2 Lite, GPT-OSS-20B, Gemma 4 31B (ปรับแต่งด้วยคำสั่ง) และ Qwen 3.6 27B ความพร้อมใช้งานแตกต่างกันไปตามภูมิภาคของ AWS โดย Nova 2 Lite และ GPT-OSS-20B ให้บริการในภูมิภาค US East (เวอร์จิเนียตอนเหนือ) และ US West (ออริกอน) ส่วน Gemma 4 31B และ Qwen 3.6 27B ให้บริการเฉพาะในภูมิภาค US West (ออริกอน) เท่านั้น AWS ระบุว่าเลือกใช้ GPT-OSS-20B สำหรับตัวอย่างนี้เนื่องจากมีราคาต่อโทเคนต่ำที่สุดในกลุ่มทั้งสี่โมเดล และสามารถกำหนดระดับความพยายามในการให้เหตุผลได้ในแต่ละคำขอ
AWS อธิบายว่า MTRL เป็นบริการแบบ serverless หมายความว่าลูกค้าเพียงเลือกโมเดลพื้นฐาน ขณะที่บริการจะจัดเตรียมโครงสร้างพื้นฐานสำหรับการฝึกและการสุ่มตัวอย่างให้โดยอัตโนมัติ การคิดราคาเป็นแบบต่อล้านโทเคนในสามประเภท ได้แก่ โทเคน prefill ที่ประมวลผลเป็นข้อมูลนำเข้า โทเคนตัวอย่างที่สร้างขึ้นโดยโมเดลนโยบายรวมถึงโทเคนการให้เหตุผล และโทเคนฝึกที่ประมวลผลระหว่างขั้นตอน backward pass ที่อัปเดต LoRA adapter นอกจากนี้ AWS ยังระบุว่าชุดข้อมูล เอเจนต์ และโมเดลที่ฝึกแล้วของลูกค้าจะยังคงอยู่ในบัญชี AWS ของลูกค้าเอง และจะไม่ถูกนำไปใช้ฝึกโมเดลพื้นฐานของ AWS
ที่มา: AWS Machine Learning Blog, "Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide," เผยแพร่เมื่อวันที่ 23 ตุลาคม 2026
คำถามที่พบบ่อย
- Multi-Turn Reinforcement Learning (MTRL) บน SageMaker AI คืออะไร?
- AWS อธิบายว่าเป็นแนวทางการฝึกโมเดลสำหรับงาน agentic ที่มีการกระทำต่อเนื่องหลายขั้นตอน โดยโมเดลจะถูกฝึกด้วยรางวัลเพียงค่าเดียวที่รายงานเมื่อสิ้นสุดภารกิจแต่ละตอน แทนการใช้ตัวอย่างที่ระบุขั้นตอนที่ถูกต้องไว้แล้ว
- MTRL รองรับโมเดลใดบ้าง?
- ตามข้อมูลของ AWS MTRL รองรับ Amazon Nova 2 Lite, GPT-OSS-20B, Gemma 4 31B (ปรับแต่งด้วยคำสั่ง) และ Qwen 3.6 27B โดยแต่ละโมเดลถูกฝึกด้วย LoRA adapter และความพร้อมใช้งานแตกต่างกันไปตามภูมิภาคของ AWS
- MTRL คิดราคาอย่างไร?
- AWS ระบุว่าลูกค้าจะต้องจ่ายค่าบริการต่อล้านโทเคนในสามประเภท ได้แก่ prefill (โทเคนนำเข้า) sample (โทเคนที่สร้างขึ้น) และ train (โทเคนในขั้นตอน backward pass ที่อัปเดต LoRA adapter) โดยราคาจะแตกต่างกันไปตามโมเดลพื้นฐานที่ใช้
- AWS ใช้ตัวอย่างใดในการอธิบาย MTRL?
- AWS ใช้เกมทายคำศัพท์ Wordle เป็นตัวอย่างในการสอน โดยรายงานว่า MTRL ช่วยเพิ่มอัตราการแก้ปัญหาของ GPT-OSS-20B สำหรับคำศัพท์ที่กันไว้ทดสอบ จากร้อยละ 61 เป็นร้อยละ 84 เมื่อใช้ความพยายามในการให้เหตุผลระดับปกติ
แหล่งข้อมูล
- Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide | Artificial Intelligence — Amazon Web Services (AWS)