AWS, 세이지메이커 AI에 다중 턴 강화학습 도구 공개
AWS는 세이지메이커 AI에서 다중 턴 강화학습을 다루는 기술 가이드를 공개했다. 이는 결과 기반 보상을 활용해 다단계 에이전트 작업을 수행하도록 모델을 훈련시키는 방법이다.
한 줄 답
AWS는 세이지메이커 AI의 다중 턴 강화학습에 대해 무엇을 발표했나?
AWS는 아마존 세이지메이커 AI에서 다중 턴 강화학습(MTRL)을 설명하는 기술 가이드를 공개했다. 이는 서버리스 파이프라인으로, 아마존 베드록 에이전트코어를 활용해 에이전트와 보상 함수를 호스팅하고 개별 프롬프트가 아닌 전체 행동 시퀀스를 평가함으로써 다단계 에이전트 작업에 대해 모델을 훈련시킨다.
핵심 요약
- AWS는 아마존 세이지메이커 AI의 다중 턴 강화학습(MTRL)을, 일련의 행동을 요구하는 에이전트 작업에서 전체 시퀀스의 최종 결과만을 채점해 모델을 훈련시키는 방법이라고 설명한다.
- AWS에 따르면 세이지메이커 AI는 아마존 베드록 에이전트코어(또는 AWS 람다 포워더를 통한 아마존 EKS, EC2, 파게이트 등 고객 인프라)에서 호스팅되는 에이전트에 프롬프트를 전달하며, 에이전트는 episode가 끝날 때 하나의 보상을 보고한다.
- AWS는 이 파이프라인이 여러 롤아웃 간 보상 차이를 기반으로 정책 모델의 로우랭크 어댑테이션(LoRA) 어댑터를 업데이트하기 위해 그룹 상대 정책 최적화(GRPO)를 사용한다고 밝혔다.
- AWS는 MTRL이 현재 아마존 노바 2 라이트, GPT-OSS-20B, 젬마 4 31B(지시어 조정 버전), 큐원 3.6 27B 네 가지 기반 모델을 LoRA 어댑터로 지원하며, 모델별로 이용 가능한 AWS 리전이 다르다고 밝혔다.
- AWS가 설명한 워들 기반 예시 실행에서 MTRL은 GPT-OSS-20B의 성공률을 기본 추론 강도에서 61%에서 84%로, 낮은 추론 강도에서는 15%에서 69%로 끌어올렸으며, 보고된 훈련 비용은 토큰 기준 약 339달러였다.
AWS가 발표한 내용
AWS는 단일 응답이 아닌 일련의 행동을 요구하는 에이전트 작업을 위해 설계된 아마존 세이지메이커 AI의 훈련 기능인 다중 턴 강화학습(MTRL)을 상세히 설명하는 기술 블로그 게시물을 공개했다. AWS에 따르면 이 방법은 기존 훈련 방식의 공백을 해소한다. 지도 미세조정은 정답이 라벨링된 데이터를 필요로 하지만, 성공 경로가 여러 가지인 다단계 작업에는 그런 정답이 존재하지 않는다. 또한 단일 턴 강화학습은 결과가 나오기 몇 단계 전에 이루어진 결정에 대해 기여도를 제대로 부여할 수 없다.
AWS는 MTRL이 전체 작업 episode가 끝날 때 보고되는 최종 보상만을 사용해 모델을 훈련시키며, 어떤 정확한 행동 시퀀스를 취해야 했는지는 명시하지 않는다고 설명한다.
시스템 작동 방식
AWS는 두 부분으로 구성된 아키텍처를 설명한다. 세이지메이커 AI는 훈련 작업과 훈련 대상인 정책 모델을 관리한다. 아마존 베드록 에이전트코어는 에이전트, 작업 환경, 보상 함수를 호스팅한다. 각 훈련 롤아웃마다 MTRL 서비스는 단일 훈련 예제와 함께 에이전트코어 런타임을 호출하고, 그 런타임 내의 스트랜드(Strands) 에이전트가 세이지메이커 작업 런타임이 제공하는 OpenAI 호환 엔드포인트를 통해 정책 모델을 호출한다고 AWS는 밝혔다.
AWS는 에이전트를 고객 자신의 인프라, 즉 아마존 엘라스틱 쿠버네티스 서비스(EKS), 아마존 EC2, 또는 AWS 파게이트에서 호스팅하고 AWS 람다 포워더로 연결하는 방식도 가능하다고 설명했다. 다만 게시물의 예시에서는 에이전트코어를 사용했다.
작업 episode가 끝나면 에이전트가 단일 보상을 반환하고, 시스템은 동일 작업에 대한 여러 롤아웃 간 보상을 비교하는 그룹 상대 정책 최적화(GRPO)를 적용해 정책 모델의 로우랭크 어댑테이션(LoRA) 어댑터를 업데이트한다고 AWS는 밝혔다.
AWS는 세 가지 설계 요소를 강조한다. 에이전트와 보상 함수가 하나의 배포 파일 안에 함께 존재한다는 점, 훈련 데이터셋이 채점에 필요한 작업별 입력만을 담고 있다는 점, 그리고 보상 구조가 최종 결과에 비중을 두고 중간 전략에는 더 작은 비중을 부여한다는 점이다.
실제 적용 예시와 결과
AWS는 워들(Wordle)을 활용해 이 파이프라인을 설명한다. 워들은 플레이어가 다섯 글자 단어를 여섯 번의 시도 안에 맞춰야 하는 게임으로, 규칙이 단순하고 피드백이 턴마다 축적되며 결과를 객관적으로 채점할 수 있다는 점에서 선택됐다. AWS는 프런티어 모델들이 이미 워들을 잘 수행한다고 언급하면서, 이 예시를 공개 모델이 아직 훈련받지 않은 기업 내부의 특수한 다단계 업무를 대변하는 사례로 제시했다.
보도된 한 훈련 실행에서 AWS는 MTRL이 GPT-OSS-20B의 홀드아웃 단어 풀이 성공률을 모델의 기본 추론 강도에서 61%에서 84%로, 훈련 중 사용된 낮은 추론 강도에서는 15%에서 69%로 끌어올렸다고 밝혔다. 이때 보고된 훈련 비용은 토큰 기준 약 339달러였다. AWS에 따르면 이 100스텝 실행은 12시간 40분에 걸쳐 10만 5,486회의 롤아웃에서 프리필 토큰 4억 9,160만 개, 샘플 토큰 1억 5,970만 개, 훈련 토큰 6억 4,330만 개를 소비했다.
지원 모델 및 가격 정책
AWS는 MTRL이 현재 네 가지 기반 모델을 지원하며, 각각 LoRA 어댑터로 훈련된다고 밝혔다. 해당 모델은 아마존 노바 2 라이트, GPT-OSS-20B, 젬마 4 31B(지시어 조정 버전), 그리고 큐원 3.6 27B다. 가용 리전은 모델에 따라 다르며, 노바 2 라이트와 GPT-OSS-20B는 미국 동부(버지니아 북부)와 미국 서부(오리건)에서 이용할 수 있고, 젬마 4 31B와 큐원 3.6 27B는 미국 서부(오리건)에서만 이용할 수 있다. AWS는 네 모델 중 토큰당 가격이 가장 낮고 요청별로 추론 강도를 설정할 수 있다는 이유로 GPT-OSS-20B를 예시로 선택했다고 밝혔다.
AWS는 MTRL을 서버리스 방식으로 설명한다. 즉 고객은 기반 모델을 선택하기만 하면 서비스가 훈련 및 샘플링 인프라를 자동으로 provisioning한다. 가격은 세 가지 범주의 백만 토큰당 비용으로 책정된다. 입력으로 처리되는 프리필 토큰, 추론 토큰을 포함해 정책 모델이 생성하는 샘플 토큰, 그리고 LoRA 어댑터를 업데이트하는 역전파 과정에서 처리되는 훈련 토큰이다. 또한 AWS는 고객의 데이터셋, 에이전트, 훈련된 모델이 모두 고객의 AWS 계정 내에 머물며 AWS의 기반 모델 훈련에 사용되지 않는다고 밝혔다.
출처: AWS 머신러닝 블로그, "아마존 세이지메이커 AI의 다중 턴 강화학습: 실전 가이드", 2026년 10월 23일 게재.
자주 묻는 질문
- 세이지메이커 AI의 다중 턴 강화학습(MTRL)이란 무엇인가?
- AWS는 이를 여러 순차적 행동이 필요한 에이전트 작업을 위한 훈련 방식으로 설명한다. 정답 단계가 라벨링된 예제 대신, episode가 끝날 때 보고되는 단일 보상을 이용해 모델을 훈련시킨다.
- MTRL은 어떤 모델을 지원하는가?
- AWS에 따르면 MTRL은 아마존 노바 2 라이트, GPT-OSS-20B, 젬마 4 31B(지시어 조정 버전), 큐원 3.6 27B를 지원하며, 각각 LoRA 어댑터로 훈련되고 가용 리전은 모델마다 다르다.
- MTRL의 가격은 어떻게 책정되는가?
- AWS는 고객이 세 가지 범주, 즉 프리필(입력 토큰), 샘플(생성 토큰), 훈련(LoRA 어댑터를 업데이트하는 역전파 과정의 토큰)에 대해 백만 토큰 단위로 비용을 지불하며, 가격은 기반 모델에 따라 달라진다고 밝혔다.
- AWS는 MTRL을 설명하기 위해 어떤 예시를 사용했나?
- AWS는 단어 맞추기 게임인 워들을 교육용 예시로 사용했으며, MTRL이 기본 추론 강도에서 GPT-OSS-20B의 홀드아웃 단어 풀이 성공률을 61%에서 84%로 끌어올렸다고 밝혔다.
출처
- Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide | Artificial Intelligence — Amazon Web Services (AWS)