AWS, GPU 관리 없이 모델을 맞춤화하는 세이지메이커 AI 트레이닝 세션 출시
AWS는 세이지메이커 AI 트레이닝 세션의 정식 출시를 발표했다. 이를 통해 기업은 AWS가 GPU 인프라를 관리하는 동안 맞춤형 사후 학습 루프를 직접 작성할 수 있다.
한 줄 답
AWS는 세이지메이커 AI 트레이닝 세션에 대해 무엇을 발표했나?
AWS는 서버리스 모델 맞춤화 서비스의 일부인 세이지메이커 AI 트레이닝 세션의 정식 출시를 발표했다. 이 기능을 통해 기업은 맞춤형 손실 함수와 보상 신호를 포함한 자체 사후 학습 루프를 작성할 수 있으며, 세이지메이커 AI는 GPU 할당, 분산 실행, 장애 복구, 체크포인트 저장을 처리한다.
핵심 요약
- AWS는 2026년 10월 22일 아마존 세이지메이커 AI 서버리스 모델 맞춤화 내에서 트레이닝 세션의 정식 출시를 발표했다.
- 트레이닝 세션을 통해 사용자는 맞춤형 손실 함수나 보상 신호를 포함한 자체 트레이닝 루프를 작성하고 조정할 수 있으며, 세이지메이커 AI는 GPU 할당, 분산 실행, 장애 복구, 체크포인트 저장을 관리한다.
- AWS는 이 기능이 SFT, DPO, RLVR, RLAIF, 다중 턴 강화학습, LoRA, 전체 미세조정을 지원하며, 이러한 기법들을 연속 맞춤화를 통해 연쇄적으로 적용할 수 있다고 밝혔다.
- AWS는 예제와 모델 맞춤화 에이전트 스킬을 담은 세이지메이커 AI 트레이닝 세션 쿡북을 공개했으며, 이는 세이지메이커 스튜디오, 키로, 클로드 코드, 코덱스, 깃허브 코파일럿 내에서 작동한다.
- AWS는 사용자가 세이지메이커 AI가 처리한 토큰에 대해 비용을 지불하며, 사용자의 보상 함수가 자신의 환경에서 배치에 점수를 매기는 동안에는 과금 계측이 중단되고, 별도로 예약해야 할 용량은 없다고 밝혔다.
AWS 블로그 게시물에 따르면, 아마존웹서비스(AWS)는 아마존 세이지메이커 AI 서버리스 모델 맞춤화의 새로운 기능인 트레이닝 세션의 정식 출시를 발표했다. 이 기능은 강화학습 등 사후 학습 기법을 활용해 오픈 웨이트 파운데이션 모델을 맞춤화하는 기업을 겨냥한 것이다.
AWS가 밝힌 기능
AWS에 따르면 트레이닝 세션은 사용자가 기반 인프라를 직접 관리하지 않고도 사후 학습 로직을 제어할 수 있게 해준다. 회사 측 설명에 따르면 사용자는 맞춤형 손실 함수나 보상 신호를 포함해 트레이닝 루프를 직접 작성하고 조정하며, 세이지메이커 AI는 GPU 할당, 분산 실행, 장애 복구, 체크포인트 저장을 담당한다.
AWS는 세이지메이커 AI 서버리스 모델 맞춤화를 이용하면 사용자가 인스턴스 유형을 선택하거나 클러스터를 관리하거나 분산 트레이닝 구성을 작성할 필요가 없다고 설명한다. 회사에 따르면 사용자는 지도 미세조정(SFT), 직접 선호 최적화(DPO), 검증 가능한 보상 기반 강화학습(RLVR), AI 피드백 기반 강화학습(RLAIF), 다중 턴 강화학습 등의 기법을 적용할 수 있다. AWS는 또한 사용자가 로우랭크 적응(LoRA) 또는 전체 미세조정을 통해 모델의 어느 부분을 업데이트할지 선택할 수 있으며, AWS가 '연속 맞춤화'라고 부르는 방식으로 여러 기법을 연쇄적으로 적용할 수도 있다고 밝혔다.
사용자의 시작을 돕기 위해 AWS는 예제, 활용 사례, 모델 맞춤화 에이전트 스킬을 담은 세이지메이커 AI 트레이닝 세션 쿡북을 공개했다고 밝혔다. AWS에 따르면 사용자는 자신의 활용 사례를 에이전트에게 설명하면 데이터 준비, 기법 선택, 트레이닝, 평가, 배포를 에이전트가 처리하며, 이 에이전트는 세이지메이커 스튜디오, 키로(Kiro), 클로드 코드, 코덱스(Codex), 깃허브 코파일럿 내에서 작동한다.
다중 턴 강화학습
AWS는 이번 업데이트의 주요 초점 중 하나가 다중 턴 강화학습이라고 밝혔다. 회사에 따르면 이는 여행 예약, 지원 티켓 분류, 다단계 연구 수행 등 결과를 판단하기 전에 여러 차례의 상호작용이 필요한 작업을 수행하는 에이전트에게 요구되는 기능이다. AWS는 세이지메이커 AI가 이미 다중 턴 강화학습을 관리형 서버리스 기법으로 제공하고 있었지만, 트레이닝 세션은 하나의 루프 안에서 자체 손실 함수, 보상 신호, 강화학습 단계를 직접 정의하고자 하는 고객들의 요구에 따라 구축되었다고 설명했다.
AWS에 따르면 일반적인 강화학습 과정에서는 사용자의 트레이닝 루프가 현재 모델을 이용해 프롬프트에 대한 여러 응답을 생성하도록 샘플러에 요청하고, 사용자의 보상 함수가 검증기, 보상 모델, 또는 테스트 하니스를 이용해 각 응답에 점수를 매긴다. 이후 루프는 이 점수를 트레이너로 전달해 기울기를 계산하고 모델 가중치를 업데이트하며, 다음 배치가 시작되기 전에 샘플러는 업데이트된 가중치로 갱신된다.
AWS는 과금이 세이지메이커 AI가 처리한 토큰 수를 기준으로 이뤄지며, 사용자의 보상 함수가 자신의 환경 내에서 배치에 점수를 매기는 동안에는 과금 계측이 중단되고, 별도로 예약해야 할 용량도 없다고 밝혔다.
AWS가 인용한 고객 발언
AWS는 이매진소프트웨어(ImagineSoftware)의 데이터 사이언스 수석 부사장 롭 곤타렉의 발언을 인용했다. 그는 회사가 서버리스 트레이닝 세션을 활용해 헬스케어 보험 청구 거부 분류 모델을 구축했으며, 플랫폼의 저수준 API가 정확도가 중요한 활용 사례에서 강화학습을 추진할 수 있도록 과학자들에게 세밀한 제어권을 제공했다고 말했다.
AWS는 또한 카리니 AI(Karini AI)의 최고경영자 니틴 와그의 발언도 인용했다. 그는 회사가 이 서비스를 이용해 gpt-oss-20b 모델을 아마존 넵튠 지식 그래프에 대한 에이전트형 다중 턴 도구 호출용으로 미세조정했으며, 이 과정에서 수동 튜닝이나 메모리 부족 문제 해결이 필요 없었고 체크포인트 저장 및 재개 기능이 안정적으로 작동했다고 밝혔다.
출처: AWS 머신러닝 블로그, "GPU 관리 없이 모델을 맞춤화하는 새로운 방법 발표(Announcing new ways to customize models with SageMaker AI, without managing GPUs)", 2026년 10월 22일 게재.
자주 묻는 질문
- AWS 세이지메이커 AI 트레이닝 세션이란 무엇인가?
- 아마존 세이지메이커 AI 서버리스 모델 맞춤화 내의 정식 출시 기능으로, 사용자가 맞춤형 손실 함수와 보상 신호를 포함한 자체 사후 학습 루프를 작성할 수 있게 하며, AWS가 기반 GPU 인프라를 관리한다.
- AWS는 트레이닝 세션이 어떤 사후 학습 기법을 지원한다고 밝혔나?
- AWS는 SFT, DPO, RLVR, RLAIF, 다중 턴 강화학습과 함께 LoRA 또는 전체 미세조정을 지원하며, 이러한 기법들을 연속 맞춤화를 통해 연쇄적으로 적용할 수 있다고 밝혔다.
- AWS에 따르면 세이지메이커 AI 트레이닝 세션의 과금 방식은 어떠한가?
- AWS는 고객이 세이지메이커 AI가 처리한 토큰에 대해 비용을 지불하며, 고객의 보상 함수가 자신의 환경에서 배치에 점수를 매기는 동안에는 과금 계측이 중단되고, 별도로 예약해야 할 용량은 없다고 밝혔다.
- AWS에 따르면 모델 맞춤화 에이전트는 어디에서 작동할 수 있나?
- AWS는 데이터 준비, 기법 선택, 트레이닝, 평가, 배포를 처리하는 에이전트가 세이지메이커 스튜디오, 키로, 클로드 코드, 코덱스, 깃허브 코파일럿에서 작동한다고 밝혔다.
출처
- Announcing new ways to customize models with SageMaker AI, without managing GPUs | Artificial Intelligence — Amazon Web Services (AWS)