AWS, 세이지메이커 하이퍼포드에 모델 캐싱 도입…추론 콜드 스타트 시간 단축

아마존 웹서비스(AWS)가 아마존 세이지메이커 인퍼런스의 하이퍼포드용 모델 캐싱 기능을 발표했다. 추론 파드가 트래픽 처리를 시작하기까지 걸리는 시간을 단축하기 위해 설계된 기능이다.

콜드 스타트 문제

AWS에 따르면 세이지메이커 하이퍼포드에서 대규모 언어 모델을 추론용으로 배포할 때는 파드를 요청한 시점과 해당 파드가 요청을 처리할 준비가 되는 시점 사이에 간극이 발생한다. AWS는 이 간극의 원인을 두 가지 순차적 다운로드로 설명한다. 아마존 일래스틱 컨테이너 레지스트리(ECR)에서 내려받는 추론 서버 컨테이너 이미지와, 아마존 S3나 아마존 FSx 포 러스터, 허깅페이스 허브 같은 저장소에서 내려받는 모델 가중치다.

AWS는 vLLM이나 LMI 같은 서버용 컨테이너 이미지는 용량이 수 기가바이트에 달해 내려받는 데 5~7분이 걸린다고 설명한다. GPU 드라이버와 CUDA 라이브러리, 서빙 프레임워크가 함께 묶여 있기 때문이다. 이 과정이 끝나면 추론 서버는 모델 가중치를 내려받는다. AWS에 따르면 아마존 S3에 저장된 145GB 규모 모델은 네트워크 상태에 따라 추가로 20분 이상이 걸릴 수 있고, 딥시크-R1처럼 600GB를 넘는 모델은 전체적으로 30분 이상 소요될 수 있다.

AWS는 이 다운로드 과정이 스케일 아웃 상황에서 새로 생성되는 파드마다 반복된다고 밝혔다. 예를 들어 트래픽이 급증해 수평형 파드 오토스케일러(HorizontalPodAutoscaler)가 새 파드 5개를 요청하면, 5개 파드 모두 독립적으로 동일한 다운로드 절차를 거친다. AWS는 오토스케일링 정책 자체는 몇 초 만에 반응할 수 있지만, 각 파드가 다운로드를 마쳐야 하므로 실제로 추가 트래픽을 처리할 수 있기까지는 25분에서 30분 이상이 걸린다고 설명했다.

모델 캐싱 작동 방식

AWS에 따르면 모델 캐싱은 파드가 스케줄링되기 전에 데이터를 노드에 미리 로드하는 방식으로, 함께 켜거나 개별적으로 켤 수 있는 두 가지 독립된 기능으로 구성된다.

이 중 하나인 가중치 캐시는 각 노드의 로컬 NVMe 스토리지에 모델 가중치를 미리 내려받는다고 AWS는 설명했다. AWS에 따르면 설정 방법은 InferenceEndpointConfig나 JumpStartModel 리소스에 weightsCache를 활성화한 modelCacheConfig를 추가해 적용하는 것이다. 이를 적용하면 하이퍼포드 인퍼런스 오퍼레이터가 자동으로 ModelDataCacheConfig 리소스를 생성하고, 아마존 S3를 비롯해 설정된 소스로부터 모델 가중치 다운로드를 시작한다고 AWS는 밝혔다.

모델 캐싱을 활성화하면 파드가 네트워크를 통해 내려받는 대신 로컬 NVMe 스토리지에서 초당 약 7GB 속도로 데이터를 읽을 수 있다고 AWS는 설명했다. 그 결과 파드는 보통 수십 분이 아닌 몇 초 만에 트래픽 처리를 시작할 수 있다고 AWS는 밝혔다.

출처: AWS 머신러닝 블로그, "Reduce inference cold starts on Amazon SageMaker HyperPod with model caching", 2026년 9월 10일 게재.