AWSがSageMaker HyperPodに「モデルキャッシング」機能を追加、推論のコールドスタートを短縮
AWS announced model caching for Amazon SageMaker Inference on HyperPod, pre-loading model weights and container images to cut pod startup time from tens of minutes to seconds.
ひとことで言うと
AWSはAmazon SageMaker HyperPodにおける推論のコールドスタート短縮に向けて何を発表したのか。
AWS launched model caching for Amazon SageMaker Inference on HyperPod. The feature pre-loads model weights and container images onto cluster nodes so pods can read from local NVMe storage at about 7 GB/s instead of downloading over the network, letting pods typically start serving traffic in seconds rather than tens of minutes, AWS says.
要点
- AWS says deploying an LLM on SageMaker HyperPod involves two sequential downloads before a pod can serve traffic: the inference server container image from Amazon ECR, then the model weights from a storage source such as Amazon S3, FSx for Lustre, or HuggingFace Hub.
- AWSによると、DeepSeek-R1のような600GBを超える大規模モデルは、準備が整うまでに30分以上かかることがあり、スケールアウトが発生するたびに同じダウンロード work程が繰り返される。
- AWS states that model caching pre-loads model weights and container images onto cluster nodes before pods need them, letting pods read from local NVMe storage at approximately 7 GB/s instead of downloading over the network.
- AWSによると、この機能には重み(weights)キャッシュが含まれる。InferenceEndpointConfigまたはJumpStartModelリソースにmodelCacheConfigをweightsCache付きで追加することで有効化され、これによりHyperPod Inference OperatorがModelDataCacheConfigリソースを作成し、重みの事前ダウンロードを開始する。
- AWS says the two capabilities in model caching can be enabled together or separately.
Amazon Web Services(AWS)は、Amazon SageMaker HyperPod上のAmazon SageMaker Inference向けに「モデルキャッシュ」機能を発表した。推論用ポッドがトラフィックの処理を開始するまでの時間を短縮することを目的とした機能である。
コールドスタート問題
AWSによると、SageMaker HyperPod上で大規模言語モデルを推論用にデプロイする際、ポッドの要求からそのポッドがリクエストを処理できる状態になるまでには時間差が生じる。AWSはこの遅延を、順に実行される2つのダウンロード処理に起因するとしている。すなわち、Amazon Elastic Container Registryからの推論サーバーのコンテナイメージのダウンロードと、Amazon S3、Amazon FSx for Lustre、HuggingFace Hubといったストレージソースからのモデル重みのダウンロードである。
AWSによれば、vLLMやLMIなどのサーバー用コンテナイメージは数ギガバイト規模あり、GPUドライバ、CUDAライブラリ、サービングフレームワークを内包しているため、取得に5〜7分を要する。その後、推論サーバーはモデルの重みをダウンロードする。AWSは、Amazon S3上の145GBのモデルの場合、ネットワーク状況によってはさらに20分以上かかることがあり、DeepSeek-R1のような600GBを超えるモデルでは合計で30分以上に達する場合もあるとしている。
さらにAWSは、このダウンロードのサイクルはスケールアウト時に新しいポッドが起動するたびに繰り返されると述べている。同社が挙げる例では、トラフィックが急増しHorizontalPodAutoscalerが新たに5つのポッドを要求した場合、5つすべてが個別にこのダウンロード処理を経ることになる。オートスケーリングのポリシー自体は数秒で反応する可能性があるものの、各ポッドがダウンロードを完了させる必要があるため、追加トラフィックを実際に処理できるようになるまでには25〜30分以上かかるとAWSは指摘する。
モデルキャッシュの仕組み
AWSによれば、モデルキャッシュはポッドがスケジューリングされる前に、あらかじめデータをノードに読み込んでおく仕組みであり、個別に、あるいは組み合わせて有効化できる2つの独立した機能から構成される。
このうちの一つである「重みキャッシュ(weights cache)」は、モデルの重みを事前に各ノードのローカルNVMeストレージにダウンロードしておく機能だとAWSは説明する。設定手順としては、InferenceEndpointConfigまたはJumpStartModelリソースにweightsCacheを有効にしたmodelCacheConfigを追加し、それを適用するだけだという。適用されると、HyperPod Inference Operatorが自動的にModelDataCacheConfigリソースを作成し、Amazon S3などの設定済みソースからモデルの重みのダウンロードを開始するとAWSは述べている。
モデルキャッシュを有効にすると、ポッドはネットワーク経由でダウンロードする代わりに、ローカルNVMeストレージから約7GB/秒の速度でデータを読み込めるようになるとAWSは説明する。その結果、ポッドが実際にトラフィックの処理を開始できるまでの時間は、従来の数十分単位から数秒程度にまで短縮されるという。
出典:AWS Machine Learning Blog「Reduce inference cold starts on Amazon SageMaker HyperPod with model caching」、2026年9月10日公開。
よくある質問
- AWSによると、モデルキャッシングはどのような課題を解決するのか。
- AWS says it addresses the gap between requesting a pod on SageMaker HyperPod and that pod being ready to serve traffic, a gap it attributes to sequential downloads of the container image and model weights.
- AWSは、モデルキャッシュを有効にするとポッドの起動が何倍速くなるとしていますか？
- AWS says pods can typically start serving traffic in seconds rather than tens of minutes once model caching is enabled.
- モデルキャッシュにおける2つの機能とは何ですか。
- AWS describes a weights cache, which pre-loads model weights to local NVMe storage on each node, as one of two independent capabilities that can be enabled together or separately; the announcement's excerpt does not fully detail the second.
- 重みキャッシュはどのように有効化されるのか。
- AWS says a user adds modelCacheConfig with weightsCache enabled to an InferenceEndpointConfig or JumpStartModel resource, which causes the HyperPod Inference Operator to create a ModelDataCacheConfig resource and start downloading weights from the configured source.
出典
- Reduce inference cold starts on Amazon SageMaker HyperPod with model caching | Artificial Intelligence — Amazon Web Services (AWS)