AWSがSageMaker AI向けのマルチターン強化学習ツールの詳細を公開
AWSは、Amazon SageMaker AI上でのマルチターン強化学習に関する技術ガイドを公開した。これは、結果に基づく報酬を用いて、複数ステップのエージェント型タスクでモデルを訓練する手法である。
ひとことで言うと
AWSはSageMaker AI上のマルチターン強化学習について何を発表したのか。
AWSは、Amazon SageMaker AI上でのマルチターン強化学習(MTRL)を説明する技術ガイドを公開した。これはサーバーレスのパイプラインで、Amazon Bedrock AgentCoreを使ってエージェントと報酬関数をホストし、単一のプロンプトではなく一連の行動シーケンス全体を評価することで、複数ステップのエージェント型タスクでモデルを訓練する。
要点
- AWSは、Amazon SageMaker AI上のマルチターン強化学習(MTRL)を、一連の行動を必要とし、そのシーケンスの最終的な結果のみを評価できるエージェント型タスクでモデルを訓練する手法として説明している。
- AWSによれば、SageMaker AIはプロンプトをAmazon Bedrock AgentCore上(あるいはAWS Lambdaのフォワーダーを介したAmazon EKS、EC2、Fargateなどの顧客インフラ上)でホストされるエージェントに送信し、エージェントはエピソード終了時に単一の報酬を報告する。
- AWSは、このパイプラインがグループ相対方策最適化(GRPO)を用いて、複数のロールアウト間の報酬の差に基づき、ポリシーモデル上のLow-Rank Adaptation(LoRA)アダプターを更新するとしている。
- AWSは、MTRLが現在LoRAアダプターを用いた4つのベースモデル、Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B(命令チューニング済み)、Qwen 3.6 27Bに対応しており、モデルごとに利用可能なAWSリージョンが異なるとしている。
- AWSが説明するWordleを用いた実行例では、MTRLがGPT-OSS-20Bの解答率を、既定の推論努力レベルで61%から84%、低い推論努力レベルで15%から69%に向上させ、報告された訓練コストはトークン代でおよそ339ドルだった。
AWSが発表した内容
AWSは、Amazon SageMaker AI上の訓練機能であるマルチターン強化学習(MTRL)について詳述した技術ブログ記事を公開した。この機能は、単一の応答ではなく一連の行動を必要とするエージェント型タスク向けに設計されている。AWSによれば、この手法は既存の訓練手法のギャップに対応するものだ。教師ありファインチューニングにはラベル付けされた正解が必要だが、複数の成功パスが存在し得るマルチステップタスクにはそうした正解は存在しない。また、単一ターンの強化学習では、結果が判明する何ステップも前に下された決定に功績を帰属させることができない。
AWSによると、MTRLはタスクのエピソード全体が終了した時点で報告される最終的な報酬のみを用いてモデルを訓練し、どのような行動シーケンスを取るべきだったかを明示的には指定しない。
システムの仕組み
AWSは2つの要素からなるアーキテクチャを説明している。SageMaker AIは訓練ジョブと訓練対象のポリシーモデルを管理する。Amazon Bedrock AgentCoreは、エージェント、タスク環境、報酬関数をホストする。AWSによれば、各訓練ロールアウトについて、MTRLサービスは単一の訓練例を使ってAgentCoreランタイムを呼び出し、そのランタイム内のStrandsエージェントが、SageMaker Job Runtimeが提供するOpenAI互換エンドポイントを通じてポリシーモデルを呼び出す。
AWSは、エージェントを代わりに顧客自身のインフラ上でホストすることも可能だとしている。Amazon Elastic Kubernetes Service、Amazon EC2、AWS Fargateなどを、AWS Lambdaのフォワーダーを介して接続する方式だが、記事内の例ではAgentCoreを使用している。
タスクのエピソードが終了すると、エージェントは単一の報酬を返す。システムはグループ相対方策最適化(GRPO)を適用し、同一タスクの複数のロールアウト間で報酬を比較し、ポリシーモデル上のLow-Rank Adaptation(LoRA)アダプターを更新する、とAWSは説明している。
AWSは3つの設計上のポイントを強調している。エージェントと報酬関数は1つのデプロイファイルに共存すること、訓練データセットはスコアリングに必要なタスク固有の入力のみを含むこと、報酬構造は最終的な結果に重点を置き、中間的な戦略に対する項はより小さく設定されていることだ。
実例と結果
AWSはこのパイプラインを、プレイヤーが6回の試行で5文字の単語を推測するゲーム、Wordleを使って説明している。この例が選ばれた理由は、ルールが単純で、フィードバックがターンごとに蓄積され、結果を客観的に評価できるためだ。AWSは、最先端モデルはすでにWordleを上手にプレイできると指摘し、この例を、一般公開モデルが訓練されていない社内固有のマルチステップ業務フローの代用として位置づけている。
報告されたある訓練実行において、AWSはMTRLがGPT-OSS-20Bの未知の単語に対する解答率を、モデルの既定の推論努力レベルで61%から84%に、訓練時に使用したより低い推論努力レベルで15%から69%に向上させたとしている。報告された訓練コストはトークン代でおよそ339ドルだった。AWSによれば、この100ステップの実行では、12時間40分にわたる105,486回のロールアウトで、4億9160万のプリフィルトークン、1億5970万のサンプルトークン、6億4330万の訓練トークンを消費した。
対応モデルと価格
AWSは、MTRLが現在、それぞれLoRAアダプターで訓練された4つのベースモデルに対応しているとしている。Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B(命令チューニング済み)、Qwen 3.6 27Bだ。利用可能性はAWSリージョンによって異なり、Nova 2 LiteとGPT-OSS-20Bは米国東部(バージニア北部)と米国西部(オレゴン)で利用可能、Gemma 4 31BとQwen 3.6 27Bは米国西部(オレゴン)でのみ利用可能だ。AWSは、GPT-OSS-20Bを例に選んだ理由について、4つのモデルの中でトークン単価が最も低く、リクエストごとに推論努力レベルを設定できるためだとしている。
AWSはMTRLをサーバーレスと説明している。つまり、顧客はベースモデルを選択するだけで、サービスが訓練とサンプリングのインフラを自動的にプロビジョニングする。価格は100万トークン当たりで、3つのカテゴリーに分かれている。入力として処理されるプリフィルトークン、ポリシーモデルが生成する推論トークンを含むサンプルトークン、そしてLoRAアダプターを更新する逆伝播中に処理される訓練トークンだ。AWSはまた、顧客のデータセット、エージェント、訓練済みモデルは顧客のAWSアカウント内に留まり、AWSのベースモデルの訓練には使用されないとしている。
出典:AWS Machine Learning Blog「Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide」、2026年10月23日公開。
よくある質問
- SageMaker AI上のマルチターン強化学習(MTRL)とは何か。
- AWSはこれを、複数の連続した行動を伴うエージェント型タスク向けの訓練手法として説明している。正しい手順のラベル付き例を用いるのではなく、エピソード終了時に報告される単一の報酬を用いてモデルを訓練する。
- MTRLはどのモデルに対応しているのか。
- AWSによれば、MTRLはAmazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B(命令チューニング済み)、Qwen 3.6 27Bに対応しており、いずれもLoRAアダプターで訓練されている。利用可能性はAWSリージョンによって異なる。
- MTRLの価格はどのように決まるのか。
- AWSによれば、顧客は100万トークン当たりの価格を、プリフィル(入力トークン)、サンプル(生成トークン)、訓練(LoRAアダプターを更新する逆伝播中のトークン)の3カテゴリーで支払う。価格はベースモデルによって異なる。
- AWSはMTRLを説明するためにどのような例を用いたのか。
- AWSは単語推測ゲームのWordleを教材として使用し、MTRLによってGPT-OSS-20Bの未知の単語に対する解答率が、既定の推論努力レベルで61%から84%に向上したと報告している。
出典
- Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide | Artificial Intelligence — Amazon Web Services (AWS)