AWS detalla una herramienta de aprendizaje por refuerzo multiturno en SageMaker AI

Lo que anunció AWS

AWS publicó una entrada técnica en su blog en la que detalla el aprendizaje por refuerzo multiturno (Multi-Turn Reinforcement Learning, MTRL), una capacidad de entrenamiento en Amazon SageMaker AI diseñada para tareas agénticas que requieren una secuencia de acciones en lugar de una sola respuesta. Según AWS, el método resuelve una carencia de los enfoques de entrenamiento existentes: el ajuste fino supervisado necesita respuestas correctas etiquetadas, que no existen para tareas de varios pasos con numerosas rutas posibles hacia el éxito, y el aprendizaje por refuerzo de un solo turno no puede atribuir mérito a una decisión tomada varios pasos antes de que se conozca el resultado.

AWS afirma que MTRL entrena los modelos utilizando únicamente una recompensa final, comunicada al término de todo el episodio de la tarea, sin especificar qué secuencia exacta de acciones debería haberse seguido.

Cómo funciona el sistema

AWS describe una arquitectura de dos partes. SageMaker AI gestiona el trabajo de entrenamiento y el modelo de política que se está entrenando. Amazon Bedrock AgentCore alberga el agente, el entorno de la tarea y la función de recompensa. Para cada episodio de entrenamiento (rollout), AWS explica que el servicio MTRL invoca el runtime de AgentCore con un único ejemplo de entrenamiento, y un agente Strands dentro de ese runtime llama al modelo de política a través de un endpoint compatible con OpenAI que proporciona el SageMaker Job Runtime.

AWS señala que los agentes también pueden alojarse en la infraestructura propia del cliente, incluidos Amazon Elastic Kubernetes Service, Amazon EC2 o AWS Fargate, conectados mediante un reenviador de AWS Lambda, aunque el ejemplo de la entrada usa AgentCore.

Una vez concluido el episodio de la tarea, AWS indica que el agente devuelve una única recompensa, y el sistema aplica la Optimización de Política Relativa de Grupo (Group Relative Policy Optimization, GRPO) para comparar las recompensas entre múltiples rollouts de la misma tarea y actualizar un adaptador de Adaptación de Bajo Rango (Low-Rank Adaptation, LoRA) en el modelo de política.

AWS destaca tres aspectos de diseño: el agente y la función de recompensa conviven en un mismo archivo desplegado, el conjunto de datos de entrenamiento solo incorpora la información específica de la tarea necesaria para la puntuación, y las estructuras de recompensa están ponderadas hacia los resultados finales, con términos menores para la estrategia intermedia.

Ejemplo práctico y resultados

AWS ilustra el proceso con Wordle, un juego en el que el jugador dispone de seis intentos para adivinar una palabra de cinco letras, elegido porque sus reglas son sencillas, la retroalimentación se acumula turno a turno y los resultados pueden puntuarse de forma objetiva. AWS reconoce que los modelos de vanguardia ya juegan bien al Wordle y presenta el ejemplo como sustituto de flujos de trabajo internos y específicos de cada negocio, de varios pasos, para los que los modelos públicos no han sido entrenados.

En una ejecución de entrenamiento reportada, AWS afirma que MTRL elevó la tasa de resolución de GPT-OSS-20B en palabras no vistas previamente del 61 al 84 por ciento con el nivel de esfuerzo de razonamiento predeterminado del modelo, y del 15 al 69 por ciento con un nivel de esfuerzo de razonamiento más bajo empleado durante el entrenamiento, con un coste de entrenamiento reportado de unos 339 dólares en tokens. AWS señala que la ejecución de 100 pasos consumió 491,6 millones de tokens de prefill, 159,7 millones de tokens de muestra y 643,3 millones de tokens de entrenamiento a lo largo de 105.486 rollouts, en 12 horas y 40 minutos.

Modelos compatibles y precios

AWS indica que MTRL admite actualmente cuatro modelos base, cada uno entrenado con un adaptador LoRA: Amazon Nova 2 Lite, GPT-OSS-20B, Gemma 4 31B (ajustado por instrucciones) y Qwen 3.6 27B. La disponibilidad varía según la región de AWS: Nova 2 Lite y GPT-OSS-20B están disponibles en EE. UU. Este (Virginia) y EE. UU. Oeste (Oregón), mientras que Gemma 4 31B y Qwen 3.6 27B solo están disponibles en EE. UU. Oeste (Oregón). AWS afirma que eligió GPT-OSS-20B para su ejemplo porque tiene el precio por token más bajo de los cuatro y permite ajustar el nivel de esfuerzo de razonamiento en cada solicitud.

AWS describe MTRL como un servicio sin necesidad de gestión de servidores (serverless): el cliente selecciona un modelo base mientras el servicio aprovisiona automáticamente la infraestructura de entrenamiento y muestreo. Los precios se calculan por millón de tokens en tres categorías: tokens de prefill procesados como entrada, tokens de muestra generados por el modelo de política (incluidos los tokens de razonamiento) y tokens de entrenamiento procesados durante el paso hacia atrás que actualiza el adaptador LoRA. AWS también señala que los conjuntos de datos, los agentes y los modelos entrenados de los clientes permanecen dentro de la cuenta de AWS del cliente y no se emplean para entrenar los modelos base de AWS.

Fuente: AWS Machine Learning Blog, "Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide", publicado el 23 de octubre de 2026.