Databricks añade la reparticipación de estado a demanda para Spark Structured Streaming

Databricks anunció la reparticionamiento de estado a demanda ("on-demand state repartitioning") para Apache Spark Structured Streaming, una capacidad en Vista Previa Pública que permite a los ingenieros redimensionar el número de particiones de una consulta de streaming con estado sin reconstruir el checkpoint ni perder el estado acumulado. La función está disponible en Databricks Runtime 18 y versiones posteriores.

Qué cambió

Según Databricks, las consultas de streaming con estado han tenido históricamente su número de particiones fijado en el momento en que se creaba el checkpoint. Cambiar el parámetro estándar spark.sql.shuffle.partitions y reiniciar la consulta no tenía ningún efecto, porque la distribución de particiones quedaba integrada en el checkpoint. La única opción anterior, según Databricks, era descartar el checkpoint y comenzar uno nuevo, lo que implicaba perder todo el estado acumulado por la consulta, como datos de detección de fraude en millones de cuentas o ventanas de sesión de varios días.

Databricks afirma que la reparticionamiento de estado a demanda elimina esa restricción. Se aplica a cualquier consulta de streaming con estado, incluidas agregaciones, uniones stream-stream, deduplicación, sesionización y cargas de trabajo con transformWithState.

Cómo funciona

Databricks explica que los usuarios establecen una configuración específica, spark.sql.streaming.stateStore.partitions, y reinician la consulta. Este parámetro tiene prioridad sobre spark.sql.shuffle.partitions en las consultas con estado. Al reiniciar, la consulta primero completa cualquier micro-lote pendiente y luego realiza una operación única de reparticionamiento que redistribuye físicamente los datos de estado según el nuevo número de particiones, reasignando las claves mediante hash a sus ubicaciones correctas. Una vez completado ese proceso, la consulta reanuda su procesamiento con el nuevo número de particiones.

Databricks señala que los requisitos para usar esta función son Databricks Runtime 18 o superior y el proveedor de almacén de estado RocksDB, que es el predeterminado para las nuevas consultas creadas en DBR 17.3 y versiones posteriores.

Monitoreo

Databricks indica que la duración de la operación de reparticionamiento aparece en los eventos estándar StreamingQueryProgress, específicamente en las métricas durationMs, bajo un campo llamado controlBatch.REPARTITION. La compañía señala que el tiempo de reparticionamiento es proporcional a la cantidad de estado involucrado, pero espera que en la mayoría de las cargas de trabajo tome solo unos segundos.

Casos de uso mencionados

Databricks describe tres escenarios para esta función: ajustar el tamaño de una consulta después de su lanzamiento, cuando el número inicial de particiones definido para un piloto pequeño ya no se ajusta al crecimiento, como un flujo de puntuación de fraude que se expande de una región a muchas; adaptarse a cargas de trabajo cambiantes, como un pipeline de subastas publicitarias que podría aumentar el número de particiones durante el tráfico diurno y reducirlo por la noche; y la recarga de datos históricos, donde se podría usar temporalmente un mayor número de particiones para acelerar el reprocesamiento de datos pasados antes de reducirlo nuevamente para el tráfico en régimen estable.

Ejemplo de cliente

Databricks citó a Alexis Chicoine, Desarrollador de Software Senior en Coveo, uno de los primeros usuarios de la función, quien afirmó que Coveo ejecuta pipelines de streaming con estado a gran escala con volúmenes de datos fluctuantes y ha reducido en un 40% los costos asociados de la API de Amazon S3 gracias a esta capacidad. Chicoine señaló que anteriormente la compañía tenía que elegir entre el sobreaprovisionamiento o la reconstrucción a partir de nuevos checkpoints, lo que llevaba los costos de la API de almacenamiento a niveles cercanos a los del cómputo, y que ahora pueden escalar sin interrumpir el estado existente ni provocar migraciones de checkpoint.

Fuente: blog de Databricks, "Announcing On-Demand State Repartitioning for Apache Spark™ Structured Streaming on Databricks", publicado el 14 de septiembre de 2026.