Backfill y reingesta automáticos para ClickHouse® DB
Matamos una reingesta de 20 millones de filas cuando iba por un tercio. Y no con buenas maneras: le mandamos al proceso un kill en seco a mitad de ejecución, como haría un portátil al cerrar la tapa o un runner de CI que se queda sin tiempo. Después lanzamos un solo comando para reanudarla. Terminó lo que faltaba en 25 segundos y dejó exactamente 20.000.000 de filas en el destino. Ni una perdida. Ni una duplicada.
Esa recuperación es la clave de todo, así que volveré a ella. Antes, el problema que resuelve.
Si alguna vez te ha tocado mover una tabla grande en ClickHouse®, ya sabes cómo va. Has cambiado una sort key, has añadido una columna o has arreglado una vista materializada, y ahora hay que reescribir unos cuantos miles de millones de filas para que todo cuadre. Lo primero que te pide el cuerpo es un INSERT ... SELECT enorme. Con un volumen de verdad, eso te tumba el cluster.
La trampa no es el insert. Es el bucle.
Una única sentencia que reescribe miles de millones de filas le disputa la memoria a tu tráfico de lectura, frena los merges en segundo plano, choca con un límite de memoria y muere. Muere al 80 %, sin checkpoint, así que vuelta a empezar desde cero. Reintentas y, como el insert no es idempotente, ahora tienes la mitad de las filas duplicadas. Y en todo ese tiempo no sabes ni por dónde va. Estás en otra terminal lanzando SELECT ... FROM system.processes y entornando los ojos.
Así que haces lo razonable: trocearlo. Partes el rango, montas un bucle e insertas un trozo cada vez.
Y ahí es donde te pilla. El bucle de chunks es el trabajo de verdad. Para hacerlo bien tienes que elegir unos límites que dejen cada trozo por debajo de un presupuesto de memoria, y eso obliga a mirar cómo se distribuyen los datos, y eso a su vez obliga a lidiar con el sesgo cuando un solo valor acapara media tabla. Cada chunk tiene que ser idempotente para que un reintento no duplique. El progreso tiene que persistirse para que una caída no te haga perder la ejecución. Hay que sondear hasta que termine, capturar los fallos y mostrar el progreso en algún sitio. Eso ya es un pequeño sistema. La mayoría de los equipos lo escribe una vez, con la fecha de entrega encima y un poco mal, y luego le toca mantenerlo para siempre.
Ese bucle lo conocemos bien. En Numia teníamos petabytes de datos on-chain en ClickHouse, y reingestar era el pan de cada semana. Un cambio de schema, una vista materializada corregida, una cadena que había que volver a traer desde un bloque antiguo, y otra vez unos cuantos miles de millones de filas que mover para que cuadrara. Total, que escribimos el bucle de chunks. Y luego otra vez para la siguiente tabla. Lo metimos en un script, le añadimos a la fuerza la reanudación después de que una ejecución muriera de madrugada y nos hiciera perder el progreso, y a partir de ahí, parche tras parche. Nunca fue la parte interesante. Solo era lo que había que quitarse de en medio para llegar a ella.
Nos cansamos de escribir ese sistema. Por eso el plugin de backfill de CHKit lo escribe por ti, y el mismo plan puede ejecutarse desde tu máquina o pasarse a nuestra plataforma para que lo ejecute como un job gestionado. Es open source, con licencia MIT, y funciona contra ClickHouse Cloud, ObsessionDB o un cluster de ClickHouse autogestionado.
Le das una tabla de ClickHouse y te devuelve un plan de backfill
Se empieza por el plan. Le pasas una tabla y un presupuesto de tamaño por chunk:
chkit backfill plan --target analytics.events --max-chunk-bytes 2G
CHKit lee las particiones y las sort keys de la tabla y calcula por su cuenta los límites de los chunks. El primer corte son las particiones. Las que superan el presupuesto se vuelven a cortar por la sort key, y el criterio depende de los datos: una clave numérica se divide en rangos por cuantiles, una columna temporal en intervalos de tiempo, y una clave sesgada en la que domina un valor se parte por la siguiente columna de la sort key, para que ese valor caliente no acabe en un único chunk gigantesco. Tú no calculas nada de esto. Lo que recibes es un plan inmutable: una lista de chunks, cada uno más o menos del tamaño que pediste.
¿Aguanta con datos reales? Lo probamos con wikicold, una tabla de 4.230 millones de filas de nuestro cluster de benchmark, con un presupuesto de 2 GiB. Generó un plan de 89 chunks en 28 particiones en unos 69 segundos. Los chunks salieron muy parejos: 1,7 GiB de media y 2,18 GiB el mayor, todos cerca del objetivo. Sin ajustar nada a mano.
El plan es solo contexto: todavía no se ha ejecutado nada. Es intencionado, porque el plan es lo que consumen las dos vías de ejecución.
Puedes interrumpirlo y reintentarlo sin miedo
Ahora toca ejecutarlo:
chkit backfill run --plan-id <id>
Aquí es donde el bucle que no has tenido que escribir demuestra lo que vale. Pasan tres cosas sin que tengas que pedirlas.
Cada chunk es idempotente. Lleva un token de dedup determinista, generado a partir del plan y del id del chunk, así que ClickHouse descarta el bloque duplicado si el mismo chunk llega dos veces. Reintenta un chunk, relanza el plan entero, ejecútalo dos veces mientras duermes: el número de filas no cambia. Los duplicados no se evitan porque tengas cuidado. Es que no pueden darse.
Los chunks se ejecutan como queries asíncronas con IDs deterministas, y su progreso se lee de system.query_log. No hay que vigilar nada en una terminal. La ejecución limita su propia concurrencia y sondea cada chunk hasta que termina.
Además, la ejecución se puede reanudar. El progreso se guarda en checkpoints en disco, y antes de continuar, el resume hace algo un poco paranoico: primero se reconcilia con el servidor. Comprueba qué chunks han terminado de verdad, incluidos los que se completaron en el cluster pero nunca llegaron al checkpoint local, y ejecuta solo lo que de verdad queda. --replay-failed relanza los que fallaron.
Nada de esto es un flag que tengas que acordarte de poner. La idempotencia, los checkpoints, el paso de reconciliación: vienen por defecto, porque lo único que una reingesta tiene que garantizar es que puedas olvidarte de ella y retomarla después. Lo diseñamos pensando en ti a las 4 de la mañana delante de una ejecución a medias, no en quien se lee la documentación una tarde tranquila.
Volvamos a la cifra del principio. Planificamos 20 millones de filas en 15 chunks, matamos el proceso cuando habían terminado 5, y el destino se quedó con unos 10,8 millones de filas, a medio camino. Entonces:
chkit backfill resume --plan-id <id>
25,5 segundos después, el destino tenía exactamente 20.000.000 de filas. Volvimos a ejecutar el plan entero encima, los 15 chunks otra vez, y la cifra no se movió de 20.000.000. El resume terminó el trabajo. Gracias a la idempotencia, repetirlo no cambió nada.
Un algoritmo, dos sitios donde ejecutarlo
Todo lo anterior se ejecuta desde tu portátil, contra el cluster de ClickHouse que le indiques. Ese es el plugin que usará casi todo el mundo, @chkit/plugin-backfill, y ni siquiera sabe que ObsessionDB existe.
Hay un segundo plugin, @chkit/plugin-obsessiondb, también open source, que importa el mismo planificador. La diferencia es un verbo:
chkit backfill submit --target analytics.events
En lugar de ejecutar los chunks desde tu máquina, submit le pasa el plan al sistema de jobs de ObsessionDB. Los chunks se ejecutan en el servidor, en nuestra infraestructura, y a ti te llega un enlace al job en la consola. Lo sigues desde ahí, sin tener una terminal abierta. Mismo plan, mismo SQL por chunk, mismos tokens de dedup. Lo único que cambia es dónde se hace el trabajo y quién tiene que estar pendiente: ahora, nadie.
Lo probamos contra un servicio del cluster de benchmark: submit generó el plan, mandó cuatro tareas al backend y las cuatro se completaron en el servidor, con el seguimiento en el enlace de la consola. El número de filas cuadró. La misma idempotencia, porque es el mismo SQL.
Así se ve ese job en la consola. Progreso, filas leídas y escritas, throughput, y una fila por tarea con su duración y sus bytes. Si una tarea falla, se reintenta desde ahí, no desde una terminal que te dejaste abierta. Está junto a tus servicios, tu monitorización y tus alertas, en el mismo sitio desde el que ya vigilas la base de datos.
Podríamos haber hecho un backfill aparte para la nube, ajustado a nuestra infraestructura. Decidimos no hacerlo. La vía gestionada importa el mismo planificador que la open source, ejecuta el mismo SQL y pone los mismos tokens de dedup. En cuanto las dos divergen, lo que hace en tu portátil deja de servir para predecir lo que hace en el nuestro, y en ese preciso momento la gente deja de fiarse de una herramienta. Lo que buscábamos era justo eso: unas tripas compartidas y aburridas.
Hablando claro: el código es open source y gratuito; la funcionalidad gestionada es para clientes. Para enviar un job necesitas un servicio de ObsessionDB al que enviarlo. Para ejecutarlo en local no necesitas nada de nosotros. La vía gestionada está pensada para los backfills demasiado grandes o demasiado largos como para vigilarlos desde una terminal.
Cuándo te va a hacer falta
Reingestar tras un cambio de schema es el caso obvio, y es el que hemos estado contando. Hay otros con la misma pinta. Recalcular una vista materializada después de cambiar su definición, y ahí el backfill hace el insert a través del propio SELECT de la vista. Volver a cargar un dataset desde cero. Rellenar un intervalo de datos derivados después de corregir el bug que los calculó mal la primera vez. Cualquier copia masiva repetible en la que, si no, acabarías manteniendo ese bucle hecho a mano.
La reingesta es el primer job. La apuesta es la plataforma.
La vía gestionada no es una copia de la CLI alojada en un servidor. Es la primera pieza visible para el cliente de un sistema de jobs que llevamos tiempo construyendo dentro de ObsessionDB, el que mueve grandes volúmenes de datos dentro de nuestros propios clusters.
La reingesta es el primer tipo de job que abrimos, pero el patrón es general. Recalcular una vista materializada es el mismo problema. También lo son una importación masiva desde un bucket, volver a cargar un origen desde cero o rellenar un intervalo después de una corrección. En todos los casos hay un gran volumen de datos que mover, de forma segura, bajo demanda o programado, sin nadie pendiente de una terminal.
La apuesta es sencilla. Que las operaciones de datos sean fáciles y repetibles es lo que diferencia una base de datos gestionada de una simplemente más barata. El rendimiento y el precio te abren la puerta. Pero si un equipo puede recalcular un modelo, rellenar los datos de una corrección y reingestar un origen varias veces al día sin tocar infraestructura ni escribir a mano un bucle de chunks, eso es muy difícil de dejar.
backfill submit es el primer paso. Tu reingesta se ejecuta en nuestra infraestructura y la sigues desde la consola. Lo siguiente es el resto de tipos de job, y una forma de crearlos y seguirlos sin tocar la CLI para nada.
La regla que me quedaría
Si el job es puntual y lo terminas de una sentada, ejecútalo en local. Si es grande, va para largo, tiene que sobrevivir a que cierres el portátil o quieres tenerlo controlado y poder repetirlo, envíalo con submit. Local para los jobs rápidos. Submit para los que no quieres estar vigilando tú.
Pruébalo
El plugin de backfill está en GitHub y en npm:
bun add -d @chkit/plugin-backfill
Tiene licencia MIT y funciona contra ClickHouse Cloud, ObsessionDB o un cluster de ClickHouse autogestionado (el soporte para un solo nodo está al caer). Está en beta: los comandos principales son estables, puede haber pequeños cambios incompatibles antes de la 1.0, y la vía de submit es nueva, la publicamos esta semana. Usamos backfill en producción para las reingestas de clientes, que es de donde salieron la mayoría de estas trampas.
Para la vía gestionada, añade @chkit/plugin-obsessiondb y crea un servicio gratis en console.obsessiondb.com.
La referencia completa de comandos está en la documentación de backfill. Y si aún no has visto la parte de schemas de CHKit, el post sobre schema-as-code explica cómo las propias tablas se convierten en código.
Seguir Leyendo
Publicado originalmente en obsessionDB. Lee el artículo original aquí.
ClickHouse is a registered trademark of ClickHouse, Inc. https://clickhouse.com