SharedMergeTree vs ReplicatedMergeTree: el caso de negocio
Si tienes el software ClickHouse® desplegado a escala en tu propio hardware, estás pagando un impuesto que nunca aparece como partida en la factura. La solución es un motor llamado SharedMergeTree, y los argumentos a su favor empiezan por tu factura de almacenamiento.
Vamos con la primera parte. ReplicatedMergeTree guarda una copia completa de tus datos en cada réplica. Con dos réplicas, lo almacenas todo dos veces. Con tres, tres veces. Una tabla que crece medio terabyte al mes te ocupa un terabyte entero más cada mes en un setup de dos réplicas, y esa diferencia se va acumulando mientras conserves los datos.
La mayoría de los equipos con los que hablamos nunca le han puesto nombre a esto. Saben que el cluster es caro, pero no han llegado a atribuir ese coste al motor. Así que vamos a hacerlo nosotros, porque en realidad son cuatro impuestos, uno encima de otro, y después te enseñamos qué cambia cuando dejas de pagarlos.
Este es el caso de negocio. Al final sabrás si la alternativa, desacoplar compute y almacenamiento, compensa para tu carga, y te llevarás una checklist para guardar.
Qué es SharedMergeTree en realidad
Empecemos por la idea sobre la que se apoya todo: almacenamiento y compute se separan.
En un deploy clásico de ClickHouse, cada nodo tiene todo el dataset en disco local. Compute y almacenamiento comparten máquina, así que si quieres más de uno, te llevas más del otro, te haga falta o no. SharedMergeTree rompe ese vínculo. Los datos están una sola vez en object storage (S3 o similar) y los nodos de compute que hay encima no tienen estado. Hemos escrito sobre las dos mitades: cómo los datos salen del disco local y pasan a object storage y cómo el compute sin estado sigue siendo rápido leyendo de ahí.
Lo primero que notan tus ingenieros: una tabla es una tabla. Nada de una tabla Distributed encima de una tabla local con shards. Nada de elegir sharding key. Nada de ON CLUSTER añadido a cada cambio de schema y a cada query de lectura. Apuntas a un único endpoint y se comporta igual tenga detrás un nodo o cincuenta.
Para bajarlo a tierra, aquí tienes la misma tabla lógica en los dos mundos. En self-hosted, es un conjunto de objetos que tienen que ir sincronizados:
-- a physical table per shard, replicated for durability
CREATE TABLE events_local ON CLUSTER main (...)
ENGINE = ReplicatedMergeTree(...)
ORDER BY (...);
-- a Distributed table to fan queries across the shards
CREATE TABLE events ON CLUSTER main AS events_local
ENGINE = Distributed(main, default, events_local, rand());
Con almacenamiento compartido, es un solo objeto:
CREATE TABLE events (...)
ENGINE = SharedMergeTree
ORDER BY (...);
La primera versión deja la estructura de shards incrustada en tu schema, en tu cliente y en cada migración que lances. La segunda no tiene ninguna estructura de shards que se filtre.
En ObsessionDB tenemos nuestra propia versión, alloy, desarrollada contra la misma API de SharedMergeTree, así que la experiencia de desarrollo es idéntica aunque la implementación de debajo sea nuestra. Tampoco hay nada exótico en esto. Separar almacenamiento y compute es hoy el diseño por defecto de los sistemas de datos en la nube. No lo inventamos nosotros, y ClickHouse tampoco. La pregunta interesante es qué le hace a tu factura y a tus guardias.
Por qué ReplicatedMergeTree se carga tu estructura de costes
Cuatro mecanismos, y se acumulan.
El primero es el del principio: pagas por los mismos datos más de una vez. Replicar significa copias, no shards. Cada réplica guarda una copia completa de los datos de los que es responsable, así que la durabilidad te cuesta un múltiplo del tamaño real de tus datos. SharedMergeTree guarda una sola copia en object storage. Al añadir un nodo de compute no añades otra copia de los datos, añades un lector. El número de réplicas deja de mandar en la factura de almacenamiento.
El segundo hace menos ruido, y es el que más hardware desperdicia. Con compute y almacenamiento soldados, no puedes escalarlos por separado. Pongamos que tu carga necesita más almacenamiento pero el mismo compute. En un cluster replicado añades nodos enteros igualmente, y acabas pagando compute que nunca vas a usar solo para guardar bytes. Y pasa también al revés: un pico de queries te obliga a provisionar máquinas cargadas de almacenamiento para lo que en realidad es un problema de compute. Lo oímos constantemente de equipos que se plantean migrar: un sobreaprovisionamiento que nunca eligieron. La solución es desacoplar. El almacenamiento crece añadiendo bytes a object storage. El compute crece añadiendo nodos sin estado. Dos mandos en vez de uno.
El tercer impuesto es operativo, y se subestima porque no se ve hasta que intentas crecer. Añadir capacidad a un cluster con shards no es darle a un botón. No hay rebalanceo automático de shards: los datos que ya están en tus shards antiguos no se mueven al nuevo hasta que los mueves tú, a mano. En la práctica, eso es copiar tablas grandes entre nodos, un trabajo que se mide en horas y días y que hay que hacer con cuidado para no tumbar el cluster. Súmale la capa de coordinación que tienes que mantener sana y el conocimiento de los shards que se cuela en tu aplicación, y ya tienes la foto real: un cluster replicado es un diseño elegante de verdad, pero hacen falta varias personas para mantener vivo incluso uno pequeño. Con SharedMergeTree, añadir un nodo es una operación de metadatos. El nodo se anuncia y empieza a servir. No hay nada que copiar.
El cuarto es cómo se comportan los dos modelos bajo carga, y aquí te enseñamos nuestros propios números. En un setup replicado clásico, doblar el throughput nos ha costado entre 2,3 y 2,5 veces los recursos, porque el overhead de coordinación y duplicación va en el paquete. Con almacenamiento compartido, para el mismo salto vemos más bien 1,2 veces. La diferencia es que llegamos ahí sin volver a copiar el dataset, y en lo que tarda un nodo en arrancar, no en lo que tarda un cluster en rebalancearse.
Escalar en horizontal tampoco es la única palanca. Como el compute está separado del almacenamiento, puedes tener varios pools de compute sobre los mismos datos, cada uno dimensionado para su trabajo: uno para la ingesta, otro para la API y otro para las queries analíticas pesadas. En un cluster replicado, esas cargas comparten nodos y compiten entre sí, así que el job batch que satura todos los cores es también el motivo de que se te atasquen los dashboards. Dale su propio pool y el serving ni se entera. Eso es la separación compute-compute, y funciona precisamente porque los datos que hay debajo se comparten, no se copian.
La otra cara de la moneda
No nos fiamos de un pitch sin pegas, así que aquí van. SharedMergeTree no sale gratis, y el coste aparece donde la gente no lo espera.
El object storage no es lento por falta de capacidad. Es lento por la latencia y por los límites de peticiones. AWS sitúa la latencia hasta el primer byte de S3 en "unos 100-200 milisegundos", frente a los microsegundos de un disco NVMe local. Y hay un techo de peticiones: S3 te da, en palabras de AWS, al menos 3.500 peticiones PUT/COPY/POST/DELETE o 5.500 GET/HEAD por segundo por prefijo particionado de Amazon S3. Parece de sobra hasta que recuerdas que una parte de ClickHouse es un directorio lleno de ficheros pequeños, y que un layout descuidado puede convertir un solo insert en miles de objetos diminutos, todos compitiendo por el mismo cupo de peticiones. Ese es el verdadero problema de ingeniería que tiene que resolver un motor de almacenamiento compartido, y por eso ninguno puede existir sin una capa de caché seria delante del object store.
Y hay un tipo de carga en el que nada de esto compensa. Si tu dataset es pequeño, estático y cabe de sobra en un disco rápido, un solo nodo self-hosted es más rápido. Lo decimos también en nuestras propias notas de lanzamiento: las cargas pequeñas pueden ir algo más lentas con almacenamiento separado que en una sola máquina con disco local. Desacoplar sale a cuenta cuando hay escala.
Cuándo tiene sentido SharedMergeTree
Esta es la parte para guardar. Apuesta por SharedMergeTree si te ves reflejado en la mayoría de estos puntos:
- Tu dataset es grande y no para de crecer, y la replicación te está multiplicando el almacenamiento sin hacer ruido.
- Tienes ingesta en tiempo real, serving y analítica pesada sobre los mismos datos, y se pelean por los mismos nodos.
- Tu carga tiene picos o es estacional, y quieres añadir compute sin tocar el almacenamiento.
- El downtime de los reshardings y hacer de niñera de la capa de coordinación le cuestan horas de verdad a tu equipo.
Quédate en un solo nodo o en ReplicatedMergeTree a secas si:
- Tus datos son pequeños y estáticos y caben en un disco local rápido.
- Necesitas evitar por completo la penalización de latencia.
- Prefieres tener control total antes que elasticidad.
Una regla rápida: no hace falta que se cumplan los cuatro. Con que te veas en uno solo de los de arriba, ya estás pagando el impuesto cada mes, y eso ya es motivo suficiente para mirarte ObsessionDB a fondo.
Dónde queda ObsessionDB en todo esto
Seguramente ya te imaginas de qué lado estamos. ObsessionDB te da la arquitectura de SharedMergeTree sin el modelo de precios de ClickHouse Cloud ni su lock-in. La misma API, nuestro propio motor por debajo, hecho por gente que llevó ClickHouse a casi un petabyte en Numia y acabó harta de pagar el impuesto de la replicación en almacenamiento y en fines de semana.
No somos los únicos, y no vamos a fingir lo contrario. Nuestro argumento es más acotado: la misma arquitectura, alojada donde quieras, con mejor relación entre rendimiento y lo que pagas. En un benchmark de diez mil millones de filas medimos queries un 35 % más rápidas y hasta 9x más rendimiento por dólar que ClickHouse Cloud; esa comparativa tiene su propio artículo y no la repetimos aquí.
Si las cuentas de almacenamiento de este artículo te suenan a tu cluster, esa es la conversación que hay que tener. Hacemos evaluaciones de carga: trae tus queries reales y la forma real de tus datos, y te ponemos delante la comparativa lado a lado sobre hardware.
Seguir Leyendo
Publicado originalmente en obsessionDB. Lee el artículo original aquí.
ClickHouse is a registered trademark of ClickHouse, Inc. https://clickhouse.com