Neste artigo
- Por que migrar de um banco relacional para um orientado a colunas?
- A superioridade da indexação em ClickHouse
- Gerenciando outliers e performance
- Otimizando a estratégia de inserção e exclusão
- Eliminando camadas desnecessárias
- Como garantir uma migração segura para o seu banco de dados
- Passo a passo da transição
Por que migrar de um banco relacional para um orientado a colunas?
Quando sua aplicação cresce de 80.000 para 1 bilhão de registros, a arquitetura tradicional pode atingir limites críticos de performance. A Momentic, plataforma de testes de software, enfrentou exatamente esse desafio ao notar que seu sistema de cache baseado em PostgreSQL sofria com uso excessivo de recursos e contenção de travas (lock contention) em operações simultâneas de leitura e escrita. O problema principal residia no fato de que, em bancos relacionais tradicionais, o custo das consultas tende a crescer conforme o volume de dados aumenta significativamente.
Para resolver essa questão de escalabilidade, a equipe optou pelo ClickHouse, um banco de dados orientado a colunas. Diferente do modelo de índices B-tree, o ClickHouse utiliza índices primários esparsos, que permitem restringir a busca a um pequeno número de "granules". Isso transforma a eficiência da consulta, especialmente quando as chaves de busca são bem definidas, permitindo manter uma latência média de aproximadamente 250 ms mesmo com um volume massivo de 20 bilhões de entradas e 2 milhões de consultas diárias.
A superioridade da indexação em ClickHouse
O segredo da performance no ClickHouse para este cenário está na sua capacidade de descartar rapidamente grandes blocos de dados irrelevantes. Ao desenhar o primary key incorporando test ID, step ID, versão e timestamp, a Momentic conseguiu que 90% das consultas fossem executadas de forma altamente eficiente, lendo apenas uma ou duas partes de dados. Essa estrutura evita as limitações encontradas em consultas complexas no PostgreSQL onde a carga de E/S cresce linearmente com a tabela.
Gerenciando outliers e performance
Nem todas as consultas seguem o caminho feliz. Em branches principais (main), o volume de dados acessados pode ser imenso, gerando picos de memória e uso excessivo de disco. Para mitigar isso, o uso de materialized views foi fundamental. Elas precomputam os commit timestamps disponíveis para cada test ID, permitindo que a aplicação salte diretamente para a partição correta, eliminando a necessidade de varredura completa nas tabelas durante o runtime.
Otimizando a estratégia de inserção e exclusão
A transição não envolveu apenas trocar a tecnologia de armazenamento, mas também repensar a lógica de acesso. No PostgreSQL, a Momentic utilizava três consultas distintas para gerenciar o cache, o que se provou ineficiente para a natureza colunar do ClickHouse. A solução foi consolidar as operações utilizando o motor ReplacingMergeTree, simplificando drasticamente o ciclo de vida dos dados.
Eliminando camadas desnecessárias
Com a alta performance do ClickHouse, o uso de Redis como camada de cache intermediária tornou-se redundante devido à alta cardinalidade das chaves. A nova estratégia consiste em:
- SELECT: buscar os caches necessários.
- INSERT: re-inserir os itens utilizados para estender o TTL.
- Deduplicação: permitir que o
ReplacingMergeTreecuide da limpeza de duplicatas de forma assíncrona.
Essa abordagem reduziu a complexidade da arquitetura, removendo uma camada de infraestrutura e reduzindo os custos operacionais de manutenção de um cache dedicado.
Como garantir uma migração segura para o seu banco de dados
Migrar sistemas críticos exige prudência. A Momentic executou o ClickHouse em paralelo ao PostgreSQL, utilizando uma técnica chamada shadow querying. Durante esse período, todo tráfego de escrita era duplicado para ambos os sistemas, mas as respostas eram servidas apenas pelo banco antigo. O diferencial foi realizar o diff entre os resultados para garantir que a lógica no novo banco estava íntegra.
Passo a passo da transição
- Escrita Dupla: Configure sua aplicação para gravar em ambos os bancos simultaneamente.
- Shadow Queries: Execute consultas em ambos, mas compare os resultados para validar a consistência.
- Cutover Gradual: Com a confiança estabelecida, direcione o tráfego de leitura para o novo banco de forma incremental.
- Rollback de Segurança: Mantenha a escrita dupla por um período extra após a virada final para permitir um retorno rápido ao banco anterior em caso de falha.
Seguir esse processo garante que a transição de um sistema relacional para um banco de dados analítico seja feita sem impactar a disponibilidade do produto final, permitindo que você aproveite ganhos de performance sem colocar a integridade dos seus dados em risco.
ClickHouse é um sistema de gerenciamento de banco de dados colunar orientado a processamento analítico (OLAP), projetado para gerar relatórios analíticos em tempo real sobre grandes volumes de dados.