<\> Casa do Dev
Notícias abrir
Ferramentas abrir
Vagas abrir
Aprender abrir
Comunidade abrir
Guia de Compras abrir

Migrando do PostgreSQL para ClickHouse: Performance em Escala

DA

4 min

Entusiasta das Tecnologias

Migrando do PostgreSQL para ClickHouse: Performance em Escala

Veja como a Momentic migrou seu sistema de cache do PostgreSQL para o ClickHouse, escalando para 20 bilhões de registros com latência de 250ms.

Neste artigo

Por que migrar de um banco relacional para um orientado a colunas?

Quando sua aplicação cresce de 80.000 para 1 bilhão de registros, a arquitetura tradicional pode atingir limites críticos de performance. A Momentic, plataforma de testes de software, enfrentou exatamente esse desafio ao notar que seu sistema de cache baseado em PostgreSQL sofria com uso excessivo de recursos e contenção de travas (lock contention) em operações simultâneas de leitura e escrita. O problema principal residia no fato de que, em bancos relacionais tradicionais, o custo das consultas tende a crescer conforme o volume de dados aumenta significativamente.

Para resolver essa questão de escalabilidade, a equipe optou pelo ClickHouse, um banco de dados orientado a colunas. Diferente do modelo de índices B-tree, o ClickHouse utiliza índices primários esparsos, que permitem restringir a busca a um pequeno número de "granules". Isso transforma a eficiência da consulta, especialmente quando as chaves de busca são bem definidas, permitindo manter uma latência média de aproximadamente 250 ms mesmo com um volume massivo de 20 bilhões de entradas e 2 milhões de consultas diárias.

A superioridade da indexação em ClickHouse

O segredo da performance no ClickHouse para este cenário está na sua capacidade de descartar rapidamente grandes blocos de dados irrelevantes. Ao desenhar o primary key incorporando test ID, step ID, versão e timestamp, a Momentic conseguiu que 90% das consultas fossem executadas de forma altamente eficiente, lendo apenas uma ou duas partes de dados. Essa estrutura evita as limitações encontradas em consultas complexas no PostgreSQL onde a carga de E/S cresce linearmente com a tabela.

Gerenciando outliers e performance

Nem todas as consultas seguem o caminho feliz. Em branches principais (main), o volume de dados acessados pode ser imenso, gerando picos de memória e uso excessivo de disco. Para mitigar isso, o uso de materialized views foi fundamental. Elas precomputam os commit timestamps disponíveis para cada test ID, permitindo que a aplicação salte diretamente para a partição correta, eliminando a necessidade de varredura completa nas tabelas durante o runtime.

Otimizando a estratégia de inserção e exclusão

A transição não envolveu apenas trocar a tecnologia de armazenamento, mas também repensar a lógica de acesso. No PostgreSQL, a Momentic utilizava três consultas distintas para gerenciar o cache, o que se provou ineficiente para a natureza colunar do ClickHouse. A solução foi consolidar as operações utilizando o motor ReplacingMergeTree, simplificando drasticamente o ciclo de vida dos dados.

Eliminando camadas desnecessárias

Com a alta performance do ClickHouse, o uso de Redis como camada de cache intermediária tornou-se redundante devido à alta cardinalidade das chaves. A nova estratégia consiste em:

  • SELECT: buscar os caches necessários.
  • INSERT: re-inserir os itens utilizados para estender o TTL.
  • Deduplicação: permitir que o ReplacingMergeTree cuide da limpeza de duplicatas de forma assíncrona.

Essa abordagem reduziu a complexidade da arquitetura, removendo uma camada de infraestrutura e reduzindo os custos operacionais de manutenção de um cache dedicado.

Como garantir uma migração segura para o seu banco de dados

Migrar sistemas críticos exige prudência. A Momentic executou o ClickHouse em paralelo ao PostgreSQL, utilizando uma técnica chamada shadow querying. Durante esse período, todo tráfego de escrita era duplicado para ambos os sistemas, mas as respostas eram servidas apenas pelo banco antigo. O diferencial foi realizar o diff entre os resultados para garantir que a lógica no novo banco estava íntegra.

Passo a passo da transição

  1. Escrita Dupla: Configure sua aplicação para gravar em ambos os bancos simultaneamente.
  2. Shadow Queries: Execute consultas em ambos, mas compare os resultados para validar a consistência.
  3. Cutover Gradual: Com a confiança estabelecida, direcione o tráfego de leitura para o novo banco de forma incremental.
  4. Rollback de Segurança: Mantenha a escrita dupla por um período extra após a virada final para permitir um retorno rápido ao banco anterior em caso de falha.

Seguir esse processo garante que a transição de um sistema relacional para um banco de dados analítico seja feita sem impactar a disponibilidade do produto final, permitindo que você aproveite ganhos de performance sem colocar a integridade dos seus dados em risco.

ClickHouse é um sistema de gerenciamento de banco de dados colunar orientado a processamento analítico (OLAP), projetado para gerar relatórios analíticos em tempo real sobre grandes volumes de dados.

Produtos relacionados

Este conteúdo tem links de afiliado: se você comprar por eles, podemos receber uma comissão sem custo extra para você. A escolha dos produtos segue critérios próprios e não é influenciada por comissão.

O que você achou deste artigo?

Responda a Pergunta do Dia Teste seu conhecimento e mantenha sua streak. Crie seu Dev Card público Perfil dev compartilhável em um único link.

Depois dessa formação...

Veja vagas em tecnologia →

Vagas relacionadas

Ver todas as vagas →
DA

Escrito por

Dagmar Cirino

Entusiasta das Tecnologias

Atualizado em 06/10/2026 •

Sou o Cirino, e desenvolvo soluções e produtos utilizando linguagens de programação e ferramentas de analytics e monitoração baseadas em Cloud. Trabalho com tecnologia desde 2010,...

Ver perfil do autor

COMPARTILHAR