Neste artigo
- Como o gargalo no planejamento de consultas do ClickHouse impactou a Cloudflare
- A análise técnica: Mutexes e a função filterPartsByPartition
- O impacto do design de retenção customizado
- As três soluções aplicadas para estabilizar a performance
- Lições para o desenvolvedor e arquiteto de dados
- O futuro da arquitetura de dados em larga escala
- O que é a contenção de mutex mencionada no caso?
- Por que o particionamento por cliente causou o problema?
- Qual a diferença entre Shared Lock e Exclusive Lock?
- Como evitar esse problema em projetos menores?
Quando falamos em escala de petabytes, o problema raramente é a falta de memória ou CPU, mas sim como os componentes do sistema conversam entre si. A Cloudflare, que gerencia volumes massivos de dados, descobriu recentemente que o gargalo em seu pipeline de faturamento não estava no processamento dos dados, mas em um detalhe invisível: o planejamento de consultas do ClickHouse.
O caso é emblemático para qualquer desenvolvedor ou arquiteto de dados no Brasil que utilize bancos de dados colunares para logs ou analytics. A equipe da Cloudflare percebeu que, após uma migração de particionamento, as consultas SELECT começaram a demorar muito mais, mesmo com métricas de I/O e memória operando normalmente. O problema estava escondido na camada de coordenação, provando que a telemetria de alto nível nem sempre revela a causa raiz de falhas em sistemas distribuídos.
Como o gargalo no planejamento de consultas do ClickHouse impactou a Cloudflare
O ClickHouse é amplamente utilizado por sua capacidade de processar volumes gigantescos de dados com velocidade impressionante. No entanto, para manter essa performance, ele precisa de um processo chamado query planning, que é a fase onde o banco decide quais partes dos dados devem ser lidas antes de iniciar a execução real.
Na Cloudflare, esse processo tornou-se um ponto crítico após a implementação de um novo esquema de particionamento para incluir namespaces de clientes. O objetivo era permitir que a retenção de dados fosse gerenciada individualmente por inquilino (tenant). Embora a lógica parecesse correta, o aumento no número de data parts (partes de dados) criou um efeito cascata de lentidão que afetou sistemas vitais, como o de faturamento e detecção de fraudes.
Para o desenvolvedor brasileiro que trabalha em startups ou empresas de médio porte, esse cenário é um alerta: o design de particionamento que funciona com 1 TB de dados pode se tornar um pesadelo quando você atinge a escala de petabytes. A contenção de recursos em camadas de coordenação é um erro comum que passa despercebido por quem olha apenas para dashboards de uso de CPU.
O que você precisa saber:
O problema não era a carga de trabalho do processador, mas a contenção de um mutex (trava de exclusão mútua) que impedia que múltiplas consultas planejassem a leitura de dados simultaneamente.
A análise técnica: Mutexes e a função filterPartsByPartition
Ao realizar o perfilamento (profiling) do sistema, os engenheiros de sistemas distribuídos da Cloudflare descobriram que 45% do tempo de CPU estava sendo consumido por uma única função: a filterPartsByPartition. À primeira vista, parecia um problema de processamento, mas a investigação profunda revelou que mais da metade da duração da consulta era gasta esperando para adquirir um único mutex chamado MergeTreeData.
Este mutex protege a lista de partes da tabela. Como o sistema utilizava um exclusive lock (trava exclusiva), apenas uma thread podia acessar a lista de partes por vez. Em um ambiente de alta concorrência, isso criou uma fila imensa, onde as consultas ficavam "estacionadas" esperando a sua vez de planejar, enquanto a CPU permanecia subutilizada.
Resposta rápida: O gargalo foi causado por contenção de trava exclusiva (exclusive lock) no MergeTreeData, fazendo com que consultas esperassem a liberação do acesso à lista de partes da tabela, independentemente da capacidade de hardware disponível.
O impacto do design de retenção customizado
Como a Cloudflare opera em uma escala de centenas de petabytes, ela implementou seu próprio sistema de retenção, dividindo dados em partições diárias e deletando registros com mais de 31 dias. Com a migração para o modelo de namespaces por cliente, a quantidade de metadados cresceu exponencialmente.
Esse aumento de metadados sobrecarregou não apenas o ClickHouse, mas também o ZooKeeper, que coordena o cluster. Isso mostra que a escalabilidade horizontal não resolve problemas de design de software; se a camada de coordenação for centralizada ou possuir travas ineficientes, ela se torna o novo gargalo do sistema.
As três soluções aplicadas para estabilizar a performance
Para resolver a lentidão, a equipe da Cloudflare não adicionou mais servidores, mas modificou o código fonte do banco de dados. Eles aplicaram três alterações fundamentais que foram posteriormente integradas ao código oficial do projeto ClickHouse (upstream).
A primeira mudança foi a substituição do exclusive lock por um shared lock. Isso permitiu que múltiplas consultas planessem a leitura simultaneamente, desde que não estivessem alterando a estrutura da tabela. A segunda melhoria removeu a necessidade de criar uma cópia completa da lista de partes para cada consulta, reduzindo drasticamente o consumo de memória e o tempo de alocação.
Por fim, a filtragem de partes foi otimizada para evitar a varredura completa da lista a cada execução. O resultado foi a redução de 50% no tempo de resposta das consultas e a quebra da correlação entre a duração da query e o número de partes de dados.
| Problema Identificado | Solução Aplicada | Impacto Gerado |
|---|---|---|
| Lock Exclusivo (Exclusive Lock) | Implementação de Shared Lock | Acesso concorrente ao planejamento de queries |
| Cópia de lista de partes por query | Remoção da cópia redundante | Menor overhead de memória e latência |
| Varredura total de partes | Otimização da filtragem de partes | Performance estável independente do volume de partes |
Lições para o desenvolvedor e arquiteto de dados
O caso da Cloudflare serve como um lembrete crucial de que a visibilidade de baixo nível (low-level visibility) é indispensável. Se a equipe estivesse confiando apenas em métricas de monitoramento comuns (CPU, RAM e I/O), eles nunca teriam encontrado o problema, pois esses indicadores pareciam saudáveis.
Para quem trabalha com grandes volumes de dados no Brasil, seja em fintechs ou e-commerces, a lição é clara: monitore a contenção de travas e a latência de coordenação. Quando o sistema começa a degradar sem que os recursos de hardware estejam no limite, o problema geralmente está na sincronização de threads ou na gestão de metadados.
Além disso, a contribuição da Cloudflare para o código aberto (estando disponível a partir da versão 25.11) reforça a importância de testar a escalabilidade do particionamento antes de migrar em produção. Um design que funciona para 100 clientes pode colapsar com 10.000 devido ao volume de metadados gerado.
O futuro da arquitetura de dados em larga escala
Embora a correção tenha estabilizado o pipeline de faturamento, os engenheiros da Cloudflare admitem que a arquitetura atual vive uma "trégua instável". O crescimento contínuo de metadados ainda coloca pressão sobre a coordenação do cluster, sugerindo que a indústria pode precisar de novas abordagens para gerenciar a metadados de forma distribuída.
Para o profissional de TI, isso significa que o aprendizado constante sobre internals de bancos de dados é o que diferencia um executor de um arquiteto. Entender como o query planner funciona e como os locks impactam a concorrência é essencial para quem deseja evoluir para cargos de Staff Engineer ou CTO.
Você já enfrentou problemas onde o hardware estava ocioso, mas a aplicação continuava lenta? Muitas vezes, a resposta está em travas invisíveis e gargalos de coordenação como este. Explorar ferramentas de profiling e entender a fundo a engine do seu banco de dados é o melhor caminho para resolver esses mistérios.
Perguntas frequentes
O que é a contenção de mutex mencionada no caso?
A contenção de mutex ocorre quando múltiplas threads tentam acessar o mesmo recurso protegido por uma trava (lock). Se a trava é exclusiva, todas as outras threads devem esperar a primeira terminar, criando uma fila que aumenta a latência, mesmo que a CPU tenha capacidade de processamento disponível.
Por que o particionamento por cliente causou o problema?
Ao criar namespaces para cada cliente, a Cloudflare aumentou drasticamente o número de partes de dados e a quantidade de metadados. Como o planejamento de consultas precisava percorrer essa lista sob uma trava exclusiva, o tempo de espera cresceu proporcionalmente ao número de partições.
Qual a diferença entre Shared Lock e Exclusive Lock?
Um Exclusive Lock impede que qualquer outra thread acesse o recurso. Já o Shared Lock permite que várias threads leiam o recurso simultaneamente, mas impede que qualquer thread o modifique até que todas as leituras terminem, sendo ideal para cenários de alta leitura como o planejamento de queries.
Como evitar esse problema em projetos menores?
Evite a super-particionamento. Criar partições demais (over-partitioning) gera um volume excessivo de metadados que pode sobrecarregar o gerenciador do banco de dados e o sistema de coordenação (como o ZooKeeper), resultando em lentidão no planejamento de consultas.