<\> Casa do Dev
Notícias abrir
Ferramentas abrir
Vagas abrir
Aprender abrir
Comunidade abrir
Guia de Compras abrir

HubSpot Escala Busca Semântica para 20 Bilhões de Vetores

DA

4 min

Entusiasta das Tecnologias

HubSpot Escala Busca Semântica para 20 Bilhões de Vetores

A HubSpot compartilhou os desafios de engenharia na gestão de 20 bilhões de vetores, detalhando como construíram o VaaS para suportar IA e RAG em escala.

Neste artigo

A Evolução da Busca Semântica no Ecossistema HubSpot

Nesta semana, a HubSpot revelou os detalhes técnicos de como evoluiu sua infraestrutura de busca semântica de um simples protótipo para um serviço interno de nível enterprise. Hoje, a plataforma, conhecida como VaaS (Vector as a Service), gerencia mais de 20 bilhões de vetores distribuídos entre 38 equipes, oferecendo suporte crítico para sistemas de Retrieval-Augmented Generation (RAG), agentes autônomos e processos complexos de deduplicação de contatos.

O crescimento exigiu uma transição fundamental: a mudança de uma gestão manual baseada em Helm para uma arquitetura orquestrada por um operador próprio em Kubernetes. Para engenheiros de software, esse caso de sucesso exemplifica como a maturidade operacional é tão vital quanto a precisão dos modelos de embedding ao lidar com demandas de alta disponibilidade.

Vector as a Service (VaaS) é a camada de infraestrutura desenvolvida pela HubSpot que abstrai a complexidade do banco de dados vetorial, fornecendo controle de acesso, versionamento de dados e telemetria unificada.

Infraestrutura e o Papel Estratégico do Qdrant

A escolha tecnológica da HubSpot recaiu sobre o Qdrant, que se provou ideal devido à sua capacidade de execução on-premises e suporte nativo a recursos avançados de busca. A empresa valoriza a flexibilidade de rodar o sistema internamente, garantindo integração total com ferramentas de monitoramento, controle de custos, segurança e limitação de taxa (rate limiting) sem abdicar do controle sobre os dados dos clientes.

A adoção do Qdrant permite funcionalidades essenciais para o dia a dia da engenharia de dados, incluindo:

  • Named Vectors: Facilitando a organização de diferentes tipos de embeddings.
  • Hybrid Search: Combinando técnicas densas e esparsas para maior precisão.
  • Weighted Reranking: Otimizando a relevância dos resultados retornados.
  • Quantização e Armazenamento em Disco: Mecanismos vitais para o controle rigoroso de custos.

Com mais de 200 índices e 140 clusters espalhados por cinco regiões, o tráfego de escrita do sistema atinge picos de 100.000 requisições por segundo. Essa robustez é um exemplo prático de como organizar infraestrutura para aplicações baseadas em inteligência artificial requer mais do que apenas um banco eficiente; exige uma camada de automação que reconcilie o estado desejado e o real a cada 60 segundos.

Automação e Escalabilidade Operacional

Um dos maiores desafios relatados por Oleg Tereshin e Xin Liu, engenheiros da HubSpot, foi a falência das operações manuais à medida que a carga crescia. O uso de Helm limitava a capacidade do time de realizar chamadas de API, escalar automaticamente com base em métricas externas ou manipular fluxos de trabalho complexos cientes de estado.

A solução foi a implementação de um Kubernetes Operator, que introduziu o conceito de Translators. Esses componentes automatizam ciclos de vida complexos como a criação e decomissionamento de clusters, movimentação de shards e recuperação de replicação. A automação reduziu drasticamente o tempo de inicialização de clusters de horas para poucos minutos, eliminando a necessidade de clusters de espera (standby clusters).

Lições de Mercado sobre Recall e Performance

O mercado de busca vetorial, como visto em ferramentas como Pinecone e implementações internas em grandes empresas, converge para lições universais sobre escalabilidade. O consenso técnico reforça que manter o recall alto, separar computação de armazenamento e tratar a confiabilidade como uma funcionalidade primária são pilares inegociáveis para sistemas de produção.

Para desenvolvedores brasileiros que buscam avançar em suas carreiras de backend, entender essa arquitetura é fundamental. O cenário atual mostra que, quando a busca semântica se torna central para produtos de IA, o banco de dados é apenas a ponta do iceberg; a verdadeira complexidade reside em construir automações robustas que garantam estabilidade diante de demandas crescentes. Acompanhar essas tendências de infraestrutura coloca profissionais à frente em um mercado que prioriza sistemas escaláveis e eficientes.

Produtos relacionados

Este conteúdo tem links de afiliado: se você comprar por eles, podemos receber uma comissão sem custo extra para você. A escolha dos produtos segue critérios próprios e não é influenciada por comissão.

O que você achou deste artigo?

Responda a Pergunta do Dia Teste seu conhecimento e mantenha sua streak. Crie seu Dev Card público Perfil dev compartilhável em um único link.

Depois dessa formação...

Veja vagas em tecnologia →

Vagas relacionadas

Ver todas as vagas →
DA

Escrito por

Dagmar Cirino

Entusiasta das Tecnologias

Atualizado em 06/10/2026 •

Sou o Cirino, e desenvolvo soluções e produtos utilizando linguagens de programação e ferramentas de analytics e monitoração baseadas em Cloud. Trabalho com tecnologia desde 2010,...

Ver perfil do autor

COMPARTILHAR