<\> Casa do Dev
Notícias abrir
Ferramentas abrir
Vagas abrir
Aprender abrir
Comunidade abrir
Guia de Compras abrir

Como a OpenAI lida com 600 PB de dados: Conheça o Kepler, o agente de IA para análise de dados

DA

7 min

Entusiasta das Tecnologias

Como a OpenAI lida com 600 PB de dados: Conheça o Kepler, o agente de IA para análise de dados

A OpenAI desenvolveu o Kepler, um agente de IA capaz de navegar por mais de 600 petabytes de dados, superando desafios de descoberta de tabelas e escrita de queries performáticas com MCP e RAG.

Neste artigo

Imagine o seguinte cenário: um líder de negócios pergunta quantos usuários Premium de um serviço existem em uma região específica. No fluxo tradicional, isso gera uma cadeia de e-mails, Slack threads e buscas manuais em documentações desatualizadas. Na OpenAI, esse processo envolve navegar por mais de 600 petabytes de dados distribuídos em 70 mil conjuntos de dados. Para resolver essa complexidade, a empresa criou o Kepler, um agente de IA projetado para atuar como um analista de dados autônomo.

O desafio de escalar a análise de dados na OpenAI

O crescimento exponencial da OpenAI trouxe um desafio técnico comum em grandes empresas brasileiras de tecnologia: a dificuldade de descoberta de dados (data discovery). Com 80% da empresa utilizando diretamente a plataforma de dados, encontrar a tabela correta entre milhares de opções tornou-se um gargalo. Bonnie Xu, tech lead de produtividade de dados na OpenAI, explica que pequenas nuances — como saber se uma coluna já filtra fraudes ou se os IDs estão criptografados — podem alterar os resultados em ordens de magnitude.

Resposta rápida: O Kepler é um agente de IA interno da OpenAI que utiliza o Model Context Protocol (MCP) e RAG para automatizar a descoberta de tabelas e a escrita de consultas SQL em um ambiente de 600 petabytes de dados.

Para o desenvolvedor brasileiro, esse cenário é familiar. Muitas vezes, gasta-se mais tempo entendendo o esquema do banco de dados e as regras de negócio implícitas do que propriamente escrevendo código. A OpenAI percebeu que escrever SQL é difícil não apenas pela sintaxe, mas pelo contexto necessário para que a query seja performática e correta, especialmente em engines como o Trino, onde arrays são indexados em 1 (one-indexed), um detalhe que frequentemente causa erros manuais.

Arquitetura do Kepler: MCP e Contexto Semântico

A base do Kepler não é apenas um modelo de linguagem (LLM) fazendo chamadas de API, mas um sistema integrado que utiliza o Model Context Protocol (MCP). Esse protocolo permite que o agente se conecte a diferentes ferramentas, como o Slack, IDEs (como o Cursor) e interfaces web, mantendo um contexto unificado sobre o ecossistema de dados da empresa.

Para superar os limites da janela de contexto, o time de Bonnie Xu implementou uma técnica de automated code crawling combinada com RAG (Retrieval-Augmented Generation). Em vez de enviar todo o esquema do banco para o modelo, o Kepler busca apenas os metadados relevantes para a pergunta específica. Isso inclui definições de colunas, exemplos de queries anteriores e documentação de linhagem de dados.

1. Memória Semântica Escopada

Um dos diferenciais do Kepler é a sua capacidade de aprendizado contínuo por meio de memória semântica escopada. Quando o agente resolve um problema complexo ou recebe uma correção de um engenheiro de dados, essa informação é armazenada. Em consultas futuras, o Kepler consulta essa "memória" para evitar erros recorrentes, funcionando como um colega sênior que já conhece as pegadinhas de cada dataset.

2. Integração com o Workflow do Desenvolvedor

O Kepler não existe isoladamente. Ele é exposto como um servidor MCP, o que significa que desenvolvedores na OpenAI podem usá-lo dentro do Cursor ou do VS Code. Se um dev precisa de um dado para uma feature, ele não sai do editor de código; o agente busca a tabela, escreve a query e apresenta os resultados diretamente na interface de desenvolvimento, reduzindo drasticamente o context switching.

Garantindo a qualidade: Avaliações baseadas em AST

Um dos maiores medos ao utilizar agentes de IA em dados é a alucinação. Como garantir que o Kepler não inventou uma coluna ou um cálculo? A solução da OpenAI envolve um pipeline de avaliação robusto baseado em AST (Abstract Syntax Tree). Em vez de apenas comparar o texto da query gerada, o sistema analisa a árvore sintática do SQL para garantir que a lógica estrutural está correta e que não houve regressões em relação a versões anteriores do agente.

“A confiança no dado é mais importante que a velocidade da resposta. Por isso, utilizamos LLMs para avaliar outros LLMs, mas sempre com critérios objetivos baseados na estrutura real do nosso Data Lake”, afirma Bonnie Xu.

Essa abordagem permite que o time de produtividade de dados faça iterações rápidas no Kepler. Se eles atualizam o modelo base (por exemplo, migrando para uma versão mais nova do GPT-4), o pipeline de avaliação roda milhares de queries de teste para garantir que o novo modelo ainda entende as peculiaridades dos 600 PB de dados da OpenAI.

O que o desenvolvedor brasileiro pode aprender com o Kepler?

A implementação do Kepler traz lições valiosas para engenheiros de software e de dados no Brasil, especialmente para quem trabalha em startups em fase de hipercrescimento ou grandes corporações financeiras. O foco não deve ser apenas na inteligência do modelo, mas na qualidade do contexto que é fornecido a ele.

Resposta rápida: A eficiência de um agente de IA de dados depende menos do tamanho do modelo e mais da capacidade de gerenciar o contexto semântico e utilizar ferramentas de integração como o MCP para conectar a IA ao ambiente de produção.

Além disso, a estratégia de utilizar o Model Context Protocol (MCP) está se tornando um padrão de mercado. Para devs brasileiros, dominar como expor ferramentas e bancos de dados via MCP é uma habilidade que será cada vez mais requisitada por empresas que buscam criar seus próprios copilotos internos.

O futuro dos agentes de análise de dados

A jornada do Kepler mostra que o papel do analista de dados está evoluindo de um "escritor de queries" para um "curador de contexto". Na OpenAI, o objetivo é que o Kepler não apenas responda perguntas, mas antecipe necessidades, sugerindo otimizações de tabelas ou detectando anomalias antes mesmo que os humanos percebam.

Para quem está começando agora ou em transição de carreira para a área de dados e IA, o foco em entender a arquitetura de agentes e o funcionamento de RAG e memória semântica é o caminho para se manter relevante. O Kepler é um lembrete de que a IA não substitui o engenheiro, mas potencializa sua capacidade de navegar em mares de dados que seriam impossíveis de explorar manualmente.

Perguntas frequentes

O que é o Model Context Protocol (MCP) usado pelo Kepler?

O MCP é um padrão aberto que permite que modelos de IA se conectem de forma segura e padronizada a fontes de dados e ferramentas externas. No caso do Kepler, o MCP permite que o agente acesse o catálogo de dados da OpenAI e execute queries em diferentes interfaces, como Slack e IDEs, mantendo o mesmo contexto.

Como a OpenAI evita alucinações nas consultas SQL do Kepler?

A empresa utiliza um sistema de avaliação triplo: busca semântica em metadados reais (RAG), análise de Árvore de Sintaxe Abstrata (AST) para validar a estrutura das queries e um pipeline de grading onde um modelo de IA avalia a saída de outro com base em exemplos de 'verdade fundamental' (ground truth).

O Kepler está disponível para o público geral?

Atualmente, o Kepler é uma ferramenta interna da OpenAI focada na produtividade de seus próprios funcionários. No entanto, os conceitos utilizados, como o uso de MCP e agentes para análise de dados, estão sendo integrados em produtos como o ChatGPT Enterprise e ferramentas de parceiros que utilizam as APIs da OpenAI.

Por que a OpenAI não usa apenas o ChatGPT para analisar seus dados?

Embora o ChatGPT seja poderoso, ele não possui acesso nativo aos metadados privados, documentação interna e nuances de 600 PB de dados da OpenAI. O Kepler funciona como uma camada de inteligência específica que 'ensina' o modelo sobre o ambiente proprietário da empresa, garantindo precisão e conformidade.

Produtos relacionados

Este conteúdo tem links de afiliado: se você comprar por eles, podemos receber uma comissão sem custo extra para você. A escolha dos produtos segue critérios próprios e não é influenciada por comissão.

O que você achou deste artigo?

Responda a Pergunta do Dia Teste seu conhecimento e mantenha sua streak. Crie seu Dev Card público Perfil dev compartilhável em um único link.

Depois dessa formação...

Veja vagas em tecnologia →

Vagas relacionadas

Ver todas as vagas →
DA

Escrito por

Dagmar Cirino

Entusiasta das Tecnologias

Atualizado em 06/10/2026 •

Sou o Cirino, e desenvolvo soluções e produtos utilizando linguagens de programação e ferramentas de analytics e monitoração baseadas em Cloud. Trabalho com tecnologia desde 2010,...

Ver perfil do autor

COMPARTILHAR