Neste artigo
- O que é RAG e por que ele existe?
- Como o RAG funciona em etapas?
- Quais erros mais derrubam um chatbot com RAG?
- Que cuidado ter com dados sensíveis?
- RAG substitui fine-tuning?
- Como avaliar se o chatbot está pronto para uso real
- Preciso de GPU para montar um chatbot com RAG?
- Quanto dado é preciso para começar?
- Como saber se a resposta veio do documento ou foi inventada?
- O chatbot precisa ser atualizado quando um documento muda?
- RAG funciona em português?
Um chatbot útil sobre os seus documentos não precisa do modelo treinado com eles: precisa que o modelo encontre o trecho certo no momento da pergunta. É isso que o RAG, ou geração aumentada por recuperação, faz: ele junta duas peças, uma busca sobre o seu acervo e um LLM que escreve a resposta usando o que a busca devolveu.
RAG funciona em três etapas: os documentos são fatiados e indexados por significado; na pergunta, o sistema recupera os trechos mais relevantes; o LLM recebe a pergunta junto com esses trechos e responde citando o material recuperado. O resultado é um chatbot que responde com o seu conteúdo e diminui invenção, base do mesmo raciocínio de memória e ferramentas que sustenta o guia de agentes de IA na prática.
O que é RAG e por que ele existe?
Um LLM sabe apenas o que estava nos dados de treinamento, com data de corte, e não sabe nada sobre o manual interno da sua empresa ou o contrato assinado ontem. Retreinar o modelo para cada acervo é caro e lento. O RAG resolve o problema por fora: em vez de o conhecimento morar nos pesos do modelo, ele mora em uma base buscável, consultada a cada pergunta. O modelo vira leitor competente do material recuperado, e o acervo pode mudar todo dia sem retreinar nada.
Como o RAG funciona em etapas?
Na preparação, os documentos são divididos em trechos, cada trecho vira um vetor de embedding e tudo é guardado em uma base vetorial. Na pergunta do usuário, o texto da pergunta vira vetor no mesmo espaço, o sistema busca os trechos com maior semelhança e monta o contexto. Por último, o LLM recebe a pergunta e o contexto recuperado, com a instrução de responder apenas com base no material fornecido. A qualidade final depende das duas pontas: recuperação que acha o trecho certo e instrução que impede o modelo de sair do material.
💡 Dica: antes de mexer no modelo ou na arquitetura, olhe o que a etapa de recuperação devolve. Na maior parte dos chatbots ruins, o problema está nos trechos recuperados, e não na escrita da resposta.
Quais erros mais derrubam um chatbot com RAG?
O primeiro é o corte errado: trecho pequeno demais perde contexto, trecho grande demais dilui a relevância e satura a janela do modelo. O segundo é ignorar a pergunta que não tem resposta no acervo: sem uma saída explícita de "não encontrei no material", o modelo preenche o vazio com plausibilidade. O terceiro é medir só a resposta e não a recuperação, o que impede descobrir se a falha foi achar mal ou escrever mal. Cada um desses erros tem correção barata quando detectado cedo, com avaliação por amostra de perguntas reais.
Que cuidado ter com dados sensíveis?
O acervo indexado é uma cópia do dado em mais um lugar, e precisa entrar no mapa de segurança: quem pode perguntar, quem pode receber a resposta e qual trecho está autorizado a aparecer. Permissão por documento na busca, registro de consulta e política de retenção fazem parte do projeto desde o início. Para arquiteturas na nuvem, o guia de governança de IA na nuvem para arquitetos organiza essas decisões de controle de acesso e responsabilidade.
⚠️ Atenção: indexar em serviço externo um documento que contém dado pessoal ou segredo cria exposição regulatória. Classifique o acervo antes da indexação, e não depois do primeiro incidente.
RAG substitui fine-tuning?
Eles resolvem problemas diferentes. RAG injeta conhecimento: fatos, documentos, informação que muda. Fine-tuning ajusta comportamento: tom, formato, domínio de vocabulário. Para chatbot de documentação, política interna e suporte, RAG quase sempre é o primeiro passo, porque é mais barato, atualiza na hora e mostra a fonte. O ajuste fino entra quando o modelo precisa mudar a forma de responder de forma consistente, e o guia de prompt engineering para desenvolvedores mostra o degrau anterior, que costuma resolver sem treinar nada.
Como avaliar se o chatbot está pronto para uso real
A avaliação começa com uma lista de perguntas que os usuários reais fazem, e não com perguntas que o time inventa. Para cada resposta, três critérios básicos: o trecho recuperado é o documento certo, a resposta se sustenta no trecho citado e o sistema recusa responder quando o acervo não cobre a pergunta. Uma tabela simples com essas três colunas, preenchida em uma rodada de testes, já revela se o gargalo está na busca, na escrita ou no acervo incompleto.
O hábito que mantém a qualidade ao longo do tempo é registrar as perguntas que falham em produção e tratá-las como insumo: umas apontam documento que falta indexar, outras fatiação que precisa ajustar, e algumas revelam que a pergunta é legítima mas está fora do escopo do produto. O chatbot que melhora por esse ciclo curto de correção é o que passa de demonstração para ferramenta usada todos os dias.
Perguntas frequentes
Preciso de GPU para montar um chatbot com RAG?
Não necessariamente. A indexação e a busca rodam em serviço comum, e o LLM pode ser usado via API. GPU entra se a exigência for modelo local, por custo ou privacidade. O gargalo típico do projeto é a qualidade da recuperação, e não o hardware.
Quanto dado é preciso para começar?
Menos do que parece: algumas dezenas de documentos bem escolhidos já permitem validar o fluxo inteiro. O que muda com escala é a gestão da indexação e a avaliação, e não a estrutura básica do sistema.
Como saber se a resposta veio do documento ou foi inventada?
Exija citação do trecho usado na resposta e registre os identificadores recuperados. Se o modelo não conseguir apontar a fonte, trate a resposta como suspeita. A rastreabilidade é um dos maiores ganhos práticos do RAG.
O chatbot precisa ser atualizado quando um documento muda?
A base precisa ser reindexada, não o modelo. Pipeline de indexação que processa documento novo ou alterado resolve a atualização. Sem esse fluxo, o chatbot responde com versão antiga, erro que costuma passar despercebido.
RAG funciona em português?
Funciona, desde que o modelo de embedding tenha boa qualidade no idioma. Vale testar com perguntas reais em português na fase de avaliação, porque o desempenho de recuperação varia entre modelos e idiomas.