Neste artigo
- O que ainda trava um agente em produção?
- Por que o erro se acumula em cadeias longas?
- Quais riscos de segurança aparecem primeiro?
- Como observar o que o agente está fazendo?
- Quando não colocar o agente em produção?
- Qual é o papel do humano no caminho?
- Contexto grande resolve o problema de memória?
- Como limitar o gasto de um agente que roda sozinho?
- Agente com validação automática elimina revisão humana?
- O que fazer primeiro ao subir um agente?
O agente que resolve tudo na demonstração encontra em produção um território diferente: entradas inesperadas, ferramentas que falham, usuários que fazem perguntas que o autor não imaginou. Os limites que aparecem aí não são detalhes de implementação; são propriedades do modo como agentes funcionam, e conhecê-los antes define o desenho do sistema.
Os limites centrais são quatro: erro que se acumula em cadeias longas, porque a chance de acerto de multiplica passo a passo; não determinismo, que dificulta teste e suporte; segurança, já que o agente conecta texto não confiável a ferramentas com poder real; e observabilidade, sem a qual ninguém sabe por que ele falhou. A arquitetura de base que esses limites afetam está no guia de agentes de IA na prática.
O que ainda trava um agente em produção?
O primeiro bloqueio é a composição: cada passo do loop tem probabilidade de acerto menor que um, e a cadeia inteira multiplica esses números. O segundo é a variância: a mesma entrada pode gerar caminhos diferentes, o que complica teste de regressão e atendimento. O terceiro é o contexto: janelas grandes não garantem atenção uniforme, e informação importante no meio do contexto perde força. Nenhum desses bloqueios é eterno, mas nenhum desaparece por decreto, e o desenho maduro assume que eles existem.
Por que o erro se acumula em cadeias longas?
Porque cada passo depende dos anteriores. Um agente com 95% de acerto por passo, número otimista, chega a 85% depois de quatro passos e a 60% depois de dez. É a conta que separa a demonstração, com poucos passos, da produção, onde a tarefa real tem vinte. As defesas conhecidas atacam a estrutura e não o modelo: encurtar a cadeia, dividir a tarefa em passos verificáveis, travar pontos de decisão com regras determinísticas e validar o resultado intermediário antes de seguir.
ℹ️ Info: a conta composta explica por que times reduzem a autonomia à medida que o escopo cresce: o ganho de um modelo melhor por passo é linear, e o custo do erro na cadeia é multiplicativo.
Quais riscos de segurança aparecem primeiro?
O principal é a injeção de instrução: o agente lê conteúdo de fora, como página, e-mail ou issue, e esse conteúdo pode conter ordem disfarçada em texto comum. Quando o leitor tem ferramentas com permissão real, o texto vira vetor de ataque. Vêm depois a permissão acumulada, credenciais largas concedidas por comodidade, e a exfiltração, quando o conteúdo interno vaza em contexto para serviço externo. As defesas seguem o princípio de sempre de infraestrutura: menor privilégio por ferramenta, separação entre dado não confiável e instrução, e revisão para ações de efeito duradouro. O enquadramento arquitetural dessas decisões está no guia de governança de IA na nuvem para arquitetos.
⚠️ Atenção: ferramenta de busca e leitura de página parecem inofensivas até o agente ler conteúdo adversário. Toda fonte externa é entrada não confiável, e a permissão das ferramentas precisa ser desenhada com essa premissa.
Como observar o que o agente está fazendo?
Observabilidade de agente é registro de cada passo: entrada, ferramenta chamada, resultado e justificativa declarada, amarrados por identificador de execução. Com esse rastro, a pergunta "por que ele fez isso" tem resposta em minutos, e a amostragem de execuções vira rotina de qualidade. Sem ele, cada falha é investigação forense. Completam o quadro as métricas de resultado: taxa de conclusão, taxa de intervenção humana e custo por tarefa concluída, que juntos dizem se o agente está pronto para ganhar autonomia ou precisa voltar ao laboratório.
Quando não colocar o agente em produção?
Três respostas definem o adiamento. Quando não existe medida de qualidade, porque sem número não há como distinguir regressão de ruído. Quando o custo de erro é alto e não há checkpoint humano no ponto crítico, porque a economia de tempo não paga o risco. E quando o fluxo é estável o bastante para um script determinístico, caso em que o agente acrescenta variância sem acrescentar valor. Esses critérios protegem o projeto de virar vitrine que ninguém mantém, padrão recorrente descrito no guia sobre falsas automações em startups.
Qual é o papel do humano no caminho?
A pergunta certa não é se o agente substitui a pessoa, e sim em que pontos a pessoa participa. O desenho que funciona em produção trata a intervenção como parte do fluxo, não como exceção: pontos de decisão de efeito duradouro, como publicar, pagar ou apagar, recebem aprovação explícita, e o agente prepara o trabalho até a porta, com o resultado pronto para revisão.
O formato mais estável é o rascunho com checkpoint: o agente produz, o humano aprova com alteração, e a alteração volta como sinal de qualidade para ajustar a instrução. Com o tempo, as etapas que nunca mudam de mão e nunca falham ganham autonomia, e as que geram padrão de erro continuam travadas. Essa progressão gradual é o que permite escalar confiança com evidência, em vez de apostar autonomia alta desde o primeiro dia e pagar o incidente que destrói o projeto internamente.
Perguntas frequentes
Precisam, e o conjunto de casos de teste vale tanto quanto vale para software tradicional. Rodar a suíte a cada mudança de modelo ou de prompt detecta regressão que o olho humano só encontraria no usuário final.
Contexto grande resolve o problema de memória?
Ajuda em tarefa única, mas não substitui memória externa com busca. Janela enorme custa mais por chamada e sofre de atenção diluída; a combinação de contexto enxuto com recuperação seletiva segue mais confiável e mais barata.
Como limitar o gasto de um agente que roda sozinho?
Com orçamento por execução: limite de passos, limite de chamadas e limite financeiro, todos interrompendo o loop e pedindo intervenção. Agente sem teto de custo é incidente esperando o caso em que o loop não converge.
Agente com validação automática elimina revisão humana?
Reduz, e não elimina. A validação cobre os casos conhecidos; a revisão humana por amostra é que encontra o tipo de erro que o próprio avaliador comete. As camadas convivem, e a proporção muda com a maturidade.
O que fazer primeiro ao subir um agente?
Produção restrita: uma tarefa, público interno, execução registrada e revisão integral nas primeiras semanas. O objetivo dessa fase não é produtividade, é coletar a distribuição real de falhas que nenhum teste de bancada captura.