Neste artigo
- Como bloquear crawlers de IA no seu blog self-hosted em 2026
- O que os crawlers de IA fazem com seu blog
- Bloquear crawlers de IA no blog: o passo a passo
- Como usar o fuzzy-canary
- Quando vale a pena bloquear
- robots.txt sozinho resolve?
- O código 429 bloqueia visitantes humanos?
- O canary atrapalha o SEO?
- Preciso saber programar para usar o fuzzy-canary?
- E se o crawler trocar de user-agent?
- Comece hoje
Como bloquear crawlers de IA no seu blog self-hosted em 2026
Se você paga banda larga do próprio bolso, bloquear crawlers IA blog virou prioridade real: scrapers de empresas de IA vasculham sites pessoais o dia todo para treinar modelos. Existem três linhas de defesa que funcionam hoje: robots.txt, resposta 429 e canary no HTML.
O projeto open source fuzzy-canary, no GitHub, já soma 269 estrelas e 16 forks na captura de 7 de novembro de 2026. Ele planta links invisíveis no HTML que disparam os filtros de conteúdo dos scrapers.
O que os crawlers de IA fazem com seu blog
Um crawler de treinamento baixa suas páginas inteiras e envia o texto para o modelo. Diferente do Googlebot, que indexa para busca, esses robôs não trazem tráfego de volta. Em blog self-hosted, cada visita deles custa banda e processamento que você não pediu.
A Cloudflare公布 em 15 de setembro de 2026 um post sobre crawlers de uso misto e criou a etiqueta Accountable para operadores que cumprem regras.
Para se qualificar, o operador precisa oferecer opt-out de treinamento por robots.txt, opt-out de resumos de IA, visibilidade por URL do que foi usado no treinamento e garantia de que o opt-out não derruba o site da busca tradicional.
Segundo a Cloudflare, Apple, Google e Microsoft já se enquadram como Accountable. Em 16 de outubro de 2026 a empresa anunciou accountability contínua para bots verificados, com trust scores para quem ignora as regras do site, conforme noticiado pelo PPC Land em 17 de outubro de 2026.
Bloquear crawlers de IA no blog: o passo a passo
A primeira camada é o robots.txt na raiz do site, com diretivas Disallow para os user-agents conhecidos de IA. Ele funciona com operadores de boa fé, como os que têm a etiqueta Accountable da Cloudflare.
A segunda camada é o código de status 429 (Too Many Requests) no servidor ou no firewall para user-agents bloqueados no robots.txt. É a resposta padrão para dizer "você está indo rápido demais" sem derrubar visitantes humanos.
A terceira camada é o canary: um link invisível no HTML que só um scraper cego segue. Quem acessa a URL canary entrega a prova de que leu o HTML sem executar nada legítimo.
Como usar o fuzzy-canary
O fuzzy-canary funciona de dois modos. O modo server-side, recomendado pelo projeto, injeta o canary no HTML desde o primeiro byte, então até scrapers que não executam JavaScript são pegos. O modo client-side injeta via JavaScript no carregamento da página, indicado para sites estáticos.
A instalação é por npm com o pacote @fuzzycanary/core. Em projetos React como Next.js ou Remix, basta adicionar o componente Canary no layout raiz. Em outros frameworks, use o utilitário getCanaryHtml() no início do body.
O projeto alerta no próprio README: o canary agora é injetado para todos os visitantes, incluindo crawlers de busca. Se isso preocupa o SEO, teste primeiro em um ambiente de staging antes de mandar para a produção.
Quando vale a pena bloquear
- Blog pessoal com tráfego baixo: o custo de banda dos scrapers de IA pesa mais que o benefício de indexação extra.
- Conteúdo original que alimenta modelo: posts longos e técnicos são exatamente o que os crawlers de treinamento mais querem.
- Hospedagem com limite de banda: o 429 e o robots.txt reduzem a conta no fim do mês.
Nem todo crawler deve ser bloqueado: o Googlebot e o Bingbot portano visitantes de busca. Bloqueie só os user-agents de treinamento de IA declarados.
Perguntas frequentes
robots.txt sozinho resolve?
Resolve para operadores que respeitam o padrão, como os Accountable da Cloudflare. Contra scrapers que ignoram robots.txt, só o 429 e o canary funcionam de verdade.
O código 429 bloqueia visitantes humanos?
Não, se for aplicado só aos user-agents da lista de bloqueio. Visitantes humanos recebem a página normal com status 200.
O canary atrapalha o SEO?
O próprio projeto recomenda testar em staging porque o canary é servido para todos os visitantes, incluindo crawlers de busca. Em blogs pequenos o risco é baixo, mas vale medir.
Preciso saber programar para usar o fuzzy-canary?
Básico de front-end basta: instalar o pacote por npm e adicionar um componente no layout. Quem usa site estático puro consegue com o modo client-side em minutos.
E se o crawler trocar de user-agent?
Aí entra o canary: ele não depende do user-agent, e sim do comportamento de seguir link invisível no HTML.
Comece hoje
Monte a defesa em camadas: robots.txt primeiro, 429 no servidor depois e o fuzzy-canary por cima. Comece pelo robots.txt hoje mesmo, é um arquivo de texto na raiz.
Para o resto da rotina de quem trabalha remoto, veja a editoria de produtividade e a calculadora CLT x PJ.
Se o objetivo é converter o blog em renda, fique de olho nas vagas de TI abertas agora e nos 25 prompts prontos do Google Veo 3.
Dados conforme o repositório fuzzy-canary no GitHub, o post da Cloudflare sobre crawlers Accountable e a matéria do PPC Land.