Publishers

Robôs de IA no seu site: bloquear ou liberar?

Bloquear os robôs de IA pode custar tráfego e nem sempre impede a citação. Entenda os tipos de robô e o caminho do meio para o robots.txt.

Robô branco em 3D, com "AI" no peito e visor azul, usando um notebook azul sobre uma mesa
Robôs de IA visitam os sites para treinar modelos, alimentar buscadores e responder usuários; cada tipo pede uma decisão diferente no robots.txt

Oito em cada dez grandes sites de notícias dos Estados Unidos e do Reino Unido já bloqueiam pelo menos um robô de treino de IA. O dado é de um levantamento da Buzzstream com os maiores sites de notícias dos dois países, publicado pela Press Gazette em janeiro.

Bloquear parece a reação natural de quem não quer ver o próprio conteúdo alimentando a concorrência sem pagar nada por isso. Mas os dados de 2026 mostram que a conta não é tão simples: bloquear pode custar tráfego e, muitas vezes, nem impede que a IA cite o seu site.

Este guia explica quem são os robôs, o que cada bloqueio faz de verdade e como montar uma estratégia que proteja o conteúdo sem sumir das respostas.

Quem são os robôs

Nem todo robô de IA faz a mesma coisa. Eles se dividem em três tipos, e bloquear cada um tem um efeito diferente:

  • Treino: coleta conteúdo para treinar os modelos. Bloquear tira o seu texto de versões futuras da IA, mas não gera tráfego de volta.
  • Busca: indexa páginas para o buscador da IA mostrar e linkar. É o que leva o seu site para as respostas com citação.
  • Usuário: acessa a página na hora, quando alguém pede à IA para ler ou resumir um link.
EmpresaTreinoBuscaUsuário
OpenAI (ChatGPT)GPTBotOAI-SearchBotChatGPT-User
Anthropic (Claude)ClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
Google (Gemini)Google-ExtendedGooglebot—
AppleApplebot-ExtendedApplebot—
Common CrawlCCBot——

O caso do Google é o mais delicado. O Google-Extended controla o uso do conteúdo no treino e nas respostas do Gemini, mas não tira o site dos AI Overviews nem do AI Mode. Esses recursos usam o Googlebot, o mesmo robô da busca comum, e bloqueá-lo significa sumir do Google.

Desde junho, o Google testa uma alternativa: um controle no Search Console que exclui o site dos AI Overviews, do AI Mode e dos recursos de IA do Discover sem afetar a busca comum. A liberação começou pelo Reino Unido, por exigência do regulador britânico, e chegou a outras contas em julho. Ainda não está disponível para todo mundo.

O que se ganha e o que se perde

Bloquear pode custar tráfego. Um estudo de pesquisadores da Rutgers e da Wharton acompanhou portais de notícias que bloquearam robôs de IA. Os grandes perderam cerca de 7% do tráfego semanal em seis semanas. O efeito apareceu só entre os 50 maiores e não se repetiu nos menores. O estudo ainda não foi revisado por pares e cobre o período antes dos AI Overviews, mas acende um alerta.

Bloquear nem sempre impede a citação. Outro levantamento da Buzzstream analisou 4 milhões de citações em ChatGPT, Gemini, AI Overviews e AI Mode. Entre os grandes sites que bloqueiam o GPTBot, 88% continuavam sendo citados. Entre os que bloqueiam o Google-Extended, 92%. Ninguém sabe ao certo como isso acontece: a IA pode usar trechos de resultados de busca, cópias do texto em outros sites ou robôs que ignoram o robots.txt.

 BloquearLiberar
Robôs de treinoProtege o conteúdo de uso futuro sem pagamento e mantém poder de negociação para licenciamentoConteúdo vira matéria-prima de modelos sem retorno direto
Robôs de buscaRisco de sumir das respostas com link e perder tráfegoChance de ser citado e receber cliques das IAs
Robôs de usuárioLeitor que cola o link na IA recebe erroLeitor consegue resumir ou consultar a matéria pela IA

Em resumo: bloquear o treino é uma decisão de negócio e de direitos. Bloquear a busca é abrir mão de visibilidade.

Como fazer: o caminho do meio

Para a maioria dos portais, a estratégia mais equilibrada é bloquear o treino e liberar a busca e o usuário. Assim o conteúdo não alimenta modelos de graça, mas o site continua aparecendo nas respostas com link.

Um robots.txt nessa linha fica assim:

# Bloqueia robôs de treino de IA User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / # Libera busca e usuário (OAI-SearchBot, ChatGPT-User, # Claude-SearchBot, Claude-User, PerplexityBot, Googlebot etc.) User-agent: * Allow: /

Antes de mexer, vale seguir estes passos:

  1. Veja o que já está bloqueado. Abra seusite.com.br/robots.txt. Alguns CDNs e plugins de segurança adicionam regras de IA sem avisar.
  2. Confira o firewall e o CDN. Serviços como a Cloudflare têm opções próprias de bloqueio de robôs de IA, que valem mesmo se o robots.txt liberar.
  3. Meça antes e depois. Acompanhe no GA4 o tráfego vindo de chatgpt.com, perplexity.ai e gemini.google.com por algumas semanas após a mudança.
  4. Fique de olho no Search Console. Se o controle de recursos de IA chegar à sua conta, avalie com dados antes de usar. Ele tira o site dos AI Overviews e do AI Mode, que também mandam tráfego.
  5. Envolva o comercial e o jurídico. Se a empresa negocia ou pretende negociar licenças de conteúdo com empresas de IA, o bloqueio do treino faz parte dessa estratégia.

Lembre que o robots.txt é um pedido, não uma barreira. As grandes empresas dizem respeitá-lo, mas nem todo robô obedece.

Fonte:Eight in ten of world's biggest news websites now block AI training bots (Press Gazette)