Oito em cada dez grandes sites de notícias dos Estados Unidos e do Reino Unido já bloqueiam pelo menos um robô de treino de IA. O dado é de um levantamento da Buzzstream com os maiores sites de notícias dos dois países, publicado pela Press Gazette em janeiro.
Bloquear parece a reação natural de quem não quer ver o próprio conteúdo alimentando a concorrência sem pagar nada por isso. Mas os dados de 2026 mostram que a conta não é tão simples: bloquear pode custar tráfego e, muitas vezes, nem impede que a IA cite o seu site.
Este guia explica quem são os robôs, o que cada bloqueio faz de verdade e como montar uma estratégia que proteja o conteúdo sem sumir das respostas.
Quem são os robôs
Nem todo robô de IA faz a mesma coisa. Eles se dividem em três tipos, e bloquear cada um tem um efeito diferente:
- Treino: coleta conteúdo para treinar os modelos. Bloquear tira o seu texto de versões futuras da IA, mas não gera tráfego de volta.
- Busca: indexa páginas para o buscador da IA mostrar e linkar. É o que leva o seu site para as respostas com citação.
- Usuário: acessa a página na hora, quando alguém pede à IA para ler ou resumir um link.
| Empresa | Treino | Busca | Usuário |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic (Claude) | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
| Google (Gemini) | Google-Extended | Googlebot | — |
| Apple | Applebot-Extended | Applebot | — |
| Common Crawl | CCBot | — | — |
O caso do Google é o mais delicado. O Google-Extended controla o uso do conteúdo no treino e nas respostas do Gemini, mas não tira o site dos AI Overviews nem do AI Mode. Esses recursos usam o Googlebot, o mesmo robô da busca comum, e bloqueá-lo significa sumir do Google.
Desde junho, o Google testa uma alternativa: um controle no Search Console que exclui o site dos AI Overviews, do AI Mode e dos recursos de IA do Discover sem afetar a busca comum. A liberação começou pelo Reino Unido, por exigência do regulador britânico, e chegou a outras contas em julho. Ainda não está disponível para todo mundo.
O que se ganha e o que se perde
Bloquear pode custar tráfego. Um estudo de pesquisadores da Rutgers e da Wharton acompanhou portais de notícias que bloquearam robôs de IA. Os grandes perderam cerca de 7% do tráfego semanal em seis semanas. O efeito apareceu só entre os 50 maiores e não se repetiu nos menores. O estudo ainda não foi revisado por pares e cobre o período antes dos AI Overviews, mas acende um alerta.
Bloquear nem sempre impede a citação. Outro levantamento da Buzzstream analisou 4 milhões de citações em ChatGPT, Gemini, AI Overviews e AI Mode. Entre os grandes sites que bloqueiam o GPTBot, 88% continuavam sendo citados. Entre os que bloqueiam o Google-Extended, 92%. Ninguém sabe ao certo como isso acontece: a IA pode usar trechos de resultados de busca, cópias do texto em outros sites ou robôs que ignoram o robots.txt.
| Bloquear | Liberar | |
|---|---|---|
| Robôs de treino | Protege o conteúdo de uso futuro sem pagamento e mantém poder de negociação para licenciamento | Conteúdo vira matéria-prima de modelos sem retorno direto |
| Robôs de busca | Risco de sumir das respostas com link e perder tráfego | Chance de ser citado e receber cliques das IAs |
| Robôs de usuário | Leitor que cola o link na IA recebe erro | Leitor consegue resumir ou consultar a matéria pela IA |
Em resumo: bloquear o treino é uma decisão de negócio e de direitos. Bloquear a busca é abrir mão de visibilidade.
Como fazer: o caminho do meio
Para a maioria dos portais, a estratégia mais equilibrada é bloquear o treino e liberar a busca e o usuário. Assim o conteúdo não alimenta modelos de graça, mas o site continua aparecendo nas respostas com link.
Um robots.txt nessa linha fica assim:
# Bloqueia robôs de treino de IA User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / # Libera busca e usuário (OAI-SearchBot, ChatGPT-User, # Claude-SearchBot, Claude-User, PerplexityBot, Googlebot etc.) User-agent: * Allow: /
Antes de mexer, vale seguir estes passos:
- Veja o que já está bloqueado. Abra seusite.com.br/robots.txt. Alguns CDNs e plugins de segurança adicionam regras de IA sem avisar.
- Confira o firewall e o CDN. Serviços como a Cloudflare têm opções próprias de bloqueio de robôs de IA, que valem mesmo se o robots.txt liberar.
- Meça antes e depois. Acompanhe no GA4 o tráfego vindo de chatgpt.com, perplexity.ai e gemini.google.com por algumas semanas após a mudança.
- Fique de olho no Search Console. Se o controle de recursos de IA chegar à sua conta, avalie com dados antes de usar. Ele tira o site dos AI Overviews e do AI Mode, que também mandam tráfego.
- Envolva o comercial e o jurídico. Se a empresa negocia ou pretende negociar licenças de conteúdo com empresas de IA, o bloqueio do treino faz parte dessa estratégia.
Lembre que o robots.txt é um pedido, não uma barreira. As grandes empresas dizem respeitá-lo, mas nem todo robô obedece.
Fonte:Eight in ten of world's biggest news websites now block AI training bots (Press Gazette)

