O site estava em desenvolvimento e alguém, corretamente, bloqueou o Google de indexar aquela versão de teste. Três meses depois, o site foi ao ar oficialmente — mas ninguém lembrou de tirar aquele bloqueio. Resultado: um site pronto, bonito, no ar, e completamente invisível pro Google, por uma única linha de código esquecida.
Onde fica e como funciona
O arquivo sempre fica em seudominio.com/robots.txt. Ele usa diretivas simples como Disallow (bloquear rastreamento) e Allow (permitir explicitamente), organizadas por user-agent (tipo de robô).
O erro mais comum e mais grave
Deixar a linha Disallow: / ativa por engano — geralmente esquecida de quando o site estava em desenvolvimento — bloqueia completamente o rastreamento de todo o site, mesmo que ele esteja no ar e funcionando normalmente.
O que faz sentido bloquear
Áreas administrativas, páginas de checkout intermediárias, páginas de agradecimento (que não devem aparecer em buscas) e conteúdo duplicado interno são bons candidatos para bloqueio via robots.txt.
Robots.txt não é uma medida de segurança
Bloquear uma página no robots.txt impede que ela seja indexada normalmente, mas não a torna privada ou inacessível — qualquer pessoa com o link direto ainda consegue acessá-la. Para conteúdo realmente sensível, use autenticação.
Sempre inclua a referência ao sitemap
É uma boa prática adicionar a linha Sitemap: https://seudominio.com/sitemap.xml no final do arquivo robots.txt, ajudando os robôs a encontrarem o mapa completo do site automaticamente.
Como testar
O Google Search Console tem um testador de robots.txt que simula exatamente como o Googlebot interpreta cada regra, permitindo verificar se uma página específica está sendo bloqueada antes que isso vire um problema real de indexação.
Verifique isso hoje, não daqui um mês
Acesse seudominio.com/robots.txt agora mesmo. Se encontrar "Disallow: /" solto lá, é a explicação mais comum — e mais fácil de corrigir — pra um site pronto que ninguém encontra no Google.