O que é noindex, e quando usar

Os dois lugares onde o noindex vive

Existem exatamente duas formas suportadas de dizer isso, e significam a mesma coisa:

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

A meta tag só funciona dentro do <head> de um documento HTML. O cabeçalho funciona em qualquer coisa que o servidor envie, e é por isso que é a única opção para um PDF, uma imagem ou um endpoint JSON. Você também pode mirar em um rastreador específico pelo nome, então <meta name="googlebot" content="noindex"> se aplica ao Google e deixa outros buscadores em paz.

O segundo valor em content é uma decisão separada. noindex, follow mantém a página fora do índice enquanto deixa os rastreadores usarem os links dela; noindex, nofollow para os dois. Para um arquivo paginado ou uma listagem filtrada, noindex, follow geralmente é o que você quer, porque os links naquelas páginas são como páginas mais profundas são descobertas.

Quando o noindex é a decisão certa

Use-o em páginas que precisam ser acessíveis mas não têm motivo para ranquear: páginas de resultado de busca interna, páginas de agradecimento e confirmação de pedido, duplicatas amigáveis para impressão, áreas de conta de usuário, arquivos de tag que guardam só um post cada, e ambientes de staging ou demonstração como um todo.

Não o use como uma correção de conteúdo duplicado quando as duas páginas são genuinamente a mesma coisa. É para isso que serve o rel=canonical: uma canônica consolida os sinais das duas URLs em uma, enquanto o noindex descarta a duplicata por completo, links e tudo.

A regra que todo mundo erra: o rastreamento vem primeiro

Um rastreador precisa buscar uma página para ver o noindex nela. Se você bloquear aquela URL no robots.txt, o rastreador nunca a busca, nunca vê a diretiva, e a URL ainda pode aparecer nos resultados a partir de links externos, geralmente sem uma descrição.

Então combinar os dois é contraproducente. Para remover uma página da busca, permita o rastreamento e sirva o noindex. Assim que a página tiver sido rerastreada e removida, você pode bloqueá-la no robots.txt se também quiser economizar orçamento de rastreamento. Fazer na outra ordem deixa a página no índice indefinidamente. Colocar noindex dentro do robots.txt também não funciona; o Google parou de respeitar essa sintaxe não documentada em 1º de setembro de 2019.

Como isso vaza de staging para produção

Quase todo incidente sério de noindex começa como um noindex deliberado e correto em um site de staging. Depois uma dessas coisas acontece:

• Uma cópia de banco de dados. O banco de dados de staging é restaurado sobre a produção, carregando a flag do CMS junto. No WordPress isso é a caixa de seleção "Desencorajar buscadores de indexar este site" em Settings, armazenada como uma linha de opção.
• Uma promoção de configuração. O .env ou trecho nginx de staging que adiciona X-Robots-Tag: noindex a toda resposta é implantado junto com o release.
• Uma fusão de tema ou template. Uma meta tag fixa em um arquivo de layout compartilhado sobrevive a uma fusão que ninguém leu linha por linha.
• Uma regra de CDN ou borda escrita para proteger um nome de host de preview, aplicada a um padrão de rota que também bate com a produção.

O motivo de isso ser caro é que nada quebra. O site devolve 200, carrega normalmente, e passa em toda verificação de uptime. O tráfego decai ao longo de dias conforme as páginas são rerastreadas e removidas, e quando alguém percebe o gráfico, a recuperação também leva dias.

Como identificar um noindex que você não pretendia

1. Leia o cabeçalho. curl -sI https://example.com/ | grep -i x-robots-tag não devolve nada em uma página saudável. Qualquer coisa que imprima vale a pena explicar.
2. Leia a meta tag no HTML servido, não no seu editor: curl -s https://example.com/ | grep -i 'name="robots"'. Lógica do lado do servidor e edge workers podem injetar tags que não estão no seu repositório.
3. Verifique o Search Console. A Inspeção de URL reporta "Excluída pela tag 'noindex'" por URL, e o relatório de Páginas agrupa toda URL afetada sob o mesmo motivo.
4. Rastreie o site inteiro, porque o vazamento raramente está na página inicial que você testou. Um rastreamento marca noindex por URL, então um template que só afeta páginas de produto aparece como um bloco de linhas marcadas em vez de uma única surpresa.

Noindex no site inteiro é o caso fácil. O comum é um único template ou uma única rota, que é exatamente o que uma verificação pontual na página inicial perde.

Verifique cada página, não só a que você se lembra

Para uma única URL, a verificação gratuita de noindex lê a meta tag robots e o cabeçalho X-Robots-Tag no momento em que a página é servida e diz qual dos dois definiu a diretiva. Para ver se é uma página ou uma seção inteira, a ferramenta gratuita de rastreamento de site percorre o site e marca cada página com noindex que encontra, junto com canônicas ausentes e corpos duplicados. E como o vazamento costuma chegar junto com um deploy, a opção Indexability em um monitor HTTP da HostTracker lê os dois a cada verificação e envia um aviso no dia em que um deles muda - o monitoramento de SEO explica como isso funciona.