Qu'est-ce que noindex, et quand l'utiliser

Les deux endroits où vit noindex

Il existe exactement deux façons prises en charge de l'exprimer, et elles signifient la même chose :

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

La balise meta ne fonctionne qu'à l'intérieur du <head> d'un document HTML. L'en-tête fonctionne sur tout ce que le serveur envoie, ce qui en fait la seule option pour un PDF, une image ou un point de terminaison JSON. Vous pouvez aussi cibler un crawler par son nom, donc <meta name="googlebot" content="noindex"> s'applique à Google et laisse les autres moteurs tranquilles.

La seconde valeur dans content est une décision séparée. noindex, follow garde la page hors de l'index tout en laissant les crawlers utiliser ses liens ; noindex, nofollow arrête les deux. Pour une archive paginée ou une liste filtrée, noindex, follow est généralement ce que vous voulez, car les liens sur ces pages sont ce par quoi les pages plus profondes sont découvertes.

Quand noindex est le bon choix

Utilisez-le sur les pages qui doivent être joignables mais n'ont rien à faire à se classer : pages de résultats de recherche interne, pages de remerciement et de confirmation de commande, doublons imprimables, espaces de compte utilisateur, archives d'étiquettes ne contenant qu'un seul article chacune, et environnements de staging ou de démo dans leur ensemble.

Ne l'utilisez pas comme correction de contenu dupliqué quand les deux pages sont véritablement la même chose. C'est à cela que sert rel=canonical : un canonique consolide les signaux des deux URL en une seule, tandis que noindex jette le doublon entièrement, liens compris.

La règle que tout le monde se trompe : le crawl vient en premier

Un crawler doit récupérer une page pour voir le noindex qu'elle porte. Si vous bloquez cette URL dans robots.txt, le crawler ne la récupère jamais, ne voit jamais la directive, et l'URL peut quand même apparaître dans les résultats via des liens externes, généralement sans description.

Combiner les deux est donc contre-productif. Pour retirer une page de la recherche, autorisez le crawl et servez noindex. Une fois que la page a été recrawlée et retirée, vous pouvez la bloquer dans robots.txt si vous voulez en plus économiser le budget de crawl. Faire les choses dans l'autre ordre laisse la page dans l'index indéfiniment. Mettre noindex à l'intérieur de robots.txt ne fonctionne pas non plus ; Google a cessé de respecter cette syntaxe non documentée le 1er septembre 2019.

Comment ça fuit du staging vers la production

Presque tout incident sérieux de noindex commence comme un noindex délibéré et correct sur un site de staging. Puis l'un de ces cas se produit :

• Une copie de base de données. La base de données de staging est restaurée par-dessus la production, emportant l'indicateur du CMS avec elle. Dans WordPress, c'est la case « Décourager les moteurs de recherche d'indexer ce site » sous Réglages, stockée comme une ligne d'option.
• Une promotion de config. Le .env de staging ou l'extrait nginx qui ajoute X-Robots-Tag: noindex à chaque réponse est déployé avec la release.
• Une fusion de thème ou de gabarit. Une balise meta codée en dur dans un fichier de gabarit partagé survit à une fusion que personne n'a relue ligne par ligne.
• Une règle de CDN ou de bordure écrite pour protéger un nom d'hôte de prévisualisation, appliquée à un motif de route qui correspond aussi à la production.

La raison pour laquelle c'est coûteux, c'est que rien ne casse. Le site renvoie 200, se charge normalement, et passe toutes les vérifications de disponibilité. Le trafic décline sur plusieurs jours à mesure que les pages sont recrawlées et retirées, et le temps que quelqu'un remarque le graphique, la récupération prend elle aussi plusieurs jours.

Comment repérer un noindex que vous n'aviez pas prévu

1. Lisez l'en-tête. curl -sI https://example.com/ | grep -i x-robots-tag ne renvoie rien sur une page saine. Tout ce qu'elle affiche mérite une explication.
2. Lisez la balise meta dans le HTML servi, pas dans votre éditeur : curl -s https://example.com/ | grep -i 'name="robots"'. La logique côté serveur et les workers de bordure peuvent injecter des balises qui ne sont pas dans votre dépôt.
3. Vérifiez Search Console. L'Inspection d'URL rapporte « Exclue par la balise 'noindex' » par URL, et le rapport Pages regroupe chaque URL affectée sous le même motif.
4. Crawlez le site entier, car la fuite est rarement sur la page d'accueil que vous avez testée. Un crawl signale le noindex par URL, donc un gabarit qui n'affecte que les pages produit apparaît comme un bloc de lignes signalées plutôt que comme une seule surprise.

Le noindex à l'échelle du site est le cas facile. Le cas courant est un seul gabarit ou une seule route, ce qu'un contrôle ponctuel sur la page d'accueil rate exactement.

Vérifiez chaque page, pas seulement celle dont vous vous souvenez

Pour une seule URL, le vérificateur noindex gratuit lit la balise meta robots et l'en-tête X-Robots-Tag tels que la page est servie et vous indique lequel des deux a défini la directive. Pour voir s'il s'agit d'une seule page ou de toute une section, l'outil de crawl de site gratuit parcourt le site et signale chaque page en noindex qu'il trouve, avec les canoniques manquants et les corps dupliqués. Et comme la fuite arrive généralement avec une mise en production, l'option Indexability d'un moniteur HTTP HostTracker lit les deux à chaque vérification et envoie une notification le jour où l'un des deux change - le monitoring SEO explique comment cela fonctionne.