Qué es noindex, y cuándo usarlo

Los dos sitios donde vive noindex

Hay exactamente dos formas admitidas de decirlo, y significan lo mismo:

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

La etiqueta meta solo funciona dentro del <head> de un documento HTML. La cabecera funciona en cualquier cosa que envíe el servidor, por lo que es la única opción para un PDF, una imagen o un endpoint JSON. También puedes dirigirte a un rastreador concreto por nombre, así que <meta name="googlebot" content="noindex"> se aplica a Google y deja en paz a los demás buscadores.

El segundo valor de content es una decisión aparte. noindex, follow mantiene la página fuera del índice mientras deja que los rastreadores usen sus enlaces; noindex, nofollow detiene las dos cosas. Para un archivo paginado o un listado filtrado, noindex, follow suele ser lo que quieres, porque los enlaces de esas páginas son cómo se descubren las páginas más profundas.

Cuándo noindex es la decisión correcta

Úsalo en páginas que tienen que ser accesibles pero no tienen ningún motivo para posicionar: páginas de resultados de búsqueda interna, páginas de agradecimiento y confirmación de pedido, duplicados aptos para imprimir, áreas de cuenta de usuario, archivos de etiquetas que solo tienen una entrada cada uno, y entornos de staging o de demostración en su conjunto.

No lo uses como solución de contenido duplicado cuando las dos páginas son de verdad lo mismo. Para eso está rel=canonical: una canónica consolida las señales de ambas URLs en una, mientras que noindex descarta el duplicado por completo, enlaces incluidos.

La regla que todo el mundo se salta: el rastreo va primero

Un rastreador tiene que obtener una página para ver el noindex que lleva. Si bloqueas esa URL en robots.txt, el rastreador nunca la obtiene, nunca ve la directiva, y la URL puede seguir apareciendo en los resultados a partir de enlaces externos, normalmente sin descripción.

Así que combinar los dos es contraproducente. Para eliminar una página de la búsqueda, permite el rastreo y sirve noindex. Una vez que la página se ha vuelto a rastrear y se ha caído, puedes bloquearla en robots.txt si además quieres ahorrar presupuesto de rastreo. Hacerlo en el otro orden deja la página en el índice indefinidamente. Poner noindex dentro de robots.txt tampoco funciona; Google dejó de respetar esa sintaxis no documentada el 1 de septiembre de 2019.

Cómo se filtra de staging a producción

Casi todos los incidentes serios de noindex empiezan como un noindex deliberado y correcto en un sitio de staging. Y luego pasa una de estas cosas:

• Una copia de base de datos. La base de datos de staging se restaura sobre producción, arrastrando consigo el indicador del CMS. En WordPress eso es la casilla "Desalentar a los motores de búsqueda para que indexen este sitio" en Ajustes, guardada como una fila de opciones.
• Una promoción de configuración. El .env de staging o el fragmento de nginx que añade X-Robots-Tag: noindex a cada respuesta se despliega junto con la publicación.
• Una fusión de tema o plantilla. Una etiqueta meta codificada a mano en un archivo de plantilla compartido sobrevive a una fusión que nadie leyó línea por línea.
• Una regla de CDN o de borde escrita para proteger un nombre de host de vista previa, aplicada a un patrón de ruta que también coincide con producción.

El motivo por el que esto sale caro es que nada se rompe. El sitio devuelve 200, carga con normalidad, y pasa todas las comprobaciones de uptime. El tráfico se va apagando durante días a medida que las páginas se vuelven a rastrear y se caen, y para cuando alguien nota el gráfico, la recuperación también tarda días.

Cómo detectar un noindex que no pretendías

1. Lee la cabecera. curl -sI https://example.com/ | grep -i x-robots-tag no devuelve nada en una página sana. Cualquier cosa que imprima merece una explicación.
2. Lee la etiqueta meta en el HTML servido, no en tu editor: curl -s https://example.com/ | grep -i 'name="robots"'. La lógica del lado del servidor y los workers de borde pueden inyectar etiquetas que no están en tu repositorio.
3. Revisa Search Console. La Inspección de URLs informa de "Excluida por la etiqueta 'noindex'" por URL, y el informe de páginas agrupa cada URL afectada bajo el mismo motivo.
4. Rastrea todo el sitio, porque la fuga rara vez está en la página de inicio que probaste. Un rastreo marca el noindex por URL, así que una plantilla que solo afecta a las páginas de producto aparece como un bloque de filas marcadas en lugar de una sola sorpresa.

El noindex a escala de todo el sitio es el caso fácil. El habitual es una sola plantilla o una sola ruta, que es exactamente lo que se le escapa a una comprobación puntual de la página de inicio.

Comprueba cada página, no solo la que recuerdas

Para una única URL, la comprobación gratuita de noindex lee la etiqueta meta robots y la cabecera X-Robots-Tag tal como se sirve la página y te dice cuál de las dos fijó la directiva. Para ver si se trata de una sola página o de toda una sección, la herramienta gratuita de rastreo de sitio recorre el sitio y marca cada página con noindex que encuentra, junto con las canónicas que faltan y los cuerpos duplicados. Y como la fuga suele llegar con un despliegue, la opción Indexability de un monitor HTTP de HostTracker lee ambas señales en cada comprobación y envía un aviso el día en que una de ellas cambia - la monitorización SEO explica cómo funciona.