Cos'è noindex, e quando usarlo

I due posti dove vive noindex

Ci sono esattamente due modi supportati per dirlo, e significano la stessa cosa:

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

Il meta tag funziona solo dentro il <head> di un documento HTML. L'header funziona su qualsiasi cosa il server invii, motivo per cui è l'unica opzione per un PDF, un'immagine o un endpoint JSON. Puoi anche mirare a un crawler specifico per nome, così <meta name="googlebot" content="noindex"> si applica a Google e lascia stare gli altri motori.

Il secondo valore in content è una decisione separata. noindex, follow tiene la pagina fuori dall'indice permettendo ai crawler di usare i suoi link; noindex, nofollow ferma entrambi. Per un archivio paginato o un elenco filtrato, noindex, follow è di solito ciò che vuoi, perché i link su quelle pagine sono il modo in cui le pagine più profonde vengono scoperte.

Quando noindex è la scelta giusta

Usalo su pagine che devono essere raggiungibili ma non hanno motivo di posizionarsi: pagine di risultati di ricerca interna, pagine di ringraziamento e conferma d'ordine, duplicati adatti alla stampa, aree dell'account utente, archivi di tag che contengono un solo articolo, e ambienti di staging o demo nel loro insieme.

Non usarlo come soluzione per contenuti duplicati quando le due pagine sono genuinamente la stessa cosa. È a questo che serve rel=canonical: un canonical consolida i segnali di entrambi gli URL in uno solo, mentre noindex butta via il duplicato del tutto, link compresi.

La regola che tutti sbagliano: la scansione viene prima

Un crawler deve recuperare una pagina per vedere il noindex su di essa. Se blocchi quell'URL in robots.txt, il crawler non lo recupera mai, non vede mai la direttiva, e l'URL può comunque emergere nei risultati grazie a link esterni, di solito senza una descrizione.

Quindi combinare i due è autolesionista. Per rimuovere una pagina dalla ricerca, permetti la scansione e servi noindex. Una volta che la pagina è stata ri-scansionata e rimossa, puoi bloccarla in robots.txt se vuoi anche risparmiare il crawl budget. Farlo nell'ordine opposto lascia la pagina nell'indice indefinitamente. Mettere noindex dentro robots.txt non funziona nemmeno; Google ha smesso di rispettare quella sintassi non documentata il 1° settembre 2019.

Come trapela dallo staging alla produzione

Quasi ogni incidente serio di noindex inizia come un noindex deliberato e corretto su un sito di staging. Poi succede una di queste cose:

• Una copia del database. Il database di staging viene ripristinato sopra la produzione, portando con sé il flag del CMS. In WordPress è la casella "Scoraggia i motori di ricerca dall'indicizzare questo sito" sotto Impostazioni, memorizzata come riga di opzione.
• Una promozione di configurazione. Il file .env o lo snippet nginx di staging che aggiunge X-Robots-Tag: noindex a ogni risposta viene distribuito insieme alla release.
• Un merge di tema o template. Un meta tag hardcodato in un file di layout condiviso sopravvive a un merge che nessuno ha letto riga per riga.
• Una regola CDN o edge scritta per proteggere un hostname di anteprima, applicata a un pattern di rotta che corrisponde anche alla produzione.

Il motivo per cui questo è costoso è che niente si rompe. Il sito restituisce 200, si carica normalmente, e supera ogni controllo di uptime. Il traffico decade nell'arco di giorni man mano che le pagine vengono ri-scansionate e rimosse, e quando qualcuno nota il grafico, anche il recupero richiede giorni.

Come individuare un noindex non intenzionale

1. Leggi l'header. curl -sI https://example.com/ | grep -i x-robots-tag non restituisce nulla su una pagina sana. Qualsiasi cosa stampi merita una spiegazione.
2. Leggi il meta tag nell'HTML servito, non nel tuo editor: curl -s https://example.com/ | grep -i 'name="robots"'. Logica lato server ed edge worker possono iniettare tag che non sono nel tuo repository.
3. Controlla Search Console. URL Inspection riporta "Esclusa dal tag 'noindex'" per URL, e il report Pagine raggruppa ogni URL interessato sotto lo stesso motivo.
4. Scansiona l'intero sito, perché la perdita è raramente sulla homepage che hai testato. Una scansione segnala il noindex per URL, quindi un template che colpisce solo le pagine prodotto compare come un blocco di righe segnalate invece che come una singola sorpresa.

Il noindex a livello di intero sito è il caso facile. Quello comune è un singolo template o una singola rotta, il che è esattamente ciò che un controllo puntuale sulla homepage si perde.

Controlla ogni pagina, non solo quella che ricordi

Per un singolo URL, il controllo noindex gratuito legge il meta tag robots e l'header X-Robots-Tag così come la pagina viene servita e ti dice quale dei due ha impostato la direttiva. Per vedere se si tratta di una sola pagina o di un'intera sezione, lo strumento gratuito di crawl del sito percorre il sito e segnala ogni pagina noindex che trova, insieme ai canonical mancanti e ai corpi duplicati. E poiché la fuga arriva di solito con un rilascio, l'opzione Indexability su un monitor HTTP di HostTracker legge entrambi a ogni controllo e invia un avviso il giorno in cui uno dei due cambia - il monitoraggio SEO spiega come funziona.