Was ist noindex, und wann verwendet man es

Die zwei Orte, an denen noindex lebt

Es gibt genau zwei unterstützte Wege, es auszudrücken, und beide bedeuten dasselbe:

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

Das Meta-Tag funktioniert nur innerhalb des <head> eines HTML-Dokuments. Der Header funktioniert bei allem, was der Server sendet, weshalb er die einzige Option für ein PDF, ein Bild oder einen JSON-Endpunkt ist. Sie können auch einen bestimmten Crawler namentlich ansprechen, <meta name="googlebot" content="noindex"> gilt also für Google und lässt andere Suchmaschinen unangetastet.

Der zweite Wert in content ist eine separate Entscheidung. noindex, follow hält die Seite aus dem Index heraus, erlaubt Crawlern aber, ihre Links zu nutzen; noindex, nofollow unterbindet beides. Für ein paginiertes Archiv oder eine gefilterte Liste ist meist noindex, follow die richtige Wahl, denn über die Links auf diesen Seiten werden tiefer liegende Seiten überhaupt erst entdeckt.

Wann noindex die richtige Wahl ist

Verwenden Sie es für Seiten, die erreichbar sein müssen, aber nichts im Ranking zu suchen haben: interne Suchergebnisseiten, Danke- und Bestellbestätigungsseiten, druckfreundliche Duplikate, Nutzerkontobereiche, Tag-Archive mit jeweils nur einem Beitrag, und Staging- oder Demo-Umgebungen als Ganzes.

Verwenden Sie es nicht als Lösung für doppelten Inhalt, wenn beide Seiten tatsächlich dasselbe sind. Dafür ist rel=canonical da: Ein Canonical konsolidiert die Signale beider URLs zu einer, während noindex das Duplikat vollständig verwirft, Links inklusive.

Die Regel, die fast alle falsch machen: Crawling kommt zuerst

Ein Crawler muss eine Seite abrufen, um das noindex darauf zu sehen. Blockieren Sie diese URL in robots.txt, ruft der Crawler sie nie ab, sieht die Anweisung nie, und die URL kann trotzdem über externe Links in den Ergebnissen auftauchen, meist ohne Beschreibung.

Beides zu kombinieren untergräbt sich also selbst. Um eine Seite aus der Suche zu entfernen, erlauben Sie das Crawlen und liefern Sie noindex aus. Sobald die Seite erneut gecrawlt und entfernt wurde, können Sie sie in der robots.txt blockieren, wenn Sie zusätzlich Crawl-Budget sparen wollen. In der anderen Reihenfolge bleibt die Seite unbegrenzt im Index. noindex in der robots.txt zu platzieren funktioniert ebenfalls nicht; Google hat diese undokumentierte Syntax am 1. September 2019 aufgehört zu berücksichtigen.

Wie es von Staging in die Produktion sickert

Fast jeder ernsthafte noindex-Vorfall beginnt als absichtliches, korrektes noindex auf einer Staging-Site. Dann passiert eines von diesen:

• Eine Datenbankkopie. Die Staging-Datenbank wird über die Produktion wiederhergestellt und bringt das CMS-Flag mit. In WordPress ist das die Checkbox "Suchmaschinen vom Indexieren dieser Website abhalten" unter Einstellungen, als Options-Zeile gespeichert.
• Eine Konfiguration wird befördert. Die Staging-.env oder der nginx-Schnipsel, der jeder Antwort X-Robots-Tag: noindex hinzufügt, wird mit dem Release deployt.
• Ein Theme- oder Template-Merge. Ein fest verdrahtetes Meta-Tag in einer gemeinsamen Layout-Datei übersteht einen Merge, den niemand Zeile für Zeile gelesen hat.
• Eine CDN- oder Edge-Regel, geschrieben, um einen Vorschau-Hostnamen zu schützen, angewendet auf ein Routenmuster, das auch auf die Produktion passt.

Das macht es teuer, weil nichts sichtbar kaputtgeht. Die Website liefert 200, lädt normal und besteht jede Uptime-Prüfung. Der Traffic zerfällt über Tage, während Seiten erneut gecrawlt und entfernt werden, und bis jemand die Grafik bemerkt, dauert auch die Erholung Tage.

Wie Sie ein ungewolltes noindex erkennen

1. Lesen Sie den Header. curl -sI https://example.com/ | grep -i x-robots-tag liefert bei einer gesunden Seite nichts zurück. Alles, was er ausgibt, ist erklärungsbedürftig.
2. Lesen Sie das Meta-Tag im ausgelieferten HTML, nicht in Ihrem Editor: curl -s https://example.com/ | grep -i 'name="robots"'. Serverseitige Logik und Edge Worker können Tags einfügen, die in Ihrem Repository nicht auftauchen.
3. Prüfen Sie die Search Console. Die URL-Prüfung meldet pro URL "Durch 'noindex'-Tag ausgeschlossen", und der Bericht Seiten gruppiert jede betroffene URL unter demselben Grund.
4. Crawlen Sie die ganze Website, denn das Leck sitzt selten auf der Startseite, die Sie getestet haben. Ein Crawl markiert noindex pro URL, ein Template, das nur Produktseiten betrifft, zeigt sich also als Block markierter Zeilen statt als einzelne Überraschung.

Website-weites noindex ist der einfache Fall. Der häufige ist ein einzelnes Template oder eine einzelne Route, genau das, was ein Stichprobentest der Startseite übersieht.

Prüfen Sie jede Seite, nicht nur die, an die Sie sich erinnern

Für eine einzelne URL liest der kostenlose Noindex-Check das robots-Meta-Tag und den X-Robots-Tag-Header genau so, wie die Seite ausgeliefert wird, und sagt Ihnen, welches der beiden die Anweisung gesetzt hat. Um zu sehen, ob es sich um eine einzelne Seite oder einen ganzen Bereich handelt, durchläuft das kostenlose Website-Crawl-Tool die Website und markiert jede gefundene noindex-Seite zusammen mit fehlenden Canonicals und doppelten Inhalten. Und weil das Leck meist mit einem Release kommt, liest die Indexability-Option eines HostTracker-HTTP-Monitors beides bei jeder Prüfung und sendet eine Benachrichtigung an dem Tag, an dem sich eines von beiden ändert - SEO-Monitoring erklärt, wie das funktioniert.