llms.txt: was es ist, wer es liest und wie man eines schreibt

Was ist llms.txt?

llms.txt adressiert ein reales Problem: Eine für Menschen gebaute Seite verpackt ihren Inhalt in Navigation, Werbung und JavaScript, und daraus wieder sauberen Text für ein Modell zu gewinnen, ist schwierig und verlustbehaftet. Statt ein Modell vollständige HTML-Seiten crawlen und parsen zu lassen, veröffentlicht eine Website eine einzige einfache Markdown-Datei, die in Reihenfolge der Wichtigkeit die Seiten auflistet, die ein Modell lesen sollte.

Es ist ausdrücklich ein Vorschlag, kein Standard: kein Gremium dahinter, keine vorgeschriebene Unterstützung durch irgendein KI-Tool. Ob sie genutzt wird, hängt allein davon ab, ob ein bestimmtes Tool sich entscheidet, sie zu lesen.

Was gehört in eine llms.txt-Datei?

Das auf llmstxt.org definierte Format ist konkret:

• Ein H1 mit dem Namen der Website oder des Projekts, das einzige Pflichtelement.
• Ein Blockzitat direkt unter dem H1 mit einer kurzen Zusammenfassung.
• Optionale einfache Absätze mit mehr Kontext, vor dem ersten H2.
• Ein oder mehrere H2-Abschnitte, jeweils eine Markdown-Liste von Links: [name](url): optionale Notiz.
• Ein optionaler H2 namens „Optional" für sekundäre Links, die ein Modell bei knappem Kontext überspringen kann.

Hier ein realistisches Beispiel für ein fiktives SaaS-Produkt:

# Acme Metrics

> Acme Metrics is a hosted dashboard for product analytics events.

## Docs

- [Quickstart](https://docs.acmemetrics.com/quickstart.md): Install the SDK, send your first event
- [API reference](https://docs.acmemetrics.com/api.md): REST endpoints for events and dashboards
- [Webhooks](https://docs.acmemetrics.com/webhooks.md): Real-time event notifications

## Optional

- [Changelog](https://docs.acmemetrics.com/changelog.md): Release notes
- [Status page](https://status.acmemetrics.com): Uptime and incidents

Viele Websites veröffentlichen zusätzlich eine llms-full.txt: dieselbe Karte, aber mit dem vollständigen Markdown-Inhalt jeder verlinkten Seite in eine einzige Datei eingefügt, damit ein Modell, das Links nicht folgt, trotzdem alles in einem Abruf bekommt.

llms.txt vs. robots.txt vs. sitemap.xml

Diese drei Dateien werden verwechselt, weil sie alle im Stammverzeichnis liegen und alle damit zu tun haben, wie Maschinen eine Website sehen, aber sie erfüllen drei verschiedene Aufgaben:

Datei	Zweck	Wer liest sie	Steuert Zugriff?
robots.txt	Welche Pfade Crawler abrufen dürfen	Crawler, die sich entscheiden, sie zu befolgen	Ja, beratend (ein regelkonformer Bot folgt ihr)
sitemap.xml	URLs, die Sie entdeckt und indexiert haben möchten	Suchmaschinen, zur Entdeckung	Nein, eine Hinweisliste, keine Erlaubnisliste
llms.txt	Eine kuratierte Markdown-Karte Ihrer besten Seiten	Nur Tools, die sich entscheiden, sie abzurufen	Nein, sie greift weder in Crawling noch Indexierung ein

robots.txt ist die einzige der drei, die überhaupt etwas einschränkt, und selbst das freiwillig: Sie funktioniert, weil sich wohlerzogene Crawler zuerst an sie halten, nicht weil ein Server sie erzwingt.

Nutzt Google oder eine KI-Suchmaschine llms.txt?

Googles eigene Dokumentation beantwortet das direkt. Der Search-Central-Leitfaden zur generativen KI-Suche nennt unter „Mythbusting generative AI search: what you don't need to do" die LLMS.txt-Dateien namentlich und stellt fest: „You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn't use them" (Sie müssen keine neuen maschinenlesbaren Dateien, KI-Textdateien, Markup oder Markdown erstellen, um in der Google-Suche zu erscheinen, einschließlich ihrer generativen KI-Funktionen, da die Google-Suche selbst sie nicht nutzt; zuletzt aktualisiert im Juli 2026).

Google-Vertreter sagen seit über einem Jahr öffentlich dasselbe. Beim Search Central Live im Juli 2025 erklärte Gary Illyes, Google unterstütze llms.txt nicht und habe auch keine Pläne dazu, und verglich es mit dem alten Meta-Keywords-Tag, einem Signal, dem Suchmaschinen nicht mehr trauten, sobald Website-Betreiber es selbst kontrollierten. Im Januar 2026, nachdem Googles eigene Doku-Plattform kurzzeitig automatisch eine llms.txt-Datei erzeugt hatte, wurde John Mueller auf Bluesky gefragt, ob das eine Empfehlung sei: „Ich bin versucht, etwas Süffisantes zu sagen, weil das so oft aufkommt, aber um ehrlich zu sein: nein."

Andere KI-Anbieter haben sich weniger geäußert. Überprüfbar ist: Anthropic, OpenAI und Perplexity veröffentlichen jeweils ihre eigene llms.txt für ihre Entwicklerdokumentation (zum Beispiel platform.claude.com/llms.txt und developers.openai.com/llms.txt), was nur zeigt, dass sie das Format für die eigene Website nützlich finden. Das unterscheidet sich davon, dass ihre Crawler eine llms.txt auf der Website eines anderen lesen, bevor sie eine Frage beantworten, und keiner der drei hat das bekannt gegeben. Perplexitys eigene Crawler-Dokumentation beschreibt PerplexityBot und Perplexity-User im Detail und erwähnt llms.txt nicht. Behandeln Sie eine Behauptung wie „ChatGPT liest llms.txt" als unbestätigt, bis der Anbieter selbst es sagt.

Sollten Sie trotzdem eine veröffentlichen?

Wahrscheinlich, aus bescheidenen Gründen. Eine llms.txt ist eine statische Datei ohne serverseitigen Aufwand über das reine Ausliefern als Klartext hinaus, die Kosten liegen also nahe null. Der eigentliche Anwendungsfall ist enger als „KI-SEO": Ein Coding-Agent oder IDE-Assistent, der bei der Beantwortung einer Frage bei Bedarf Seiten abruft, kann mit einer kurzen llms.txt Ihren Quickstart oder Ihre API-Referenz schneller finden, als aus einer Sitemap zu raten.

Sie ersetzt keinen Dienst, der dafür gebaut ist, dass Agenten damit handeln: HostTrackers eigener MCP-Server (/de/mcp-server) ist eine aktive Schnittstelle, die ein Assistent aufruft, um eine Prüfung auszuführen oder einen Monitor zu verwalten, keine Datei, die er nur liest. llms.txt bietet eine Leseliste; sie kann nichts auslösen.

Halten Sie sie kurz und korrekt. Ein veralteter Link in einer Datei, deren ganzer Sinn eine vertrauenswürdige Karte ist, ist schlimmer als gar keine Datei, und es gibt keinen Beleg dafür, dass llms.txt zu besseren Rankings oder mehr KI-Zitaten führt, füllen Sie sie also nicht mit Marketingtext auf.

Wie Sie KI-Crawler wirklich kontrollieren

Wenn das Ziel ist zu kontrollieren, was KI-Systeme mit Ihren Inhalten tun, ist robots.txt mit benannten User-Agent-Gruppen der tatsächliche Hebel, nicht llms.txt. Jeder Anbieter dokumentiert sein eigenes Token:

• GPTBot (OpenAI): sammelt Web-Inhalte für das Training künftiger Modelle; OpenAI listet ihn getrennt vom OAI-SearchBot, der für Suchergebnisse genutzt wird, sodass Sie den einen erlauben und den anderen sperren können.
• ClaudeBot, Claude-User, Claude-SearchBot (Anthropic): ClaudeBot sammelt Trainingsdaten, Claude-User ruft eine Seite für eine Live-Nutzerfrage ab, Claude-SearchBot crawlt für suchähnliche Ergebnisse; Anthropics Dokumentation erklärt, dass alle drei robots.txt befolgen.
• PerplexityBot und Perplexity-User (Perplexity): PerplexityBot crawlt, um Websites in Ergebnissen zu zeigen, und wird laut Perplexitys eigener Dokumentation nicht zum Training von Modellen genutzt. Perplexity-User ruft eine Seite live für eine konkrete Frage ab und ignoriert robots.txt meist, da der Abruf vom Nutzer ausgelöst wird und kein Hintergrund-Crawl ist.
• Google-Extended: ein robots.txt-Token, kein Crawler mit eigenem User-Agent, das steuert, ob bereits von Googlebot abgerufene Inhalte künftige Gemini-Modelle trainieren dürfen. Google erklärt, das Sperren habe keine Auswirkung auf Ranking oder Indexierung in der Suche.

Testen Sie Ihre Regeln mit dem kostenlosen robots.txt-Tester: Er prüft, ob die allgemeine Gruppe User-agent: * eine URL sperrt und ob die URL in Ihrer Sitemap steht. Er wertet noch keine Regel für einen einzelnen benannten Crawler aus, eine unter User-agent: * offene URL kann also weiter unten im File für GPTBot mit dessen eigener Gruppe trotzdem gesperrt sein; prüfen Sie benannte Crawler-Gruppen vorerst durch Lesen der Rohdatei. Die Anleitung zum Prüfen von robots.txt beschreibt, wie Sie eine Datei von Hand lesen.

So prüfen Sie, ob Ihre llms.txt erreichbar ist

Eine llms.txt, die ein Modell nicht abrufen kann, ist schlimmer als nutzlos: Ein Modell, das es einmal versucht und blockiert oder umgeleitet wird, hat keine Möglichkeit, Ihnen das Scheitern mitzuteilen. Bestätigen Sie drei Dinge, bevor Sie die Datei als live behandeln:

1. Sie liefert einen reinen 200-Status, keine Weiterleitung auf eine Login-Seite und keine als 200 ausgelieferte Fehlerseite.
2. Ihr Content-Type ist text/plain oder text/markdown, nicht text/html, was bedeuten würde, dass ein Template sie eingebettet hat statt sie roh auszuliefern.
3. Sie wird nicht stillschweigend von einer WAF- oder Bot-Mitigation-Regel verworfen, die eine ungewöhnliche Anfrage nach einer Text-Datei im Stammverzeichnis markiert.

Eine schnelle Prüfung über die Kommandozeile:

curl -I https://example.com/llms.txt

Achten Sie auf HTTP/1.1 200 und einen content-type, der mit text/ beginnt. Um zu bestätigen, dass sie von außerhalb Ihres eigenen Netzwerks genauso antwortet, prüfen Sie die URL mit dem kostenlosen HTTP-Checker, der sie von mehreren Standorten aus anfragt und Status und Antwortzeit für jeden meldet. Nutzen Sie anschließend den robots.txt-Tester, um zu bestätigen, dass kein pauschales Disallow: / auch die Datei selbst versteckt.

HostTrackers SEO-Monitoring beobachtet die Signale, die die Sichtbarkeit in der Suche wirklich bewegen: noindex-Meta-Tags, X-Robots-Tag-Header und Änderungen am Canonical-Tag, dazu einen geplanten Crawl, der bei jedem Durchlauf Seiten gegen robots.txt abgleicht. llms.txt liegt außerhalb all dessen.

Häufig gestellte Fragen

Ersetzt llms.txt robots.txt?

Nein. robots.txt steuert, was Crawler abrufen dürfen, und existiert drei Jahrzehnte länger als llms.txt. Eine Seite kann in llms.txt gelistet und trotzdem in robots.txt gesperrt sein, oder umgekehrt.

Verbessert eine veröffentlichte llms.txt mein Suchranking?

Dafür gibt es keinen Beleg, und Google hat direkt erklärt, dass seine Suchsysteme, einschließlich AI Overviews, sie nicht nutzen. Behandeln Sie sie als Annehmlichkeit für bestimmte Entwickler-Tools, nicht als SEO-Taktik.

Was ist llms-full.txt?

Eine Begleitdatei, die manche Websites zusätzlich zu llms.txt veröffentlichen und die den vollständigen Markdown-Inhalt jeder verlinkten Seite in einer Datei bündelt, für ein Modell, das einzelnen Links nicht folgt oder folgen kann.

Lesen ChatGPT, Claude oder Perplexity meine llms.txt automatisch?

Kein Anbieter hat erklärt, dass sein Crawler oder Chat-Produkt die llms.txt-Dateien anderer Websites abruft und auswertet. Alle drei veröffentlichen ihre eigene für die eigene Dokumentation, das ist etwas anderes, als Ihre zu lesen.

Wo sollte ich die Datei ablegen?

Im Stammverzeichnis der Website, als /llms.txt, ausgeliefert als Klartext. Der Vorschlag erlaubt auch einen Unterpfad wie /docs/llms.txt, um nur diesen Bereich zu beschreiben.

Ist llms.txt ein offizieller Standard?

Nein. Es ist ein Community-Vorschlag, veröffentlicht auf llmstxt.org, ohne Standardisierungsgremium dahinter und ohne Vorgabe, dass irgendein Tool ihn unterstützen muss.