llms.txt: wat het is, wie het leest en hoe u er één schrijft

Wat is llms.txt?

llms.txt lost een echt probleem op: een pagina die voor mensen is gebouwd, verpakt zijn inhoud in navigatie, advertenties en JavaScript, en dat terugvertalen naar schone tekst voor een model is lastig en verliesgevend. In plaats van een model volledige HTML-pagina's te laten crawlen en parsen, publiceert een site één plat Markdown-bestand dat, in volgorde van belang, de pagina's opsomt die een model zou moeten lezen.

Het is expliciet een voorstel, geen standaard: geen overkoepelend orgaan, geen verplichte ondersteuning door welke AI-tool dan ook. Of het gebruikt wordt, hangt volledig af van of een gegeven tool ervoor kiest het te lezen.

Wat hoort er in een llms.txt-bestand?

Het formaat zoals gedefinieerd op llmstxt.org is specifiek:

• Een H1 met de naam van de site of het project, het enige verplichte element.
• Een blockquote onder de H1 met een korte samenvatting.
• Optionele platte alinea's met meer context, voor de eerste H2.
• Eén of meer H2-secties, elk een Markdown-lijst met links: [naam](url): optionele toelichting.
• Een optionele H2 genaamd "Optional" voor secundaire links die een model kan overslaan bij weinig context.

Hier is een realistisch voorbeeld voor een fictief SaaS-product:

# Acme Metrics

> Acme Metrics is a hosted dashboard for product analytics events.

## Docs

- [Quickstart](https://docs.acmemetrics.com/quickstart.md): Install the SDK, send your first event
- [API reference](https://docs.acmemetrics.com/api.md): REST endpoints for events and dashboards
- [Webhooks](https://docs.acmemetrics.com/webhooks.md): Real-time event notifications

## Optional

- [Changelog](https://docs.acmemetrics.com/changelog.md): Release notes
- [Status page](https://status.acmemetrics.com): Uptime and incidents

Veel sites publiceren ook een llms-full.txt: dezelfde kaart, maar met de volledige Markdown-inhoud van elke gelinkte pagina in één bestand geplakt, zodat een model dat geen links volgt alles toch in één keer ophaalt.

llms.txt versus robots.txt versus sitemap.xml

Deze drie bestanden worden verward omdat ze allemaal op de root van de site staan en allemaal iets te maken hebben met hoe machines een site zien, maar ze doen drie verschillende dingen:

Bestand	Doel	Wie leest het	Regelt toegang?
robots.txt	Welke paden crawlers mogen ophalen	Crawlers die ervoor kiezen het te volgen	Ja, adviserend (een compliant bot volgt het)
sitemap.xml	URL's die u wilt laten ontdekken en indexeren	Zoekmachines, voor ontdekking	Nee, een hint-lijst, geen toestemmingslijst
llms.txt	Een uitgekozen Markdown-kaart van uw beste pagina's	Alleen tools die ervoor kiezen het op te halen	Nee, het raakt crawlen noch indexeren

robots.txt is de enige van de drie die daadwerkelijk iets afdwingt, en zelfs dat is vrijwillig: het werkt omdat goed opgevoede crawlers het eerst controleren, niet omdat een server het afdwingt.

Gebruikt Google of een AI-zoekmachine llms.txt?

Google's eigen documentatie beantwoordt dit rechtstreeks. De gids van Search Central over generatieve AI-zoekresultaten noemt, onder "Mythbusting generative AI search: what you don't need to do", LLMS.txt-bestanden en stelt: "You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn't use them" (u hoeft geen nieuwe machineleesbare bestanden, AI-tekstbestanden, markup of Markdown aan te maken om te verschijnen in Google Zoeken, inclusief de generatieve AI-functies daarvan, aangezien Google Zoeken zelf ze niet gebruikt; pagina voor het laatst bijgewerkt in juli 2026).

Vertegenwoordigers van Google zeggen al meer dan een jaar publiekelijk hetzelfde. Op Search Central Live in juli 2025 zei Gary Illyes dat Google llms.txt niet ondersteunt en dat ook niet van plan is, en vergeleek het met de oude meta-keywordstag, een signaal dat zoekmachines zijn gaan wantrouwen zodra sitebeheerders er zelf controle over kregen. In januari 2026, nadat Google's eigen documentatieplatform kortstondig automatisch een llms.txt-bestand genereerde, werd John Mueller op Bluesky gevraagd of dat een goedkeuring was: "Ik ben geneigd iets ironisch te zeggen omdat dit zo vaak terugkomt, maar om direct te zijn: nee."

Andere AI-leveranciers hebben minder gezegd. Wat verifieerbaar is: Anthropic, OpenAI en Perplexity publiceren elk hun eigen llms.txt voor hun ontwikkelaarsdocumentatie (bijvoorbeeld platform.claude.com/llms.txt en developers.openai.com/llms.txt), wat alleen laat zien dat zij het formaat nuttig vinden voor hun eigen site. Dat is iets anders dan dat hun crawlers een llms.txt op andermans site lezen voordat ze een vraag beantwoorden, en geen van de drie heeft dat gepubliceerd. Perplexity's eigen documentatie over crawlers beschrijft PerplexityBot en Perplexity-User in detail en noemt llms.txt niet. Behandel een claim als "ChatGPT leest llms.txt" als onbevestigd totdat de leverancier het zelf zegt.

Moet u er toch één publiceren?

Waarschijnlijk wel, om bescheiden redenen. Een llms.txt is een statisch bestand zonder serverwerk buiten het als platte tekst serveren, dus de kosten liggen dicht bij nul. Het echte gebruik is smaller dan "AI-SEO": een codeeragent of IDE-assistent die pagina's op verzoek ophaalt tijdens het beantwoorden van een vraag, kan een korte llms.txt gebruiken om uw quickstart of API-referentie sneller te vinden dan door te gokken op basis van een sitemap.

Het is geen vervanging voor een dienst die gebouwd is om acties voor agents mogelijk te maken: HostTrackers eigen MCP server (/nl/mcp-server) is een live interface die een assistent aanroept om een controle uit te voeren of een monitor te beheren, geen bestand dat hij alleen leest. llms.txt biedt een leeslijst; het laat zelf niets gebeuren.

Houd het kort en accuraat. Een verouderde link in een bestand dat bedoeld is als betrouwbare kaart is erger dan geen bestand, en er is geen bewijs dat llms.txt leidt tot betere rankings of meer AI-citaties, dus vul het niet aan met marketingtekst.

Hoe u AI-crawlers echt onder controle houdt

Als het doel is te bepalen wat AI-systemen met uw inhoud doen, is robots.txt met benoemde user-agentgroepen de echte hendel, niet llms.txt. Elke leverancier documenteert zijn eigen token:

• GPTBot (OpenAI): verzamelt webinhoud om toekomstige modellen te trainen; OpenAI vermeldt het los van OAI-SearchBot, dat wordt gebruikt voor zoekresultaten, zodat u het ene kunt toestaan en het andere kunt weigeren.
• ClaudeBot, Claude-User, Claude-SearchBot (Anthropic): ClaudeBot verzamelt trainingsdata, Claude-User haalt een pagina op voor een live gebruikersvraag, en Claude-SearchBot crawlt voor zoekmachine-achtige resultaten; Anthropic's documentatie stelt dat alle drie robots.txt respecteren.
• PerplexityBot en Perplexity-User (Perplexity): PerplexityBot crawlt om sites in resultaten te laten verschijnen en wordt, volgens Perplexity's eigen documentatie, niet gebruikt om modellen te trainen. Perplexity-User haalt een pagina live op voor een specifieke vraag en negeert robots.txt meestal, omdat de opvraging door de gebruiker wordt geïnitieerd, geen achtergrondcrawl is.
• Google-Extended: een robots.txt-token, geen crawler met een eigen user-agent, dat bepaalt of inhoud die Googlebot al heeft opgehaald toekomstige Gemini-modellen mag trainen. Google stelt dat het blokkeren ervan geen effect heeft op ranking of indexering in Zoeken.

Test uw eigen regels met de gratis robots.txt-tester: die controleert of de algemene groep User-agent: * een URL blokkeert en of de URL in uw sitemap staat. Hij beoordeelt nog geen regel die voor één benoemde crawler is geschreven, dus een URL die vrij is onder User-agent: * kan nog steeds geblokkeerd zijn voor GPTBot met een eigen groep verderop in het bestand; controleer voorlopig benoemde-crawlergroepen door het ruwe bestand te lezen. De handleiding over hoe u robots.txt controleert behandelt het handmatig lezen ervan.

Hoe u controleert of uw llms.txt bereikbaar is

Een llms.txt die een model niet kan ophalen is erger dan nutteloos: een model dat het één keer probeert en wordt geblokkeerd of doorgestuurd, heeft geen manier om u te laten weten dat het is mislukt. Bevestig deze drie dingen voordat u het bestand als live beschouwt:

1. Het geeft een gewone 200-status terug, geen doorverwijzing naar een loginpagina en geen foutpagina die als 200 wordt weergegeven.
2. De Content-Type is text/plain of text/markdown, niet text/html, want dat zou betekenen dat een template het bestand heeft ingepakt in plaats van het ruw te serveren.
3. Het wordt niet stilzwijgend geweigerd door een WAF- of bot-mitigatieregel die een ongebruikelijk verzoek om een tekstbestand op de root markeert.

Een snelle controle via de commandoregel:

curl -I https://example.com/llms.txt

Kijk naar HTTP/1.1 200 en een content-type die begint met text/. Om te bevestigen dat het bestand op dezelfde manier reageert vanaf buiten uw eigen netwerk, voert u de URL door de gratis HTTP-controle, die het verzoek vanaf meerdere locaties uitvoert en de status en responstijd van elk rapporteert. Gebruik vervolgens de robots.txt-tester om te bevestigen dat een algemene Disallow: / niet ook het bestand zelf verbergt.

HostTrackers SEO-monitoring volgt de signalen die de zichtbaarheid in zoekresultaten echt beïnvloeden: noindex-metatags, X-Robots-Tag-headers en wijzigingen aan de canonical-tag, plus een geplande crawl die bij elke run pagina's aftoetst tegen robots.txt. llms.txt valt daar volledig buiten.

Veelgestelde vragen

Vervangt llms.txt robots.txt?

Nee. robots.txt bepaalt wat crawlers mogen ophalen en bestaat al drie decennia langer dan llms.txt. Een pagina kan vermeld staan in llms.txt en toch verboden zijn in robots.txt, of andersom.

Verbetert het publiceren van een llms.txt mijn zoekrankings?

Daar is geen bewijs voor, en Google heeft rechtstreeks gezegd dat zijn zoeksystemen, inclusief AI Overviews, het niet gebruiken. Behandel het als een gemak voor bepaalde ontwikkelaarstools, niet als een SEO-tactiek.

Wat is llms-full.txt?

Een begeleidend bestand dat sommige sites naast llms.txt publiceren, dat de volledige Markdown-inhoud van elke gelinkte pagina in één bestand plaatst, voor een model dat geen of geen individuele links kan volgen.

Lezen ChatGPT, Claude of Perplexity automatisch mijn llms.txt?

Geen enkele leverancier heeft een verklaring gepubliceerd dat zijn crawler of chatproduct andermans llms.txt-bestanden ophaalt en verwerkt. Alle drie publiceren hun eigen llms.txt voor hun documentatie, wat iets anders is dan het lezen van de uwe.

Waar moet ik het bestand plaatsen?

Op de root van de site, als /llms.txt, geserveerd als platte tekst. Het voorstel staat ook een subpad toe, zoals /docs/llms.txt, om alleen dat onderdeel te beschrijven.

Is llms.txt een officiële standaard?

Nee. Het is een voorstel vanuit de community, gepubliceerd op llmstxt.org, zonder standaardisatieorgaan erachter en zonder vereiste dat enige tool het ondersteunt.