llms.txt: що це, хто читає і як його написати

Що таке llms.txt?

llms.txt звертається до реальної проблеми: сторінка, зроблена для людей, загортає свій вміст у навігацію, рекламу й JavaScript, і перетворити це назад на чистий текст для моделі складно й супроводжується втратами. Замість того щоб просити модель обходити й розбирати повні HTML-сторінки, сайт публікує один звичайний Markdown-файл зі списком, у порядку важливості, сторінок, які модель має прочитати.

Це явно пропозиція, а не стандарт: жодного керівного органу, жодної обов’язкової підтримки з боку ШІ-інструментів. Чи буде вона застосовуватися, повністю залежить від того, чи обере конкретний інструмент її читати.

Що входить у файл llms.txt?

Формат, визначений на llmstxt.org, конкретний:

• H1 з назвою сайту чи проєкту, єдиний обов’язковий елемент.
• Blockquote під H1 з коротким резюме.
• Опційні звичайні абзаци з додатковим контекстом, перед першим H2.
• Один або кілька розділів H2, кожен - Markdown-список посилань: [name](url): optional note.
• Опційний розділ H2 з назвою «Optional» для другорядних посилань, які модель може пропустити, коли обмежена контекстом.

Ось реалістичний приклад для вигаданого SaaS-продукту:

# Acme Metrics

> Acme Metrics is a hosted dashboard for product analytics events.

## Docs

- [Quickstart](https://docs.acmemetrics.com/quickstart.md): Install the SDK, send your first event
- [API reference](https://docs.acmemetrics.com/api.md): REST endpoints for events and dashboards
- [Webhooks](https://docs.acmemetrics.com/webhooks.md): Real-time event notifications

## Optional

- [Changelog](https://docs.acmemetrics.com/changelog.md): Release notes
- [Status page](https://status.acmemetrics.com): Uptime and incidents

Багато сайтів також публікують llms-full.txt: ту саму карту, але з повним Markdown-вмістом кожної посиланої сторінки, вставленим в один файл замість самих лише посилань, тож модель, яка не переходитиме за посиланнями, усе одно отримує все за один запит.

llms.txt проти robots.txt проти sitemap.xml

Ці три файли плутають, бо всі вони лежать у корені сайту й усі стосуються того, як сайт бачать машини, але виконують три різні задачі:

Файл	Призначення	Хто читає	Контролює доступ?
robots.txt	Які шляхи можуть завантажувати краулери	Краулери, що обирають дотримуватися його	Так, дорадчо (сумлінний бот його дотримується)
sitemap.xml	URL-адреси, які ви хочете, щоб виявили й проіндексували	Пошуковики, для виявлення	Ні, це список підказок, а не список дозволів
llms.txt	Відібрана Markdown-карта найкращих сторінок	Лише інструменти, що обирають її завантажити	Ні, вона не стосується краулінгу чи індексації

robots.txt - єдиний з трьох, що щось справді контролює, і навіть це добровільно: він працює, бо добре поведені краулери спершу його перевіряють, а не тому що сервер це примусово застосовує.

Чи використовує Google або будь-який ШІ-пошуковик llms.txt?

Власна документація Google відповідає на це прямо. У гіді Search Central про генеративний ШІ-пошук, у розділі «Розвінчання міфів про генеративний ШІ-пошук: чого не потрібно робити», названо файли LLMS.txt і сказано: «Вам не потрібно створювати нові машинозчитувані файли, ШІ-текстові файли, розмітку чи Markdown, щоб зʼявитися в Google Search (включно з його можливостями генеративного ШІ), оскільки сам Google Search їх не використовує» (востаннє оновлено в липні 2026 року).

Представники Google публічно повторюють те саме вже понад рік. На Search Central Live у липні 2025 року Гарі Ілліс сказав, що Google не підтримує llms.txt і не планує підтримувати, порівнявши його зі старим тегом meta keywords, сигналом, якому пошуковики перестали довіряти, щойно ним почали керувати власники сайтів. У січні 2026 року, після того як власна платформа документації Google ненадовго автоматично згенерувала файл llms.txt, Джона Мюллера запитали в Bluesky, чи це схвалення: «Мене тягне сказати щось саркастичне, бо це питання виникає надто часто, але прямо кажучи, ні».

Інші постачальники ШІ висловилися менше. Що можна перевірити: Anthropic, OpenAI й Perplexity кожен публікує власний llms.txt для власної документації розробника (наприклад, platform.claude.com/llms.txt і developers.openai.com/llms.txt), а це лише показує, що вони вважають формат корисним для власного сайту. Це відрізняється від того, щоб їхні краулери читали llms.txt чийогось чужого сайту перед відповіддю на запитання, і жоден з трьох цього не публікував. Власна документація краулера Perplexity детально описує PerplexityBot і Perplexity-User і не згадує llms.txt. Твердження на кшталт «ChatGPT читає llms.txt» варто вважати неперевіреним, поки вендор сам про це не заявить.

Чи варто все одно публікувати такий файл?

Імовірно, з поміркованих причин. llms.txt - статичний файл без будь-якої серверної роботи, крім віддачі його як простого тексту, тож вартість близька до нуля. Реальний випадок використання вужчий за «ШІ-SEO»: агент кодування чи асистент в IDE, що завантажує сторінки за потреби, відповідаючи на запитання, може швидше знайти ваш quickstart чи довідник API через короткий llms.txt, ніж вгадуючи з мапи сайту.

Це не заміна сервісу, зробленого для того, щоб агенти на його основі діяли: власний MCP-сервер HostTracker (/ua/mcp-server) - живий інтерфейс, який асистент викликає, щоб запустити перевірку чи керувати монітором, а не файл, який він просто читає. llms.txt пропонує список для читання; він не здатен нічого зробити сам.

Тримайте його коротким і точним. Застаріле посилання у файлі, що мав би бути надійною картою, гірше за відсутність файлу взагалі, і немає жодних доказів, що llms.txt пов’язаний із кращими позиціями чи більшою кількістю ШІ-цитувань, тож не наповнюйте його маркетинговим текстом.

Як насправді контролювати ШІ-краулери

Якщо мета - контролювати, що ШІ-системи роблять із вашим вмістом, справжній важіль - robots.txt з іменованими групами user-agent, а не llms.txt. Кожен вендор документує власний токен:

• GPTBot (OpenAI): збирає вебвміст для навчання майбутніх моделей; OpenAI перелічує його окремо від OAI-SearchBot, використаного для результатів пошуку, тож ви можете дозволити один і заборонити інший.
• ClaudeBot, Claude-User, Claude-SearchBot (Anthropic): ClaudeBot збирає навчальні дані, Claude-User завантажує сторінку для живого запиту користувача, Claude-SearchBot обходить сайти для результатів у стилі пошуку; документація Anthropic стверджує, що всі три дотримуються robots.txt.
• PerplexityBot і Perplexity-User (Perplexity): PerplexityBot обходить сайти, щоб виводити їх у результатах, і, за документацією Perplexity, не використовується для навчання моделей. Perplexity-User завантажує сторінку наживо для конкретного запитання і зазвичай ігнорує robots.txt, оскільки запит ініційований користувачем, а не фоновим краулінгом.
• Google-Extended: токен robots.txt, а не краулер із власним user-agent, що керує тим, чи може вже завантажений Googlebot-ом вміст навчати майбутні моделі Gemini. Google стверджує, що його блокування ніяк не впливає на ранжування чи індексацію в пошуку.

Перевірте свої правила безкоштовним тестером robots.txt: він перевіряє, чи блокує URL-адресу загальна група User-agent: * і чи є вона у вашій мапі сайту. Він поки що не оцінює правило, написане для одного іменованого краулера, тож URL-адреса, відкрита за User-agent: *, усе ще може бути заблокована для GPTBot власною групою нижче у файлі; наразі перевіряйте групи для іменованих краулерів, читаючи сирий файл. Посібник, як перевірити robots.txt, розповідає, як прочитати його вручну.

Як перевірити, що ваш llms.txt доступний

llms.txt, який модель не може завантажити, гірший за марний: модель, що спробувала раз і отримала блокування чи редирект, не має способу повідомити вам про невдачу. Перш ніж вважати файл живим, підтвердьте три речі:

1. Він повертає простий статус 200, а не редирект на сторінку входу чи сторінку помилки, віддану як 200.
2. Його Content-Type - text/plain чи text/markdown, а не text/html, що означало б, що шаблон загорнув його замість віддачі сирого файлу.
3. Його мовчки не відкидає WAF чи правило боротьби з ботами, яке позначає незвичний запит до кореневого текстового файлу.

Швидка перевірка командним рядком:

curl -I https://example.com/llms.txt

Шукайте HTTP/1.1 200 і content-type, що починається з text/. Щоб підтвердити, що файл відповідає так само й ззовні вашої мережі, прогоніть URL-адресу через безкоштовний HTTP-чекер, що запитує її з кількох локацій і звітує про статус і час відповіді з кожної. Тоді скористайтеся тестером robots.txt, щоб підтвердити, що загальне Disallow: / заодно не ховає й сам файл.

SEO-моніторинг HostTracker стежить за сигналами, що справді впливають на видимість у пошуку: теги noindex, заголовки X-Robots-Tag і зміни canonical-тегу, а ще за запланованим обходом, що на кожному запуску звіряє сторінки з robots.txt. llms.txt лежить поза всім цим.

Часті запитання

Чи замінює llms.txt robots.txt?

Ні. robots.txt контролює, що можуть завантажувати краулери, і зʼявився на три десятиліття раніше за llms.txt. Сторінка може бути в списку llms.txt і водночас заборонена в robots.txt, або навпаки.

Чи покращить публікація llms.txt мої позиції в пошуку?

Жодних доказів цього немає, і Google прямо заявив, що його пошукові системи, зокрема AI Overviews, його не використовують. Вважайте його зручністю для певних інструментів розробки, а не тактикою SEO.

Що таке llms-full.txt?

Супровідний файл, який деякі сайти публікують поряд з llms.txt, і в ньому вбудовано повний Markdown-вміст кожної посиланої сторінки в одному файлі для моделі, що не переходитиме чи не може переходити за окремими посиланнями.

Чи ChatGPT, Claude або Perplexity автоматично читають мій llms.txt?

Жоден вендор не публікував заяву, що його краулер чи чат-продукт завантажує й розбирає llms.txt чужих сайтів. Усі троє публікують власний для власної документації, а це не те саме, що читання вашого.

Куди покласти файл?

У корені сайту, як /llms.txt, відданий як звичайний текст. Пропозиція також дозволяє підшлях, наприклад /docs/llms.txt, щоб описати лише цей розділ.

Чи є llms.txt офіційним стандартом?

Ні. Це спільнотна пропозиція, опублікована на llmstxt.org, без жодного стандартизаційного органу за нею і без вимоги, щоб її підтримував бодай якийсь інструмент.