llms.txt: что это, кто его читает и как его написать

Что такое llms.txt?

llms.txt решает реальную проблему: страница, построенная для людей, оборачивает свое содержимое в навигацию, рекламу и JavaScript, и превратить это обратно в чистый текст для модели сложно и с потерями. Вместо того чтобы просить модель обходить и разбирать полноценные HTML-страницы, сайт публикует один простой Markdown-файл, перечисляющий, в порядке важности, страницы, которые модели стоит прочитать.

Это прямо предложение, а не стандарт: нет управляющего органа, нет обязательной поддержки от какого-либо ИИ-инструмента. Будет ли он использоваться, зависит целиком от того, решит ли конкретный инструмент его читать.

Что входит в файл llms.txt?

Формат, определенный на llmstxt.org, конкретен:

• H1 с названием сайта или проекта - единственный обязательный элемент.
• Цитата (blockquote) под H1 с коротким описанием.
• Необязательные обычные абзацы с дополнительным контекстом, перед первым H2.
• Один или несколько разделов H2, каждый - Markdown-список ссылок: [name](url): необязательная заметка.
• Необязательный раздел H2 с названием «Optional» для второстепенных ссылок, которые модель может пропустить, если не хватает контекста.

Вот реалистичный пример для вымышленного SaaS-продукта:

# Acme Metrics

> Acme Metrics is a hosted dashboard for product analytics events.

## Docs

- [Quickstart](https://docs.acmemetrics.com/quickstart.md): Install the SDK, send your first event
- [API reference](https://docs.acmemetrics.com/api.md): REST endpoints for events and dashboards
- [Webhooks](https://docs.acmemetrics.com/webhooks.md): Real-time event notifications

## Optional

- [Changelog](https://docs.acmemetrics.com/changelog.md): Release notes
- [Status page](https://status.acmemetrics.com): Uptime and incidents

Многие сайты публикуют еще и llms-full.txt: ту же карту, но с полным Markdown-содержимым каждой связанной страницы, вставленным в один файл вместо одних только ссылок, чтобы модель, которая не переходит по ссылкам, все равно получала все за один запрос.

llms.txt против robots.txt против sitemap.xml

Эти три файла путают друг с другом, потому что все они лежат в корне сайта и все связаны с тем, как сайт видят машины, но у них три разные задачи:

Файл	Назначение	Кто его читает	Управляет доступом?
robots.txt	Какие пути краулеры могут загружать	Краулеры, которые решили его соблюдать	Да, рекомендательно (добропорядочный бот его соблюдает)
sitemap.xml	URL, которые вы хотите видеть найденными и проиндексированными	Поисковые системы, для обнаружения страниц	Нет, это список подсказок, а не список разрешений
llms.txt	Подобранная Markdown-карта ваших лучших страниц	Только инструменты, которые решили ее загрузить	Нет, она никак не касается обхода сайта или индексации

robots.txt - единственный из трех файлов, который хоть что-то ограничивает, но и это добровольно: он работает, потому что добропорядочные краулеры проверяют его в первую очередь, а не потому, что сервер это принудительно обеспечивает.

Использует ли Google или любая другая ИИ-поисковая система llms.txt?

Собственная документация Google отвечает на это прямо. В руководстве Search Central по генеративному ИИ-поиску, в разделе «Развенчание мифов о генеративном ИИ-поиске: что вам делать не нужно», названы файлы LLMS.txt и сказано: «Вам не нужно создавать новые машиночитаемые файлы, файлы с ИИ-текстом, разметку или Markdown, чтобы попасть в Google Поиск (включая его генеративные ИИ-возможности), поскольку сам Google Поиск их не использует» (обновлено в июле 2026 года).

Представители Google публично говорят то же самое уже больше года. На Search Central Live в июле 2025 года Гэри Илш сказал, что Google не поддерживает llms.txt и не планирует, сравнив его со старым мета-тегом keywords - сигналом, которому поисковые системы перестали доверять, как только сайты сами взяли его под контроль. В январе 2026 года, после того как собственная платформа документации Google ненадолго начала автоматически генерировать файл llms.txt, Джона Мюллера спросили в Bluesky, значит ли это одобрение: «Мне так и хочется съязвить, потому что это спрашивают уже слишком часто, но если прямо, то нет».

Другие ИИ-вендоры высказывались меньше. Что можно проверить: Anthropic, OpenAI и Perplexity каждый публикует собственный llms.txt для своей документации разработчика (например, platform.claude.com/llms.txt и developers.openai.com/llms.txt), а это показывает только то, что им самим этот формат полезен для собственного сайта. Это отличается от того, читают ли их краулеры llms.txt на чужом сайте перед тем, как ответить на вопрос, и ни один из трех этого не опубликовал. Собственная документация краулера Perplexity подробно описывает PerplexityBot и Perplexity-User и не упоминает llms.txt. Относитесь к заявлению вроде «ChatGPT читает llms.txt» как к непроверенному, пока вендор не скажет обратное.

Стоит ли публиковать его все равно?

Скорее всего да, по скромным причинам. llms.txt - это статичный файл, не требующий от сервера ничего сверх того, чтобы отдать его как обычный текст, так что затраты близки к нулю. Реальный сценарий использования уже, чем «SEO для ИИ»: агент кодирования или ассистент в IDE, загружающий страницы по требованию, отвечая на вопрос, может использовать короткий llms.txt, чтобы найти ваш quickstart или справочник API быстрее, чем угадывая по sitemap.

Это не замена сервиса, построенного для того, чтобы агенты действовали на его основе: собственный MCP-сервер HostTracker (/ru/mcp-server) - это живой интерфейс, который ассистент вызывает, чтобы запустить проверку или управлять монитором, а не файл, который он просто читает. llms.txt предлагает список для чтения; он не может ничего сделать сам.

Держите его коротким и точным. Устаревшая ссылка в файле, который должен быть надежной картой, хуже, чем отсутствие файла вообще, и нет никаких доказательств, что llms.txt связан с лучшим ранжированием или большим числом упоминаний в ИИ, так что не разбавляйте его маркетинговым текстом.

Как реально контролировать ИИ-краулеры

Если цель - контролировать, что ИИ-системы делают с вашим контентом, настоящий рычаг это robots.txt с именованными группами user-agent, а не llms.txt. Каждый вендор документирует собственный токен:

• GPTBot (OpenAI): собирает веб-контент для обучения будущих моделей; OpenAI перечисляет его отдельно от OAI-SearchBot, используемого для результатов поиска, так что можно разрешить одного и запретить другого.
• ClaudeBot, Claude-User, Claude-SearchBot (Anthropic): ClaudeBot собирает обучающие данные, Claude-User загружает страницу для живого вопроса пользователя, Claude-SearchBot обходит сайт для результатов в стиле поиска; документация Anthropic утверждает, что все три соблюдают robots.txt.
• PerplexityBot и Perplexity-User (Perplexity): PerplexityBot обходит сайты, чтобы показывать их в результатах, и, согласно документации Perplexity, не используется для обучения моделей. Perplexity-User загружает страницу вживую для конкретного вопроса и, как правило, игнорирует robots.txt, поскольку загрузка инициирована пользователем, а не фоновым обходом.
• Google-Extended: токен robots.txt, а не краулер с собственным user-agent, управляющий тем, может ли уже загруженный Googlebot контент использоваться для обучения будущих моделей Gemini. Google заявляет, что его блокировка никак не влияет на ранжирование или индексацию в поиске.

Проверьте свои правила с помощью бесплатного тестера robots.txt: он проверяет, блокирует ли общая группа User-agent: * определенный URL и есть ли этот URL в вашем sitemap. Он пока не оценивает правило, написанное для одного именованного краулера, так что URL, открытый под User-agent: *, все еще может быть заблокирован для GPTBot собственной группой дальше в файле; проверяйте группы именованных краулеров, читая сам файл вручную. Руководство как проверить robots.txt разбирает, как читать его вручную.

Как проверить, что ваш llms.txt доступен

llms.txt, который модель не может загрузить, хуже, чем полное его отсутствие: модель, которая пробует один раз и получает блокировку или редирект, никак не может сообщить вам, что попытка провалилась. Прежде чем считать файл рабочим, убедитесь в трех вещах:

1. Он возвращает обычный статус 200, а не редирект на страницу входа или страницу ошибки, отданную с кодом 200.
2. Его Content-Type - это text/plain или text/markdown, а не text/html, что означало бы, что файл обернут шаблоном, а не отдан как есть.
3. Его не отбрасывает тихо WAF или правило защиты от ботов, помечающее необычный запрос к текстовому файлу в корне как подозрительный.

Быстрая проверка из командной строки:

curl -I https://example.com/llms.txt

Смотрите на HTTP/1.1 200 и content-type, начинающийся с text/. Чтобы убедиться, что он отвечает так же и извне вашей собственной сети, прогоните URL через бесплатный HTTP-чекер, который запрашивает его из нескольких локаций и сообщает статус и время ответа для каждой. Затем воспользуйтесь тестером robots.txt, чтобы убедиться, что общий запрет Disallow: / заодно не скрывает и сам файл.

SEO-мониторинг HostTracker следит за сигналами, которые реально влияют на видимость в поиске: мета-тегами noindex, заголовками X-Robots-Tag и изменениями канонических тегов, плюс проверяет запланированный обход, сверяющий страницы с robots.txt при каждом запуске. llms.txt остается за пределами всего этого.

Часто задаваемые вопросы

Заменяет ли llms.txt robots.txt?

Нет. robots.txt управляет тем, что краулеры могут загружать, и появился на три десятилетия раньше llms.txt. Страница может быть перечислена в llms.txt и при этом быть запрещена в robots.txt, или наоборот.

Улучшит ли публикация llms.txt мои позиции в поиске?

Доказательств этому нет, а Google прямо заявил, что его поисковые системы, включая AI Overviews, его не используют. Относитесь к нему как к удобству для отдельных инструментов разработчика, а не как к SEO-тактике.

Что такое llms-full.txt?

Дополнительный файл, который некоторые сайты публикуют рядом с llms.txt: он встраивает полное Markdown-содержимое каждой связанной страницы в один файл, для модели, которая не будет или не может переходить по отдельным ссылкам.

Читают ли ChatGPT, Claude или Perplexity мой llms.txt автоматически?

Ни один вендор не публиковал заявления о том, что его краулер или чат-продукт загружает и разбирает чужие файлы llms.txt. Все три публикуют собственные для своей документации, а это не то же самое, что чтение вашего.

Куда положить этот файл?

В корень сайта, как /llms.txt, отданный как обычный текст. Предложение также допускает подпуть, например /docs/llms.txt, чтобы описать только этот раздел.

llms.txt - это официальный стандарт?

Нет. Это предложение сообщества, опубликованное на llmstxt.org, без какого-либо органа стандартизации за ним и без требования, чтобы его поддерживал какой-либо инструмент.