Генератор robots.txt — рабочий файл без мёртвых директив
Выберите шаблон своей CMS или начните с нуля — и соберите robots.txt: правила Allow и Disallow, Sitemap, Clean-param для Яндекса, отдельные блоки для ботов. Инструмент не даст записать директиву, которую поисковик давно не читает, и предупредит о правилах, закрывающих лишнее. Файл уже есть? Вставьте его — мы разберём его по строкам.
robots.txt не скрывает страницы из поиска. Он только запрещает сканирование. Чтобы полностью исключить страницу из выдачи, используйте мета-тег <meta name="robots" content="noindex"> на самой странице.
Проверить текущий robots.txt анализ
Откройте site.ru/robots.txt, скопируйте содержимое и вставьте сюда. Разберём файл, найдём устаревшие и опасные директивы и подставим правила в конструктор ниже — дальше останется поправить и забрать исправленный файл. Разбор идёт в браузере, файл никуда не отправляется.
Быстрый старт
Выберите CMS — конструктор подставит типовой набор закрытых служебных разделов. Рекомендуем свериться со структурой именно вашего сайта.
Общие правила User-agent: *
Действуют для всех поисковых роботов, если для них не задан отдельный блок ниже.
Это правило закроет все URL с параметрами, включая пагинацию и сортировку, если они важны для индексации — закрывайте точечно (например /*?sort=). Для Яндекса для UTM-меток и подобных параметров точнее работает Clean-param в блоке ниже.
Карта сайта
Обязательно полный адрес, включая протокол — относительные пути поисковики не распознают.
Яндекс Clean-param
Как только вы включаете отдельный блок, Яндекс использует только его — общие правила выше для Яндекса перестают действовать. Продублируйте нужные строки сюда.
ref /product/. Директива есть только у Яндекса: она склеивает адреса, отличающиеся служебными параметрами, и точнее, чем закрывать такие URL через Disallow.
Crawl-delay Яндекс не учитывает с 22 февраля 2018 года — поля для неё здесь нет намеренно. Скорость обхода задаётся в Яндекс Вебмастере: «Индексирование» → «Скорость обхода». Если директива осталась в текущем файле, её можно удалить.
Google Googlebot-Image / Video / News
Crawl-delay для Google не работает. Эта директива полностью игнорируется Googlebot. Управляйте скоростью сканирования через Google Search Console — поэтому поля для неё здесь нет.
Bing Bingbot · Crawl-delay
После включения Bingbot использует только этот блок — общие правила для него перестают действовать.
ИИ-краулеры GPTBot · ClaudeBot · CCBot
Боты моделей делятся на две группы. Обучающие забирают тексты в наборы данных — доступ к ним владелец сайта закрывает по своему выбору. Отвечающие заходят на страницу в момент вопроса пользователя и приводят ссылку в ответе. Закрывать вторую группу почти всегда невыгодно: сайт просто исчезает из ответов, а конкурент с открытым доступом занимает его место.
robots.txt — это договорённость, а не защита. Добросовестные краулеры правила соблюдают, но техническим барьером файл не является: закрыть доступ гарантированно можно только на уровне сервера. И помните, что Google-Extended отвечает лишь за использование контента в Gemini и Vertex AI — на обычный поиск Google он не влияет.
Готовый файл
Обновляется автоматически при каждом изменении настроек выше.
Файл формируется локально в браузере — ничего не отправляется на сервер Neorank.
Важно: Disallow не убирает страницы из выдачи. Проверьте файл в Яндекс Вебмастере и Google Search Console до загрузки: ошибка в robots.txt может закрыть сайт от индексации.
Как правильно настроить robots.txt для разных поисковиков
Разбираем реальные различия между Яндексом, Google и Bing — большинство генераторов их игнорируют.
Что такое robots.txt и как его читают роботы
robots.txt — текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно сканировать, а какие — нет. Это рекомендация, а не жёсткий запрет: страница, закрытая в robots.txt, всё равно может попасть в индекс, если на неё ведут внешние ссылки.
Файл должен находиться строго по адресу site.ru/robots.txt — в любой другой директории поисковики его не найдут.
Чем правила Яндекса отличаются от Google и Bing
Яндекс поддерживает уникальную директиву Clean-param для очистки URL от лишних параметров — у Google и Bing аналога нет. При этом Яндекс с 2018 года не учитывает директиву Host, хотя её до сих пор добавляют устаревшие генераторы.
Google полностью игнорирует Crawl-delay — управлять скоростью обхода нужно через Google Search Console. Bing же эту директиву поддерживает.
Частые ошибки при составлении robots.txt
Самая распространённая ошибка — попытка скрыть страницу из выдачи через Disallow. Это не работает: закрытая от сканирования страница может остаться в индексе без сниппета. Для скрытия из выдачи нужен мета-тег noindex.
Вторая частая ошибка — случайное Disallow: / в общем блоке, которое блокирует сканирование всего сайта целиком.
Как указать Sitemap и проверить файл
Директива Sitemap должна содержать полный адрес карты сайта, включая протокол: Sitemap: https://site.ru/sitemap.xml. Относительные пути поисковики не распознают.
После публикации файла его стоит проверить в Яндекс.Вебмастере («Инструменты → Анализ robots.txt») и в Google Search Console («Индексирование → Файлы robots.txt»).
Директивы robots.txt: какие работают, а какие уже нет
Полный список того, что имеет смысл писать в файл, — с пометкой, кто из поисковых систем это читает.
robots.txt — обычный текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно сканировать, а какие не нужно. Он должен открываться строго по адресу site.ru/robots.txt: в любой другой папке роботы его не ищут. Файл читается сверху вниз и разбивается на группы, каждая из которых начинается со строки User-agent.
| Директива | Кто читает | Что делает |
|---|---|---|
User-agent |
Все | Открывает группу правил для конкретного робота. * — для всех, у кого нет своей группы. Несколько строк подряд задают одну группу на нескольких ботов. |
Disallow |
Все | Запрещает сканирование пути. Пустое значение Disallow: означает «сканировать можно всё». |
Allow |
Все | Открывает исключение внутри закрытого раздела. Само по себе, без пересекающегося Disallow, бесполезно. |
Sitemap |
Все | Полный адрес карты сайта с протоколом. Не привязана к группе — действует на весь файл, поэтому её пишут в конце. |
Clean-param |
Только Яндекс | Склеивает адреса, отличающиеся служебными параметрами (метки, идентификаторы сессий). Точнее, чем закрывать такие URL через Disallow: страница остаётся доступной, но дубли не плодятся. |
Crawl-delay |
Только Bing | Пауза между запросами робота. Яндекс не учитывает её с 22 февраля 2018 года, Google не поддерживал никогда. Скорость обхода задаётся в панелях вебмастеров. |
Host |
Никто | Указывала главное зеркало сайта. Яндекс отказался от неё в 2018 году, другие системы не поддерживали. Строку можно смело удалять — главное зеркало определяется редиректом и тегом canonical. |
Что нельзя сделать через robots.txt
Файл управляет сканированием, а не показом в выдаче. Страница, закрытая директивой Disallow, может остаться в индексе и появляться в результатах поиска без описания — если на неё ведут внешние ссылки, робот узнает о её существовании, даже не заходя внутрь.
Чтобы страница действительно исчезла из поиска, нужен мета-тег <meta name="robots" content="noindex"> на самой странице или HTTP-заголовок X-Robots-Tag. При этом важна деталь, о которой забывают: если страница закрыта в robots.txt, робот не сможет её прочитать и не увидит noindex. Эти два способа не складываются — они мешают друг другу.
Ещё одно ограничение: robots.txt не защищает данные. Файл лежит в открытом доступе, и перечисленные в нём закрытые разделы видны любому, кто его откроет. Прятать в нём пути к админке или бэкапам — значит показывать их всем сразу.
ИИ-краулеры в robots.txt: кого закрывать, а кого лучше пустить
С появлением ответов на основе моделей у файла добавилась задача, которой раньше не было.
Боты языковых моделей делятся на две группы, и путать их дорого. Обучающие собирают тексты в наборы данных на будущее: закрывать их или нет — решение владельца сайта, на трафик это прямо не влияет. Отвечающие заходят на страницу в момент, когда пользователь задаёт вопрос, забирают контент и формируют ответ со ссылкой на источник. Закрыть вторую группу — значит исчезнуть из ответов сервиса: модель либо не найдёт страницу, либо сошлётся на конкурента.
| Группа | User-agent | Стоит ли закрывать |
|---|---|---|
| Обучение моделей | GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Amazonbot |
По решению владельца. Закрытие защищает контент от попадания в обучающие выборки, но убирает и упоминания бренда внутри самих моделей. |
| Ответы в реальном времени | OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User |
Почти всегда нет. Через этих ботов сайт попадает в ответы со ссылкой — закрытие лишает источника переходов. |
| Нагрузка на сервер | Bytespider |
Часто закрывают, но по другой причине: бот известен большим числом запросов, и вопрос здесь не в обучении, а в нагрузке. |
Частая и дорогая ошибка — конструкция «закрыть всех, кроме Googlebot и YandexBot». Она разом отрезает и обучающих, и отвечающих ботов: сайт продолжает отлично выглядеть в Search Console и Вебмастере, но в ответах моделей его нет вовсе. Проверьте свой файл в блоке выше, если такая строка в нём есть.
А что такое llms.txt
llms.txt — предложенный формат отдельного файла, где сайт кратко описывает себя для языковых моделей. Это инициатива сообщества, а не стандарт: обязательной поддержки со стороны поисковых систем и сервисов у него нет, и на индексацию он не влияет. Путать его с robots.txt не стоит — задачи у файлов разные, и заменить один другим нельзя.
Если хочется попробовать, размещайте его отдельно и не переносите директивы robots.txt внутрь: доступ ботов по-прежнему регулируется только robots.txt и настройками сервера.
Где лежит robots.txt, как его проверить и на чём чаще всего ошибаются
Размещение файла, официальные инструменты проверки и четыре ошибки, которые встречаются в каждом втором аудите.
Найдите текущий файл
Откройте site.ru/robots.txt — файл всегда лежит в корне и доступен всем. Так же смотрят robots.txt любого чужого сайта: логин и доступы для этого не нужны.
Разберите его на ошибки
Скопируйте содержимое и вставьте в блок «Проверить текущий robots.txt» выше. Разбор покажет устаревшие директивы, закрытых отвечающих ИИ-ботов и отсутствие карты сайта.
Загрузите исправленный файл
Положите его в корень сайта, рядом с index.php или index.html. Кодировка — UTF-8, имя строго в нижнем регистре: Robots.txt робот не найдёт.
Проверьте в панелях вебмастеров
В Яндекс Вебмастере есть инструмент «Анализ robots.txt»: он показывает, какие правила робот считал и разрешён ли конкретный адрес. В Google Search Console актуальный файл виден в отчёте по robots.txt.
Четыре ошибки, которые встречаются чаще всего
Случайный Disallow: /
Одна строка закрывает от сканирования весь сайт. Чаще всего она приезжает с тестового сервера вместе с остальными файлами при переносе на боевой — и остаётся незамеченной, пока трафик не начнёт падать.
Инструмент предупреждает об этом правиле отдельно, где бы оно ни появилось.
Закрытые стили и скрипты
Правила вроде Disallow: /wp-includes/ или Disallow: /assets/ достались нам от старых руководств. Поисковой системе эти файлы нужны, чтобы отрисовать страницу так же, как её видит посетитель, — без них оценка страницы становится хуже.
Решение простое: добавить Allow: /*.css и Allow: /*.js. В шаблоне WordPress они уже есть.
Кириллица в путях
Строка Disallow: /каталог/ может не совпасть с реальным адресом: пути в файле записывают латиницей в процентной кодировке. Самый надёжный способ — перейти на страницу и скопировать адрес прямо из строки браузера.
Та же история с доменом в директиве Sitemap: кириллический домен записывают в Punycode.
Отдельный блок вместо дополнения
Как только вы объявили User-agent: Yandex, робот Яндекса читает только этот блок и полностью игнорирует общие правила выше. Дописать «пару строк специально для Яндекса» не получится — блок должен быть самодостаточным.
Конструктор поэтому дублирует общие правила в блок Яндекса автоматически, а не оставляет его наполовину пустым.
Статусы директив приведены по официальной документации: справка Яндекс Вебмастера (отказ от Crawl-delay с 22 февраля 2018 года, поддержка Clean-param, отказ от Host) и документация Google по robots.txt (Crawl-delay не поддерживается, правила сканирования не управляют показом в выдаче). Имена ИИ-краулеров приведены по документации их операторов и актуальны на дату обновления страницы: состав ботов меняется, перед настройкой сверяйтесь с первоисточником.
Частые вопросы о robots.txt
Где лежит файл, как его проверить, чем закрыть страницу от индексации и что писать для Яндекса.
Формально нет: если файла нет, поисковые системы просканируют сайт целиком, и ничего страшного не случится. Небольшому сайту-визитке он действительно почти не нужен.
На практике он нужен почти всегда: без него робот тратит время на служебные страницы — корзину, результаты поиска по сайту, страницы фильтров и сортировок. Плюс именно в robots.txt указывают адрес карты сайта, а это самый надёжный способ рассказать о ней всем роботам сразу.
Через robots.txt — нельзя, и это самая частая ошибка. Disallow запрещает роботу сканировать страницу, но не запрещает показывать её в выдаче: если на неё ведут внешние ссылки, она может остаться в индексе без описания.
Для настоящего исключения из поиска нужен мета-тег <meta name="robots" content="noindex"> на самой странице или заголовок X-Robots-Tag. Важная деталь: страницу при этом нельзя закрывать в robots.txt — иначе робот не сможет её прочитать и не увидит noindex.
Чтобы временно закрыть весь сайт (например, на разработке), в общем блоке ставят Disallow: /. Инструмент предупредит об этом правиле — слишком часто оно уезжает на боевой сервер по недосмотру.
Строго в корне сайта: адрес всегда выглядит как site.ru/robots.txt. В подпапке робот его искать не станет. Файл открыт всем, поэтому посмотреть robots.txt чужого сайта можно так же — просто открыв этот адрес в браузере.
Имя пишется в нижнем регистре, кодировка — UTF-8. Файл с именем Robots.txt на сервере с учётом регистра робот не найдёт.
Скопируйте содержимое файла и вставьте его в блок «Проверить текущий robots.txt» на этой странице. Разбор идёт в браузере: покажем устаревшие директивы, закрытых ботов, отсутствие карты сайта — и подставим правила в конструктор, чтобы сразу исправить.
Дополнительно проверьте файл в панелях вебмастеров. В Яндекс Вебмастере есть инструмент «Анализ robots.txt», который показывает, разрешён ли роботу конкретный адрес. В Google Search Console доступен отчёт с текущей версией файла и ошибками разбора.
Различий по сути два. Первое: у Яндекса есть директива Clean-param, которой нет у Google. Она склеивает адреса, отличающиеся служебными параметрами, и работает точнее, чем закрывать такие URL через Disallow.
Второе: обе системы отказались от Crawl-delay. Google не поддерживал её никогда, Яндекс перестал учитывать 22 февраля 2018 года — скорость обхода теперь настраивается в Вебмастере, в разделе «Индексирование». Директива Host тоже устарела: Яндекс отказался от неё в 2018 году, остальные никогда не читали.
Всё остальное — User-agent, Allow, Disallow, Sitemap — работает одинаково.
Только если правила для Яндекса действительно отличаются или нужен Clean-param. Если правила те же, отдельный блок не нужен — Яндекс прекрасно читает User-agent: *.
И главное правило, о котором забывают: как только вы объявили User-agent: Yandex, робот читает только этот блок и полностью игнорирует общие правила выше. Дописать в него «пару строк дополнительно» нельзя — блок должен быть самодостаточным. Поэтому конструктор дублирует туда общие правила автоматически.
Строкой Sitemap: https://site.ru/sitemap.xml с полным адресом, включая протокол. Относительный путь роботы не распознают. Директива не привязана к блоку User-agent и действует на весь файл, поэтому её обычно пишут в самом конце.
Если карт несколько, укажите файл индекса, а не каждую по отдельности. Собрать карту можно генератором Sitemap.
Зависит от того, какого именно бота. Обучающие — GPTBot, ClaudeBot, CCBot, Google-Extended — забирают тексты в наборы данных; закрывать их или нет, решает владелец сайта, на поисковый трафик это не влияет.
А вот отвечающих ботов (OAI-SearchBot, PerplexityBot, Claude-SearchBot и других) закрывать почти всегда невыгодно: именно через них сайт попадает в ответы моделей со ссылкой на источник. Поэтому переключатель в инструменте закрывает только первую группу.
И помните: robots.txt — договорённость, а не защита. Добросовестные краулеры её соблюдают, но техническим барьером файл не является.
Лучше не стоит. Старые руководства советовали закрывать /wp-includes/, /assets/ и подобные каталоги, но поисковой системе эти файлы нужны, чтобы отрисовать страницу так же, как её видит посетитель. Без них оценка страницы получается хуже реальной.
Если каталог закрыт по другим причинам, добавьте исключения Allow: /*.css и Allow: /*.js. В шаблоне WordPress в этом инструменте они уже есть, а при ручной настройке появится предупреждение.
Универсального «правильного» файла не существует — набор закрытых разделов зависит от структуры конкретного сайта, набора плагинов и настроек адресов. Шаблоны в блоке «Быстрый старт» дают типовую основу для WordPress, Bitrix, Tilda, OpenCart и MODX, но их обязательно нужно сверить со своим сайтом.
Проверьте себя простым способом: откройте несколько важных страниц и убедитесь, что ни одно правило их не закрывает. Особенно это касается шаблонов с масками вроде /*? — такая строка закрывает и пагинацию, и фильтры, которые часто должны индексироваться.
Нет. И сборка файла, и разбор вставленного robots.txt выполняются локально в браузере на JavaScript — ничего не уходит на сервер Neorank и нигде не сохраняется.
Поэтому проверить можно и файл с закрытого стенда, и структуру сайта, которая ещё не опубликована.