Генератор Sitemap.xml — карта сайта по реальному обходу
Введите адрес сайта — инструмент пройдёт по его страницам и соберёт карту из того, что реально нашёл, уважая robots.txt и noindex. На выходе готовый sitemap.xml: останется загрузить его в корень сайта и передать в Яндекс Вебмастер и Google Search Console. За один запуск обходится до 300 страниц.
Начать сканирование
Введите домен сайта — инструмент сам обойдёт его, уважая правила robots.txt.
Обход выполняется на сервере Neorank именованным ботом — сайт-цель может увидеть, кто и зачем к нему обращался.
Важно: карта собирается по найденным ссылкам и может не включать страницы без внутренних ссылок. Проверьте файл в Яндекс Вебмастере и Google Search Console.
Как устроен безопасный обход сайта
Разбираем, что на самом деле происходит при генерации sitemap.xml, и почему это не то же самое, что просто "собрать список страниц".
Что значит "белый" краулер
Краулер представляется именем — Neorank-SitemapBot — со ссылкой на описание в заголовке запроса. Строго соблюдает robots.txt, включая персональные правила именно для этого бота, если сайт их задал отдельно от общих.
- Запросы идут последовательно, никогда параллельно — не похоже на атаку
- Пауза между страницами — как минимум 300 мс, больше если сайт указал Crawl-delay
- Только чтение (GET) — никаких форм, никакого JavaScript не исполняется
- Если сайт отвечает «слишком много запросов» (429) или «временно недоступен» (503), краулер замедляется, а после трёх таких ответов останавливается
Почему есть лимит в 300 страниц
Это не техническое ограничение "чтобы было проще написать", а осознанная защита. Виртуальный хостинг не рассчитан на бесконтрольный длительный обход — лимит бережёт и сервер Neorank, и сервер сканируемого сайта от случайной перегрузки.
- Запусков в час тоже ограниченное число: и с одного адреса посетителя, и на один сканируемый сайт
- Одновременно сервис выполняет не больше двух сканирований
- Для сайтов больше 300 страниц можно запускать обход повторно
Как учитываются meta robots и nofollow
Если на странице стоит <meta name="robots" content="noindex">, она не попадёт в карту сайта — даже если краулер её нашёл и обошёл. Ссылки с атрибутом rel="nofollow" не используются для дальнейшего перехода, но если та же страница найдена по другой, обычной ссылке — она всё равно будет обойдена.
Это в точности повторяет логику настоящих поисковых роботов, а не упрощённую имитацию.
Откуда берётся lastmod
Дата последнего изменения формируется из заголовка ответа сервера Last-Modified — если сайт-цель его отдаёт. Многие хостинги и CMS этот заголовок не присылают вовсе, тогда поле lastmod для такой страницы просто не заполняется, а не подставляется наугад.
Google прямо говорит: использует lastmod, только если ему можно доверять — выдуманная дата хуже отсутствующей. Поэтому, если у всех страниц сайта одна и та же дата (так выглядит дата выкладки файлов на сервер) или у большинства стоит «сегодня» (так отвечают динамические страницы), даты в файл не попадают совсем.
Честно про priority
Google официально и открыто заявляет: priority и changefreq полностью игнорируются при индексации. Опция добавить их в файл есть — исключительно для соответствия формальному стандарту sitemaps.org, а не потому что это на что-то влияет.
Реальный эффект на индексацию даёт другое: корректная структура ссылок, отсутствие дублей, актуальный lastmod.
Sitemap для изображений
При включении опции краулер дополнительно собирает адреса картинок с каждой обойдённой страницы и включает их в файл через расширение протокола image:image — это помогает изображениям сайта индексироваться в поиске по картинкам отдельно от основной выдачи.
Ограничение — не больше 20 картинок с одной страницы, чтобы страница-галерея не раздувала файл бесполезными мелкими превью. Счётчики, пиксели слежения и заглушки ленивой загрузки (data:) в файл не попадают.
Что в карту не попадает
Поисковые системы ждут в карте только «главные» адреса страниц. Поэтому генератор пропускает: адреса, которые переадресуют на другие (в файл попадает конечный адрес); страницы, где rel="canonical" указывает на другой адрес; страницы, которые полностью совпадают с уже найденной (например, /page и /page/ без переадресации); страницы с noindex и закрытые в robots.txt. Сколько адресов отсеяно и почему — видно в итоге сканирования.
Адреса с параметрами (?id=5, ?page=2) не собираются: их легко накопить тысячами, а полезные страницы должны открываться по постоянным адресам. Сканируются только сайты с HTTPS. Если сайт строит ссылки скриптами (JavaScript), робот увидит только то, что есть в HTML.
Как закрыть сайт от нашего бота
Добавьте в robots.txt вашего сайта две строки — бот перестанет заходить, ни одного запроса к страницам не будет:
User-agent: Neorank-SitemapBot Disallow: /
Заметили в журнале сервера запросы с Neorank-SitemapBot и хотите разобраться — напишите на info@neorank.ru.
Что такое карта сайта и как устроен файл sitemap.xml
Формат, обязательные и необязательные теги, ограничения протокола и что делать, когда страниц слишком много для одного файла.
Карта сайта — это файл со списком адресов, которые владелец сайта считает нужным показать поисковым системам. Он не управляет индексацией и не поднимает позиции: его задача — помочь роботу быстрее найти страницы, особенно те, на которые ведёт мало внутренних ссылок. Самый распространённый формат — XML по протоколу sitemaps.org версии 0.9, его понимают и Яндекс, и Google.
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://site.ru/</loc> <lastmod>2026-09-08</lastmod> </url> <url> <loc>https://site.ru/catalog/noutbuki</loc> </url> </urlset>
| Тег | Обязателен | Что означает и стоит ли заполнять |
|---|---|---|
<loc> |
Да | Полный адрес страницы вместе с протоколом. Все адреса должны быть с одного домена и не длиннее 2048 символов. |
<lastmod> |
Нет | Дата последнего изменения в формате ГГГГ-ММ-ДД. Google учитывает её, только если она стабильно достоверна, — выдуманная дата хуже отсутствующей. |
<changefreq> |
Нет | Предполагаемая частота обновления. Google этот тег игнорирует, тратить время на подбор значений смысла нет. |
<priority> |
Нет | Относительная важность страницы от 0 до 1. Google игнорирует и его: приоритет внутри одного сайта ни на что не влияет. |
Ограничения протокола и файл индекса
Один файл карты сайта может содержать не больше 50 000 адресов и весить не больше 50 МБ в несжатом виде. Если страниц больше, файл разбивают на несколько и создают файл индекса Sitemap — отдельный XML со списком остальных карт. В robots.txt и панели вебмастера в этом случае указывают именно индекс, а не каждую карту по отдельности.
Другие форматы карты сайта
| Формат | Для чего | Ограничения |
|---|---|---|
| sitemap.xml | Основной вариант. Позволяет передать дату изменения и подключить расширения — например, для изображений. | Поддерживают все поисковые системы |
| sitemap.txt | Простой текстовый список адресов, по одному в строке. Яндекс поддерживает и такой формат. | Нельзя указать lastmod и расширения |
| HTML-карта сайта | Обычная страница со ссылками на разделы — для посетителей, а не для роботов. | Не заменяет XML: это элемент навигации |
Как добавить sitemap.xml на сайт и в поисковые системы
Сгенерированный файл сам по себе ничего не даёт — важно, чтобы о нём узнали роботы. Четыре шага после скачивания.
Загрузите в корень сайта
Положите файл туда же, где лежит robots.txt, чтобы он открывался по адресу https://site.ru/sitemap.xml. Проверьте адрес в браузере: должен открыться читаемый XML без ошибок разбора.
Укажите путь в robots.txt
Добавьте строку Sitemap: https://site.ru/sitemap.xml с полным адресом. Так карту найдут все роботы, включая те, у которых нет панели вебмастера. Строку можно вставить через генератор robots.txt.
Добавьте в Яндекс Вебмастер
Раздел «Индексирование» → «Файлы Sitemap», вставьте полный адрес файла и нажмите «Добавить». Файл попадает в очередь: робот загрузит его в течение двух недель, статус обработки виден в том же разделе.
Добавьте в Google Search Console
Отчёт «Файлы Sitemap» в левом меню: укажите путь и отправьте. Google покажет, сколько адресов он обнаружил в файле и были ли ошибки чтения.
Обновлять карту сайта имеет смысл после заметных изменений структуры: добавили раздел, удалили страницы, поменяли адреса. Для магазина с частым обновлением каталога это может быть еженедельно, для сайта-визитки — раз в несколько месяцев. Достаточно перезалить файл по тому же адресу: повторно добавлять его в панели вебмастеров не нужно.
Где искать карту сайта и как проверить её на ошибки
Часто файл уже есть — его просто нужно найти. И почти всегда стоит проверить, что в нём именно то, что нужно.
Как посмотреть sitemap любого сайта
Начните с очевидного: откройте site.ru/sitemap.xml. Если там пусто, загляните в site.ru/robots.txt — путь к карте почти всегда указан там директивой Sitemap, и это самый надёжный способ.
Частые альтернативные адреса: /sitemap_index.xml у сайтов с популярными SEO-плагинами и /wp-sitemap.xml у WordPress.
Карта сайта в популярных CMS
WordPress начиная с версии 5.5 формирует карту сам и отдаёт её по адресу /wp-sitemap.xml — плагин для этого не обязателен, хотя SEO-плагины обычно подменяют её своей. У 1С-Битрикс генерация настраивается в модуле поисковой оптимизации, Tilda создаёт карту автоматически, а Joomla и OpenCart полагаются на расширения.
Генератор нужен там, где штатного механизма нет: статические сайты, самописные движки, лендинги на конструкторах без такой функции. И ещё — когда нужно увидеть сайт глазами робота, а не довериться плагину.
Как проверить файл на ошибки
В Яндекс Вебмастере есть отдельный инструмент «Анализ файлов Sitemap»: он разбирает файл и показывает синтаксические ошибки до того, как их увидит робот. Google Search Console сообщает о проблемах уже после отправки — в отчёте «Файлы Sitemap».
Самая быстрая самопроверка — открыть файл в браузере. Если XML не разбирается, браузер покажет ошибку с номером строки.
Ошибки, которые встречаются чаще всего
Адреса с другого домена или с другим протоколом в том же файле; страницы, закрытые в robots.txt или тегом noindex, — робот их всё равно не возьмёт, а в отчётах появятся предупреждения; относительные адреса вместо полных.
Ещё одна частая ситуация — карта не обновлялась после переезда, и половина адресов отдаёт 404. Если адреса менялись, вместе с новой картой нужны 301-редиректы со старых.
Ограничения формата приведены по протоколу sitemaps.org (50 000 адресов и 50 МБ на файл, файл индекса при превышении). Порядок добавления файла — по справке Яндекс Вебмастера (раздел «Индексирование» → «Файлы Sitemap», обработка в течение двух недель, поддержка XML и текстового формата) и справке Google Search Console. Позиция Google по тегам priority и changefreq — по официальной документации о файлах Sitemap.
Частые вопросы о карте сайта и генераторе Sitemap.xml
Лимиты, безопасность обхода, добавление в Яндекс и Google, проверка файла на ошибки.
Карта сайта помогает поисковому роботу быстрее находить страницы — в первую очередь те, на которые ведёт мало внутренних ссылок или которые появились недавно. Это инструмент обнаружения, а не ранжирования: сам по себе файл позиции не поднимает.
Наибольшую пользу он приносит крупным каталогам, новым сайтам без внешних ссылок и проектам со сложной, глубокой структурой. Небольшому сайту с понятной навигацией карта тоже не помешает, но чуда от неё ждать не стоит.
До 300 страниц за один запуск — это осознанный лимит ради безопасности обоих серверов: и нашего, и сканируемого сайта. Обход останавливается по достижении лимита, а собранная к этому моменту часть карты всё равно доступна для скачивания.
Для больших сайтов запускайте сканирование повторно после паузы или используйте штатный механизм CMS — на каталоге в десятки тысяч страниц он подходит лучше любого внешнего генератора.
По протоколу sitemaps.org — не больше 50 000 адресов и не больше 50 МБ в несжатом виде. Это ограничение самого формата, а не конкретного генератора.
Если страниц больше, карту разбивают на несколько файлов и создают файл индекса Sitemap — XML со списком остальных карт. В robots.txt и панелях вебмастеров указывают именно индекс.
Да. Краулер представляется именем Neorank-SitemapBot со ссылкой на описание, строго соблюдает robots.txt, делает паузу не меньше 300 мс между страницами и увеличивает её, если сайт указал Crawl-delay. Запросы идут строго последовательно, никогда параллельно. Больше 300 страниц и 450 запросов за запуск не делается; если сайт отвечает «слишком много запросов» (429) или «временно недоступен» (503), краулер замедляется и останавливается. Закрыть сайт от бота можно в robots.txt: User-agent: Neorank-SitemapBot и Disallow: /.
Выполняются только запросы на чтение, JavaScript не исполняется, формы не отправляются. Бот представляется как Neorank-SitemapBot, читает robots.txt, делает паузы между запросами и только читает страницы.
Если robots.txt содержит Disallow: / для всех ботов или отдельно для нашего — сканирование не запускается, инструмент честно сообщает об этом. Это не техническое ограничение, а принцип работы: краулер не обходит запреты владельца сайта.
Отдельные закрытые разделы просто пропускаются: обход продолжится по остальным страницам, а запрещённые адреса в карту не попадут.
Не нужно. Google официально заявляет, что игнорирует оба тега при индексации. Опция добавить priority доступна исключительно для соответствия формальному стандарту sitemaps.org, а не потому, что это на что-то влияет.
Реальный эффект на индексацию дают другие вещи: понятная структура внутренних ссылок, отсутствие дублей и достоверный lastmod.
В Яндекс Вебмастере: раздел «Индексирование» → «Файлы Sitemap», вставьте полный адрес файла и нажмите «Добавить». Файл попадёт в очередь на обработку — робот загрузит его в течение двух недель, статус будет виден в том же разделе.
В Google Search Console: отчёт «Файлы Sitemap» в левом меню, укажите путь и отправьте. Дополнительно пропишите директиву Sitemap в robots.txt — так о карте узнают и те роботы, у которых панели вебмастера нет.
В Яндекс Вебмастере есть отдельный инструмент «Анализ файлов Sitemap»: он разбирает файл и показывает синтаксические ошибки до того, как их увидит робот. Google Search Console сообщает о проблемах после отправки — в отчёте «Файлы Sitemap».
Самая быстрая самопроверка — открыть файл в браузере: если XML не разбирается, браузер покажет ошибку с номером строки. Дальше стоит выборочно проверить, что адреса открываются и отдают 200, а не 404 или редирект.
Откройте site.ru/sitemap.xml. Если там ничего нет — загляните в site.ru/robots.txt: путь к карте почти всегда указан там директивой Sitemap, и это самый надёжный способ.
Частые альтернативные адреса — /sitemap_index.xml у сайтов с популярными SEO-плагинами и /wp-sitemap.xml у WordPress начиная с версии 5.5, где карта формируется ядром без плагинов.
XML-карта — служебный файл для поисковых роботов: человек его обычно не открывает. HTML-карта — обычная страница со ссылками на разделы, сделанная для посетителей, которые не нашли нужное через меню.
Одно другое не заменяет. XML отвечает за обнаружение страниц роботом, HTML — за навигацию и распределение внутренних ссылок. Яндекс, кроме XML, поддерживает ещё и простой текстовый формат — список адресов по одному в строке.
Единого правила нет — обновляйте после существенных изменений структуры: добавили раздел, удалили страницы, поменяли адреса. Для новостного сайта или магазина с частым обновлением каталога это может быть еженедельно, для сайта-визитки — раз в несколько месяцев.
Достаточно перезалить файл по тому же адресу. Повторно добавлять его в панели вебмастеров не нужно: робот сам заберёт новую версию при следующем обращении.