Бесплатная проверка редиректов
Проверка редиректов в Sitemap
Введите URL карты сайта или домен, и TrueURL прочитает файл Sitemap, проверит до 500 URL страниц из него и покажет те, что перенаправляют или не открываются. В чистой карте сайта есть только конечные URL, которые отвечают 200 OK.
Edge-сеть Cloudflare всегда проверяет сертификаты, поэтому отключить эту проверку нельзя. Проблемы с сертификатом будут показаны в результате.
Отправляется с первым запросом, до 16 КБ. Тело в формате JSON отправляется как application/json, остальное — как данные формы, если вы не указали заголовок Content-Type.
От 1 до 50. Браузеры останавливаются после 20 редиректов.
Сайты могут по-разному перенаправлять смартфоны, поисковых роботов и ботов предпросмотра ссылок.
Отправляются с каждым запросом в цепочке.
Пользовательских заголовков нет.
Введите значение, чтобы отправить этот заголовок. Значения заголовков никогда не сохраняются.
Переходить по тегам <meta http-equiv="refresh"> и заголовкам Refresh на HTML-страницах.
Переходить по простым безусловным редиректам в скриптах страницы, например location.href = "…".
Настройки сохраняются в этом браузере. Файлы cookie, значения заголовков и тело POST-запроса никогда не сохраняются.
Почему редиректам не место в карте сайта
Карта сайта сообщает поисковым системам, какие URL вы хотите отправить на сканирование и индексирование, поэтому каждый URL в ней должен быть каноническим и сразу отвечать 200 OK. URL с редиректом посылает противоречивый сигнал: карта сайта говорит индексируй это, а редирект — этот адрес переехал. Google Search Console отмечает такие URL как Страница с переадресацией, а на их сканирование уходят запросы, которые могли бы достаться реальным страницам.
Неработающие URL, например с ошибками 404, 410 или 5xx, — еще хуже. Они показывают поисковым роботам, что карта сайта устарела, и могут снизить доверие к ней поисковых систем.
Как работает проверка карты сайта
- Введите полный URL карты сайта или только домен: в этом случае TrueURL попробует
/sitemap.xml, а затем строкиSitemap:в вашемrobots.txt. - Поддерживаются стандартные карты сайта
<urlset>, файлы индекса Sitemap (до 10 дочерних карт), файлы.xml.gz, сжатые gzip, и текстовые карты сайта с одним URL на строку. - Проверяется до 500 URL страниц в том порядке, в котором они указаны, тем же движком, что и в других инструментах. Чтобы соблюдать ограничения частоты запросов, URL проверяются по несколько штук одновременно, поэтому полная проверка может занять несколько минут.
- Результаты можно экспортировать в CSV или JSON.
Если карта сайта так не находится, введите ее полный URL.
Как исправить найденные проблемы
- URL с редиректами: замените каждый из них конечным URL из результатов или удалите, если конечная страница уже есть в карте сайта.
- URL с http:// или неправильным хостом: генератор карты сайта, скорее всего, использует неправильный базовый URL. Исправьте настройку адреса сайта, а не отдельные записи.
- Несовпадение слеша в конце: в карте сайта используется один вариант, а сайт перенаправляет на другой. См. инструмент «Проверка слеша в конце URL».
- URL с кодами 404 и 410: уберите из карты сайта страницы, которые были удалены.
- Проверки на бота: если многие URL возвращают страницу проверки, ваш файрвол или защита от ботов блокирует автоматические запросы. Убедитесь, что подтвержденные роботы поисковых систем проходят без препятствий.
Большинство проблем с картой сайта возникает из-за генератора, поэтому исправьте плагин или этап сборки и сгенерируйте файл заново, а не правьте его вручную.
Рекомендации для карты сайта
- Указывайте только канонические индексируемые URL: без редиректов, ошибок, страниц с
noindexи URL, заблокированных вrobots.txt. - В каждой карте сайта должно быть не больше 50 000 URL и не больше 50 МБ в несжатом виде; если URL больше, используйте файл индекса Sitemap.
- Используйте абсолютные URL с той же схемой и тем же хостом, что и у канонической версии сайта.
- Следите за точностью
<lastmod>. Google использует это значение, если оно стабильно верное, и игнорирует<changefreq>и<priority>.
Частые вопросы
Сколько URL можно проверить в карте сайта?
До 500 URL страниц за один запуск, из не более чем 10 дочерних карт сайта в файле индекса. Если в карте сайта больше URL, это будет указано в результате; оставшиеся дочерние карты можно проверить, введя их URL напрямую.
Поддерживаются ли файлы индекса Sitemap и карты сайта в формате .gz?
Да. TrueURL распознает файлы индекса Sitemap, читает до 10 дочерних карт сайта и автоматически распаковывает карты, сжатые gzip. Текстовые карты сайта с одним URL на строку тоже поддерживаются.
Можно ли проверить карту сайта, которая находится не по адресу /sitemap.xml?
Да. Введите полный URL карты сайта, например https://example.com/sitemap_index.xml или https://example.com/post-sitemap.xml. Если ввести только домен, TrueURL попробует /sitemap.xml, а затем строки Sitemap: в вашем robots.txt.
URL с редиректом в карте сайта — это действительно проблема?
Индексировать сайт это не помешает, но вы посылаете сигнал, которого не планировали: поисковым системам предлагают проиндексировать URL, который не является каноническим, и они тратят запросы на сканирование редиректа. Замените каждую запись с редиректом ее конечным URL.
Почему у всех URL одна и та же ошибка?
Обычно файрвол, защита от ботов или ограничение частоты запросов на вашем сайте отвечает на автоматические запросы из дата-центров страницей проверки, кодом 403 или 429. Посмотрите на первые несколько результатов: если они похожи на проверку на бота, пересмотрите настройки защиты от ботов и запустите проверку снова.
Отправляет ли инструмент мою карту сайта в Google?
Нет. Он только читает карту сайта и проверяет URL из нее. Отправьте исправленную карту сайта в Google Search Console и Bing Webmaster Tools и укажите ее в своем robots.txt.