client-side
Генератор robots.txt
Подходит для быстрого старта или перепроверки robots.txt, когда нужно собрать базовые правила индексации в понятном конструкторе.
Несколько User-agent в одном файле.
Директивы Allow, Disallow, Sitemap и Host.
Готовый текст можно сразу вставить на сайт.
Готовый robots.txt
User-agent: * Allow: / Allow: /wp-content/uploads/ Disallow: /admin/ Disallow: /api/ Disallow: /tmp/ User-agent: Googlebot Allow: / Allow: /wp-content/uploads/ Disallow: /admin/ Disallow: /api/ Disallow: /tmp/ Host: shelpakov.online Sitemap: https://shelpakov.online/sitemap.xml
Что проверить перед публикацией
Не закрывайте служебно важные разделы, если они должны индексироваться.
Проверьте, что в sitemap указан правильный протокол и боевой домен.
Если сайт на разных зеркалах, отдельно проверьте редиректы и canonical.
Можно открыть соседние утилиты
Генератор ЧПУ-ссылок
Быстро превращает заголовок страницы или статьи в аккуратный slug для адреса.
Генератор UTM-меток
Помогает быстро собрать чистую ссылку для отслеживания трафика в аналитике.
Счетчик символов для meta-тегов
Проверяет длину meta-тегов до публикации и показывает, где текст уже начинает быть рискованным.