Генератор robots.txt онлайн бесплатно
Правильный файл для поисковых роботов за минуту: запреты путей, sitemap, ноль синтаксических ошибок.
Из настроек — готовый файл
Как собрать robots.txt за 4 шага
Разрешить сайт целиком или закрыть.
/admin, корзина, поиск — по строке.
Роботы найдут карту сайта быстрее.
Он должен открываться по /robots.txt.
Это часть платформы Zerocoder
Один из инструментов платформы, где нейросети генерируют сайты, изображения, видео, тексты и документы — по одной подписке в рублях, без VPN.
robots.txt — первое, что читает поисковый робот на сайте: какие разделы обходить, где карта сайта. Ошибка в одной строке может закрыть от индексации весь сайт — истории «после переезда трафик умер, а виноват Disallow: /» случаются регулярно. Генератор собирает файл без синтаксических ошибок: режимы, запреты путей, sitemap. Проверить, не закрыта ли страница на уровне мета-тегов, поможет проверка мета-тегов, слаги для страниц — транслит. Сайт с правильной технической базой из коробки делает Студия Zerocoder. Остальные инструменты — в разделе.
Что закрывать в robots.txt, а что нет
Закрывают служебное: /admin и панели, корзину и оформление заказа, страницы поиска, личные кабинеты, дубли с параметрами сортировки. Не закрывают: CSS и JS (роботы должны видеть страницу как люди), картинки, которые должны попасть в поиск по картинкам, и страницы пагинации, если на них единственные ссылки на товары.
Disallow не значит «не в индексе»
Частое заблуждение: Disallow запрещает обход, но страница может попасть в индекс по внешним ссылкам — просто без содержимого, «голым» адресом. Гарантированное исключение из индекса — meta robots noindex на самой странице, а для этого её обход должен быть разрешён. Правило: чувствительное — под noindex или пароль, служебный мусор — под Disallow.
Sitemap в robots.txt: зачем указывать
Строка Sitemap: подсказывает роботам, где лежит карта сайта, — это ускоряет находимость новых страниц, особенно на молодых сайтах, куда роботы заходят редко. Карта и robots работают в паре: robots говорит «куда не ходить», sitemap — «что обязательно посмотреть». Указывайте полный адрес с протоколом.
Отзывы
Пока нет отзывов — станьте первым.
Ещё из категории «Бесплатные инструменты»
Вся категория →
Из блога
Все статьи →
Частые вопросы
Куда положить robots.txt?
В корень сайта: файл должен открываться по адресу site.ru/robots.txt. Поддомены требуют свой файл.
Что обычно запрещают?
/admin, корзину, оформление заказа, поиск, личные кабинеты, дубли с параметрами.
Закроет ли Disallow страницу от индексации?
Не гарантированно: страница может попасть в индекс по внешним ссылкам. Гарантия — meta robots noindex.
Нужно ли закрывать CSS и JS?
Нет, наоборот: роботы должны видеть страницу как пользователи, иначе оценка качества страдает.
Как проверить готовый файл?
Инструменты вебмастера покажут, как робот читает ваш robots.txt и какие страницы закрыты.
Разные правила для разных роботов можно?
Файл поддерживает секции User-agent. Генератор пишет универсальную секцию — она покрывает большинство случаев.
Нужна ли регистрация?
Нет: генератор бесплатный и безлимитный, файл собирается в браузере.
Опечатка в robots.txt — это страшно?
Да: лишний Disallow: / закрывает весь сайт. Поэтому генератор и существует — синтаксис всегда корректный.
Что ещё умеет платформа Zerocoder?
Генератор сайтов с готовой технической базой, тексты, курсы — robots.txt лишь одна из утилит.