Генератор robots.txt онлайн бесплатно
Правильный файл для поисковых роботов за минуту: запреты путей, sitemap, ноль синтаксических ошибок.
Из настроек — готовый файл
Как собрать robots.txt за 4 шага
Разрешить сайт целиком или закрыть.
/admin, корзина, поиск — по строке.
Роботы найдут карту сайта быстрее.
Он должен открываться по /robots.txt.
Это часть платформы Zerocoder
Один из инструментов платформы, где нейросети генерируют сайты, изображения, видео, тексты и документы — по одной подписке в рублях, без VPN.
robots.txt — первое, что читает поисковый робот на сайте: какие разделы обходить, где карта сайта. Ошибка в одной строке может закрыть от индексации весь сайт — истории «после переезда трафик умер, а виноват Disallow: /» случаются регулярно. Генератор собирает файл без синтаксических ошибок: режимы, запреты путей, sitemap. Проверить, не закрыта ли страница на уровне мета-тегов, поможет проверка мета-тегов, слаги для страниц — транслит. Сайт с правильной технической базой из коробки делает Студия Zerocoder. Остальные инструменты — в разделе.
Что закрывать в robots.txt, а что нет
Закрывают служебное: /admin и панели, корзину и оформление заказа, страницы поиска, личные кабинеты, дубли с параметрами сортировки. Не закрывают: CSS и JS (роботы должны видеть страницу как люди), картинки, которые должны попасть в поиск по картинкам, и страницы пагинации, если на них единственные ссылки на товары.
Disallow не значит «не в индексе»
Частое заблуждение: Disallow запрещает обход, но страница может попасть в индекс по внешним ссылкам — просто без содержимого, «голым» адресом. Гарантированное исключение из индекса — meta robots noindex на самой странице, а для этого её обход должен быть разрешён. Правило: чувствительное — под noindex или пароль, служебный мусор — под Disallow.
Sitemap в robots.txt: зачем указывать
Строка Sitemap: подсказывает роботам, где лежит карта сайта, — это ускоряет находимость новых страниц, особенно на молодых сайтах, куда роботы заходят редко. Карта и robots работают в паре: robots говорит «куда не ходить», sitemap — «что обязательно посмотреть». Указывайте полный адрес с протоколом.
Отзывы
Пока нет отзывов — станьте первым.
Ещё из категории «Бесплатные инструменты»
Вся категория →
Из блога
Все статьи →
Частые вопросы
Куда положить robots.txt?
Файл кладут в корень сайта, чтобы он открывался по адресу site.ru/robots.txt. У каждого поддомена должен быть свой robots.txt: файл основного домена на них не действует.
Что обычно запрещают?
Служебные и дублирующие разделы: /admin, корзину, оформление заказа, страницы поиска, личные кабинеты и дубли с URL-параметрами. Генератор robots.txt добавит такие правила в пару кликов.
Закроет ли Disallow страницу от индексации?
Не гарантированно: страница может попасть в индекс по внешним ссылкам, даже будучи закрытой в robots.txt. Надёжный способ убрать её из выдачи — meta robots noindex на самой странице.
Нужно ли закрывать CSS и JS?
Нет, наоборот: роботы должны видеть страницу так же, как пользователи. Если закрыть стили и скрипты, поисковик не сможет корректно отрендерить сайт, и оценка качества пострадает.
Как проверить готовый файл?
Загрузите файл на сайт и откройте инструменты вебмастера: они покажут, как робот читает ваш robots.txt и какие страницы закрыты от обхода. Так ошибки видны до потери трафика.
Разные правила для разных роботов можно?
Формат поддерживает отдельные секции User-agent для разных роботов. Генератор пишет универсальную секцию — она покрывает большинство сайтов, а специфичные правила легко дописать вручную.
Нужна ли регистрация?
Нет: генератор robots.txt бесплатный и безлимитный, файл собирается прямо в браузере. Настраивайте правила и скачивайте готовый результат без аккаунта.
Опечатка в robots.txt — это страшно?
Да: один лишний Disallow: / закрывает от поисковиков весь сайт. Генератор для того и существует — он собирает файл с гарантированно корректным синтаксисом без ручных правок.
Что ещё умеет платформа Zerocoder?
В Студии Zerocoder есть генератор сайтов с готовой технической базой, генерация текстов нейросетями и курсы. Генератор robots.txt — одна из бесплатных SEO-утилит.