Панель управления ⇒ Компоненты ⇒ Генератор карты сайта и robots.txt
Данный компонент полезен для тонкой настройки индексации сайта. Файл robots.txt доступен для редактирования через систему администрирования.
Если необходимо сокрыть сайт от индексации, то можно воспользоваться опцией "Включить/выключить сайт" или прописать строчку в настройках, что позволит не закрывать сайт от пользователей, но при этом закрыть доступ роботам Яндекса и Google.
User-agent: *
Disallow: / # запрещает обход всего сайта
User-agent: Yandex
Disallow: /catalogue # запрещает обход страниц, адрес которых начинается с /catalogue
User-agent: Yandex
Disallow: /page? # запрещает обход страниц, URL которых содержит параметры
В настройках не нужно указывать директивы Host и Sitemap, так как они прописываются автоматически. Файл robots.txt доступен для поисковых систем по адресу site.ru/robots.txt. Перенести в другое место данный файл невозможно, так как он формируется автоматически.
Проверить файл на корректность можно с помощью сервиса Яндекс после авторизации в профиле. Ссылка для анализа https://webmaster.yandex.ru/tools/robotstxt/