Robots.txt — файл с инструкциями для поисковой системы
Яндексили Гугл о правилах индексирования сайта.
Данный файл располагается в корневой папке сайта на сервере хостинг-провайдера.
Файл robots.txt может содержать:
- директивы для закрытия от индексации конкретных страниц или целых разделов сайта (директива disallow);
- директивы с адресом расположения файла sitemap.xml
- указаниена на основное зеркало сайта.
Пример содержимого файла robots.txt:
