Robots.txt

Robots.txt — файл с инструкциями для поисковой системы? Яндекс?или Гугл?о правилах индексирования сайта.

Данный файл располагается в корневой папке сайта на сервере хостинг-провайдера.

Файл robots.txt может содержать:

  • директивы для закрытия от индексации? конкретных страниц или целых разделов сайта (директива disallow);
  • директивы с адресом расположения файла sitemap.xml?
  • указаниена на основное зеркало сайта?.

Пример содержимого файла robots.txt:
Пример содержимого файла robots.txt

 

Поделиться:
Заказать обратный звонок
Ваше имя:*
Телефон:*
Комментарий:
* поля обязательны для заполнения
Отправка ...
Заказ успешно отправлен!
Ошибка отправки!
Нажимая данную кнопку, вы соглашаетесь с условиями Политики обработки личных данных.
ВВЕРХ