Дарим скидку 10%
на все услуги

Подробнее

+7 (343) 344-96-20

 

Робот поисковой системы

Робот поисковой системы («бот», «паук») — виртуальный «сотрудник» поисковой системы, представляющий собой программу, работающую по определенному сценарию и выполняющий операции по заданному расписанию или в постоянном цикле.

Роботы поисковых систем используются для сбора, обработки или подготовки информации о сайтах и их содержимом для работы поисковой системы?.

Каждый из роботов имеет свое «имя», которым он «представляется» с помощью значения user-agent при переходе на анализируемый сайт. Большинство серьезных систем аналитики посетителей может этих ботов выделять из общей массы посетителей.

Подробнее о ботах, Яндекса? можно прочитать здесь: http://help.yandex.com/search/robots/check-robot.xml внешняя ссылка , а о ботах Google? — здесь: https://support.google.com/webmasters/answer/182072 внешняя ссылка .

Как системы статистики «видят» поисковых роботов на примере awstat

Пример того как системы статистики видят поисковых роботов (ботов)

Типы роботов поисковых систем

  • Индексирующий робот — обнаруживает и индексирует страницы, чтобы создать базу для основного поиска.
  • Робот по изображениям (картиночный бот) — заносит в индекс поисковой системы? графическую информацию, которая в дальнейшем  отображается в выдаче соответствующего сервиса, например Яндекс.Картинки или Картинки Google.
  • Робот по зеркалам сайта — проверяет зеркала сайтов, прописанные в robots.txt? и если они идентичны, то в результатах выдачи поисковика? будет только один сайт, называемый «главное зеркало».
  • Робот, проверяющий работоспособность сайта или страницы — проверяет доступность сайта, добавленного через сервис добавления URL внешняя ссылка в Яндекс.Вэбмастере.
  • ...
Поделиться:
Заказать обратный звонок
Ваше имя:*
Телефон:*
Комментарий:
* поля обязательны для заполнения
Отправка ...
Заказ успешно отправлен!
Ошибка отправки!
Нажимая данную кнопку, вы соглашаетесь с условиями Политики обработки личных данных.
ВВЕРХ