Робот поисковой системы («бот», «паук») — виртуальный «сотрудник» поисковой системы, представляющий собой программу, работающую по определенному сценарию и выполняющий операции по заданному расписанию или в постоянном цикле.
Роботы поисковых систем используются для сбора, обработки или подготовки информации о сайтах и их содержимом для работы поисковой системы
.
Каждый из роботов имеет свое «имя», которым он «представляется» с помощью значения user-agent при переходе на анализируемый сайт. Большинство серьезных систем аналитики посетителей может этих ботов выделять из общей массы посетителей.
Подробнее о ботах, Яндекса можно прочитать здесь: http://help.yandex.com/search/robots/check-robot.xml 
, а о ботах Google — здесь: https://support.google.com/webmasters/answer/182072 .
Как системы статистики «видят» поисковых роботов на примере awstat
Типы роботов поисковых систем
- Индексирующий робот — обнаруживает и индексирует страницы, чтобы создать базу для основного поиска.
-
Робот по изображениям (картиночный бот) — заносит в индекс поисковой системы графическую информацию, которая в дальнейшем отображается в выдаче соответствующего сервиса, например Яндекс.Картинки или Картинки Google.
-
Робот по зеркалам сайта — проверяет зеркала сайтов, прописанные в robots.txt и если они идентичны, то в результатах выдачи поисковика будет только один сайт, называемый «главное зеркало».
- Робот, проверяющий работоспособность сайта или страницы — проверяет доступность сайта, добавленного через сервис добавления URL в Яндекс.Вэбмастере.
- ...
