Бот

Бот (паук, спайдер, робот) — программа-алгоритм, которая является одной из основных составляющих поисковой системы. Бот сканирует страницы сайтов, занося их в базу поисковой системы. Бот также анализирует страницы и может не внести их в базу, если они не отвечают заданным критериям. Данная программа переходит по ссылкам на сайте в поиске новых страниц, и может не добраться до тех страниц, на которые не ведут гиперссылки (в случае, если веб-страницы не указаны отдельно в карте сайта, термин — sitemap). Сканирование страниц — первый этап работы поисковика в создании результатов поиска — выдачи. Справедливости ради стоит отметить, что некоторые поисковые системы не имеют своих ботов, показывая в выдаче смешанные результаты из поиска других систем.