Поисковый робот

Поисковый робот — программа поисковых систем, предназначенная для сбора информации о сайтах и пополнения базы данных поисковика. Так же называется «пауком» или «краулером». Как правило они постоянно сканируют интернет на предмет обновления сайтов либо появления новых. Только после посещения сайта поисковым роботом информация о нем может появиться в поиске. Существуют разные виды таких программ, некоторые ищут только новый контент, а некоторые занимаются поиском новых картинок в Интернет.