Закрыть индексацию сайта

Закрыть индексацию сайта — процесс закрытия сетевого проекта от поисковых роботов (сленговые веб-термины: боты, спайдеры, пауки). Индексация — процесс анализа сайта на факт его присутствия в виртуальном пространстве и анализ имеющейся на страницах информации. В результате индексации в специальной базе данных поисковой системы сохраняется вышеописанная информация. Система закрытия выглядит следующим образом: находим на своём сайте на хостинге файл robots.txt (он есть всегда!) и прописываем строчки:
User-agent: * # директива для всех роботов
Disallow: / # блокирует доступ ко всему сайту