Robots.txt

Robots.txt — текстовый файл в формате *.txt, ограничивающий поисковым роботам доступ к содержимому на http-сервере. Как определение:

robots.txt — это стандарт исключений для роботов, который был принят консорциумом W3C 30 января 1994 года, и который добровольно использует большинство поисковых систем. Файл robots.txt состоит из набора инструкций для поисковых роботов, которые запрещают индексацию определенных файлов, страниц или каталогов на сайте.

Проще говоря: robots.txt — файл в корневом каталоге веб-сайта, указывающий роботам поисковых систем, какие страницы сайта надо индексировать.

Файл robots.txt необходимо загрузить в корневой каталог вашего сайта, чтобы он был доступен по адресу:

Для публикации файла robots.txt в корне любрнр сайта необходим доступ по протоколу FTP. Однако, некоторые системы управления контентом (CMS) дают возможность создать robots.txt непосредственно из панели управления сайтом или через встроенный FTP-менеджер. Впрочем, это — «детали».

Если файл доступен, то вы увидите содержимое robots.txt в браузере.

Для чего нужен robots.txt

Roots.txt для сайта является важным аспектом поисковой оптимизации. В SEO, например, robots.txt нужен для того, чтобы исключать из индексации страницы, не содержащие полезного контента, «мусор» и дубликаты страниц.

Нужен ли файл robots.txt всем сайтам?

Да, всем и всегда. Использование robots.txt подразумевает исключение страниц из поиска, что для небольших сайтов с простой структурой и статичными страницами подобные исключения могут быть лишними. А много ли таких сайтов?.. Однако, и для небольшого сайта могут быть полезны некоторые директивы robots.txt, например директива Host и Sitemap.