R

Файл robots.txt — текстовый файл в формате *.txt, ограничивающий поисковым роботам доступ к содержимому на http-сервере. Как определение:

robots.txt — это стандарт исключений для роботов, который был принят консорциумом W3C 30 января 1994 года, и который добровольно использует большинство поисковых систем. Файл robots.txt состоит из набора инструкций для поисковых роботов, которые запрещают индексацию определенных файлов, страниц или каталогов на сайте.

Проще говоря: robots.txt — файл в корневом каталоге веб-сайта, указывающий роботам поисковых систем, какие страницы сайта надо индексировать.

Файл robots.txt необходимо загрузить в корневой каталог вашего сайта, чтобы он был доступен по адресу:

//ваш_сайт.ru/robots.txt

Для публикации файла robots.txt в корне любрнр сайта необходим доступ по протоколу FTP. Однако, некоторые системы управления контентом (CMS) дают возможность создать robots.txt непосредственно из панели управления сайтом или через встроенный FTP-менеджер. Впрочем, это — «детали».

Если файл доступен, то вы увидите содержимое robots.txt в браузере.

Для чего нужен robots.txt

Roots.txt для сайта является важным аспектом поисковой оптимизации. В SEO, например, robots.txt нужен для того, чтобы исключать из индексации страницы, не содержащие полезного контента, «мусор» и дубликаты страниц.

Нужен ли файл robots.txt всем сайтам?

Да, всем и всегда. Использование robots.txt подразумевает исключение страниц из поиска, что для небольших сайтов с простой структурой и статичными страницами подобные исключения могут быть лишними. А много ли таких сайтов?.. Однако, и для небольшого сайта могут быть полезны некоторые директивы robots.txt, например директива Host и Sitemap.

Если есть вопросы по разделу:

Задайте вопрос и мы быстро на него ответим!

Ваше имя:*

Электронная почта:*

Тема сообщения:

Текст вопроса:*


Разработка сайтов под ключ

Разработка сайтов «под ключ» любой сложности и назначения! (Москва)


изготовление сайтазаказать сайт изготовить сайт

Не забудьте, что у нас: