Карта сайта

Карта сайта (sitemap) — отдельная html страница сайта или специальный xml файл, где структурировано отображаются все доступные / важные ссылки на веб-страницы, сгруппированные (при необходимости) по категориям. Создаётся как аналог / дополнение меню сайта с целью более понятно и удобно структурировать состав ресурса, чтобы пользователь смог быстро найти необходимую веб-страницу и сразу перейти на нее.

Карта сайта это как книжное оглавление бумажного издания, что проясняет: зачем нужна карта сайта. Карта сайта помогает посетителю, будь это человек или поисковый робот, быстро найти любую страницу сайта, совершая минимальное число переходов. На небольших сайтах все страницы, чаще всего, доступны через 1–2 клика от Главной страницы, но если сайт большой и со сложной структурой, то доступность может быть разной и не самой оптимальной.

Подобный сайт будет неудобен посетителям веб-ресурса для поиска и инавигации, а для индексации поисковых систем и — неочевиден.

Какие бывают карты сайта

Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с Главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы проиндексируются пройдет значительное время (месяц и более). Необходимо создать карту сайта, на которой будут ссылки на все страницы сайта сразу, чтобы поисковые роботы не тратили время на переход по уровням вложенности.

Карты сайта делятся на 2 основных вида или формата: карта сайта формат *.html и карта сайта файл *.xml.

Карта сайта HTML

HTML карта сайта — это веб страница, на которой перечислены ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта (при необходимости). Для карты сайта (как и для любой другой страницы веб-проекта, на текущее время) в виде html-страницы существуют серьезные ограничения по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все они будут проиндексированы или страница карты сайта может быть вовсе исключена из индекса за чрезмерное количество ссылок (пусть даже и внутренних).

Обычно, карта сайта в формате *.html (для людей) имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне подробные HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и пр. Однако, карта сайта html для поисковых систем... не есть полноценный sitemap. Например, когда на сайте сотни, тысячи, десятки тысяч страниц. В этом случае необходимо разместить ссылки на все страницы в карте сайта в формате *.xml.

Карта сайта Sitemap.xml

XML карта сайта — это файл формата *.xml вида sitemap.xml, который обычно находится в корневом каталоге сайта.

У карты сайта в формате *.xml есть множество преимуществ перед *.html версией. Sitemap xml — это специальный формат карты сайта, который определяется всеми основными поисковыми системами. В sitemap.xml можно указать до 50.000 ссылок. Кроме того, в sitemap.xml можно указать относительный приоритет (важность страницы) и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. И наоборот: если установить частоту обновления ежечасно, то не факт, что роботы будет заходить каждый час.

Карта сайта xml имеет определенный синтаксис, структуру.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла sitemap.xml выглядит следующим образом:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
    <loc>https://mysite.ru/</loc>
    <lastmod>2018-03-19T18:54:13+04:00</lastmod>
    <changefreq>always</changefreq>
    <priority>1.0</priority>
 </url>
 <url>
    <loc>https://mysite.ru/category/</loc>
    <astmod>2018-03-19T18:57:09+04:00</lastmod>
    <changefreq>hourly</changefreq>
    <priority>0.8</priority>
 </url>
 <url>
    <loc>https://mysite.ru/page/</loc>
    <lastmod>2018-03-19T18:59:37+04:00</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.6</priority>
 </url>
</urlset>

В файле используются следующие обязательные теги:

• <urlset> — родительский тег, в него заключаются все url-адреса;
• <url> — тег, в котором указываются сведения о конкретном url-адресе;
• <loc> — в данном теге указывается непосредственно url.

Необязательные теги:

• <lastmod> — этот тег дата последнего изменения страницы;
• <changefreq> — тег указывает частоту обновления страницы: always, hourly, daily, weekly, monthly, yearly, never;
• <priority> — указывает приоритет определенной страницы, относительно других страниц сайта: от 0,1 — низкий приоритет, до 1 — высокий приоритет.

В файле sitemap.xml должно содержаться указание на пространство имен языка XML:

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 Мб, необходимо разделить карту сайта на несколько файлов, прописав ссылки на все файлы sitemap.

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <sitemap>
    <loc>https://mysite.ru/sitemaps/sitemap01.xml</loc>
    <lastmod>2018-03-19T18:54:13+04:00</lastmod>
 </sitemap>
 <sitemap>
    <loc>https://mysite.ru/sitemaps/sitemap02.xml</loc>
    <lastmod>2018-03-19T18:54:13+04:00</lastmod>
 </sitemap>
</sitemapindex>

Здесь используются теги <loc> и <lastmod> и обязательные теги:

• <sitemapindex> — родительский тег, в который заключаются адреса всех карт сайта;
• <sitemap> — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Можно использовать карты сайта в виде файла в формате *.txt:

Принцип формирования аналогичен: в файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt имеет ограничение в 50.000 ссылок и лишена возможностей указания даты обновления и приоритета страницы.

Как создать карту сайта

Создание карты сайта важный процесс, в котором необходимо четко представлять, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от типа карты сайта, используются различные способы создания этого документа. Как создать html карту сайта обсуждать не будем, это априори банально. Рассмотрим создание карты в формате *.xml.

Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Файл карты сайта обычно размещается в корневом каталоге сайта и поисковые роботы способны самостоятельно его обнаружить и прочитать. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для ускорения их обнаружения. Самый простой способ: указать место расположения файла карты сайта в инструментах для вебмастеров Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в поиске.

Второй способ указать поисковым системам на расположение файла карты сайта — это соответствующая директива в файле robots.txt.

В robots.txt можно указать несколько файлов sitemap, после чего, они автоматически будут добавлены в инструменты для вебмастера.

Основные способы создания карты сайта

• Генерация карты сайта силами системы управления сайта, если cms имеет такую возможность.
• Скачать карту сайта со стороннего онлайн сервиса. Существует множество генераторов карт сайта с различным возможностями и ограничениями. Google в помощь.
• Скачать программу-генератор карты сайта. Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap.xml для одного или нескольких сайтов.
• Автоматическое создание sitemap карты сайта скриптами cms Joomla! (Джумла), WordPress (Вордпресс), Bitrix (Битрикс) или подобных средствами соответствующих плагинов.
• Создание карты сайта вручную. Это наиболее правильно, но не всегда реализуемо (при размере проекта более 1000 страниц).

Не важно, как будет создана карта сайта. Важно — какие ссылки будут в ней перечислены и (главное!): как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. Подобное отношение к карте сайта может сделать ее бесполезной или ввести в заблуждение поискового робота, что негативно отразится на индексации и позициях сайта в поисковой выдаче.