Карта Сайта

Карта сайта sitemap.xml и .html: как ускорить индексацию сайта

Что такое карта сайта?

Карта сайта — отдельная страница либо файл, где перечислены все разделы, подразделы, статьи. Напоминает каталог, в котором зафиксированы все страницы сайта со ссылками на эти самые статьи. Если сайт статичный, с небольшим количеством страниц и малой вложенностью, проблем с индексацией не возникнет. Можно обойтись и без карты.

А вот если у нас крупный интернет-магазин, где вложенность категорий может достигать пяти, важно помочь поисковым ботам разобраться в структуре и упростить процесс индексации.

Для чего нужна карта сайта? XML или HTML: какая карта лучше?

Раньше карта сайта в формате html использовалась для посетителей, чтобы облегчить им поиск нужной информации. В настоящее время в первую очередь она нужна для поисковых ботов, чтобы сообщить им о структуре сайта и упростить индексацию ресурса, если невозможно создать отдельную xml-карту.

Если структура сайта построена правильно, сайт удобен с точки зрения юзабилити, простые пользователи, как правило, не будут использовать html-карту для навигации. Все страницы, товары, статьи из блога и т.д. должны быть доступны из меню либо через поиск. Посетитель должен за несколько кликов сам находить нужную страницу, не используя для этого отдельную карту.

Основные разделы меню сайта важно вынести в подвал. Это упростит навигацию для обычных пользователей и ускорит индексацию сайта. Поисковый бот с главной страницы получит ссылки на основные разделы меню и проиндексирует их в первую очередь.

В идеальном случае пользователь должен за пару кликов попасть на любую страницу сайта. Структура вложенности должна быть понятна как для пользователей, так и для поисковых ботов. Не используйте большую вложенность страниц. Рекомендуемый параметр вложенности 3-4. Если вложенность сайта больше, есть шанс что страницы будут индексироваться очень долго, а живые пользователи на них так никогда и не попадут.

Для облегчения навигации рекомендуем установить на сайт хлебные крошки с микроразметкой. Поисковые боты видят, как связаны страницы между собой, что облегчает понимание общей структуры сайта.

Если сомневаетесь, удобно ли пользоваться вашим сайтом — пишите нам, дадим пару рекомендаций бесплатно 🙂

Карта сайта в формате xml необходима для поисковых систем — чтобы поисковый робот увидел все ссылки, которые есть на сайте и быстрее индексировал ресурс. Бот видит структуру сайта, вложенность, конкретные адреса страниц и изображений. Все это упрощает индексацию.

С помощью файла Sitemap вы можете сообщить Яндексу, Google и другим поисковикам какие страницы вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.

Формат xml разберем позднее, сначала попробуем разобраться с форматом html.

Карта сайта HTML: 6 рекомендаций для вебмастеров

  1. Размещайте её на отдельной странице, попасть на которую можно из главного меню. То есть ссылка на карту сайта должна быть видна с любой страницы сайта.
  2. Структура карты должна отражать иерархию страниц сайта: в структуре должно чётко прослеживаться, где основные разделы, а где подразделы.
  3. Не перегружайте карту сайта излишними картинками, лучше вообще обойтись без них.
  4. Не забудьте проставить ссылки с пунктов карты на внутренние страницы сайта, чтобы поисковый бот либо посетитель смог мгновенно перейти в нужный ему раздел.
  5. Следите за актуальностью карты сайта. Если из структуры удаляются какие-то страницы или, наоборот, добавляются новые, не забудьте отразить это в карте. Если это возможно, карту сайта следует сделать автообновляемой.
  6. На одной странице лучше размещать до 100 ссылок, так боту будет проще индексировать страницу.

Соблюдайте эти 6 правил, и карта сайта станет отличным навигатором для поисковых ботов и посетителей.

Карта сайта sitemap.xml: зачем нужна и как ее создать для своего сайта.

Карта сайта XML – это файл, размещенный в корневой директории сайта с информацией для поисковых систем (таких как Яндекс, Google, Rambler, Bing и других) о страницах вашего сайта. Этот файл нужен, чтобы поисковым системам было легче индексировать ваш сайт.

Как работает sitemap.xml?

Заходя на сайт, поисковый робот, прежде всего, читает инструкции в файле robots.txt о том, как следует индексировать сайт. И если в нём указать, что есть карта сайта sitemap.xml, то робот перейдет по указанному адресу, где перечислены URL-адреса всех страниц сайта.

Перед созданием xml карты следует подумать, какие адреса можно передавать поисковым ботам, а какие нет. В карте не стоит размещать адреса служебных страниц: вход в админ. панель сайта, страницу поиска, страницы фильтрации, регистрации, авторизации.

Если страница создана, но контент на ней отсутствует, лучше пока не указывать ее в карте сайта.

В карте сайта допускается размещение не более 50 000 ссылок. Если страниц больше, xml карту следует разбить на несколько частей.

XML файл карты должен содержать кодировку UTF-8. Сама карта выглядит следующим образом:

Для передачи информации поисковым ботам используются следующие элементы:

  • Обязательный элемент содержит адрес страницы.
  • Lastmod ата последнего изменения страницы. Передает информацию боту, когда страница была изменена. Если после последнего обхода значение не изменилось, бот не будет тратить время на повторный обход страницы.
  • Changefreq — частота изменения страницы. Допустимые значения: always, hourly, daily, weekly, monthly, yearly, never.
  • Priority — приоритете страницы для бота. Бот загружает страницы согласно приоритету от 0.0 до 1.0. Значение не дает преимуществ при ранжировании страниц в поисковой выдаче. Это позволяет указать поисковой системе, какие страницы, по вашему мнению, более важные для индексации, а какие менее. Например, если на главной странице сайта ежедневно обновляются новости, превью статей и т.п, рекомендуем установить значение 1.0.

Содержимое карты сайта является только рекомендацией для поискового бота. Параметры индексации могут игнорироваться поисковой системой. Не забывайте об этом.

Очень важно следить за актуальностью карты сайта. Если это технически возможно, карта сайта должна быть автоматически обновляемой. Если такой возможности нет, не забывайте вручную добавлять все новые страницы сайта. Иначе весь смысл карты сайта теряется. Бот не будет знать о появлении новых страниц на сайте, что существенно замедлит индексацию в поисковиках. Трафик на такие страницы будет расти очень медленно.

После создания адрес карты сайта следует сообщить поисковому боту. Адрес указываем в файле robots.txt, директива sitemap.

User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/my_sitemaps.xml

Вот так карта сайта sitemap.XML облегчит работу поисковику и обеспечит качественную индексацию вашему сайту.

В большинстве современных систем управления сайтом xml карта формируются стандартными инструментами CMS.

В Bitrix карта сайта настраивается в разделе Сервисы — Поисковая оптимизация — Настройки sitemap.xml

В Настройках следует задать протокол для адресов страниц — http/https. Если на сайте настроено SSL-шифрование, обязательно выбираем https — адреса страниц в карте сайта должны соответствовать основному протоколу.

Далее в разделе Файлы выбираем блоки, которые должны быть проиндексированы и размещены в XML карте. Исключаем все служебные страницы.

Вкладка Инфоблоки отвечает за разделы инфоблоков, доступных для индексации. Если в инфоблоке часто появляются новые страницы, используйте опцию Автогенерации. Карта сайта будет автоматически обновляться при размещении новой страницы в разделе.

В OpenCart переходим в раздел Каналы продвижения — Google Sitemap. После активации модуля карта сайта будет создана автоматически. По умолчанию карту будет автообновляемой. Как правило, дополнительных настроек не требуется.

Для WordPress рекомендуем использовать плагин Google XML Sitemaps, либо Yoast SEO, All in WP SEO. Установите плагин обычным способом, используя функцию Плагины — Добавить новый.

После установки плагина переходим в Настройки — XML-Sitemap.

Оптимальные настройки Google XML Sitemaps для WordPress выглядят следующим образом:

В Joomla чаще всего используются плагины Xmap, OSMap, JL Sitemap. Большинству простых небольших сайтов подойдёт бесплатная версия OSMap.

После установки компонента он появится в основном меню сайта в разделе «Компоненты». Переходим во вкладку Компоненты>>>OSMap и на карте сайта Default кликаем на значок в столбце «Edit Links». Плагин OSMap просканирует ваш сайт и создаст карту. Посмотреть можно через ссылки столбца «Sitemap Links», на той же вкладке.

Если используется нестандартная CMS, либо нет возможности подключения плагинов, рекомендуем использовать сторонние сервисы для создания карты сайта.

Как создать карту на xml-sitemaps.com:

Копируем адрес сайта в поле:

После завершения сканирования переходим сюда:

Нажимаем скачать карту сайта.

Перед тем как загрузить файл на сервер рекомендуем проверить и удалить все ненужные для индексации страницы. Редактировать xml карту можно с помощью Блокнота.

Нажимаем правовой кнопкой на скаченный файл с картой Открыть с помощью — Блокнот.

Создание карты с помощью программы ComparseR:

Запускаем сканирование сайта. Программа проанализирует сайт, найдет все страницы и покажет их в специальном окне.

После завершения сканирования переходим в пункт Sitemap — Создать Sitemap.xml

После чего полученный файл sitemap.xml загружаем на сервер в корень сайта.

Размещение карты сайта в вебмастерах Яндекс и Google

После создания файла с картой сайта его важно загрузить в Вебмастер.

В Яндекс.Вебмастере переходим в раздел Индексирование — Файлы Sitemap, указываем адрес карты сайта, нажимаем «Добавить». Для обработки файла потребуется некоторое время.

После индексации рекомендую проверить файл на ошибки.

В Google Search Console раздел Индекс — Файлы Sitemap, указываем адрес карты сайта, нажимаем «Добавить». Боту потребуется какое-то время на сканироание файла.

После успешной обработки файла будет доступна статистика индексации по каждой странице.

Можно отследить количество страниц в индексе, количество исключенных страниц и причины отклонения:

Если возникнут сложности, пишите нам, создадим и разместим XML карту для любого сайта.

© 1PS.RU, при полном или частичном копировании материала ссылка на первоисточник обязательна.

SEO-специалист сервиса 1PS

Понравилась статья?

Спасибо, мы старались!

Кстати, вы подписаны на нашу рассылку? Если нет, то самое время познакомиться с Катей.

Сожалеем, что не оправдали ваши ожидания ((
Возможно, вам понравятся другие статьи блога.

Чек-лист «Готов ли ваш сайт к продвижению»

Казалось бы, базовые вещи. Однако у многих сайтов наличие технических проблем, мешающих продвижению, не редкость. Проверьте нет ли у вашего сайта таких элементарных ошибок.

Правильный файл sitemap.xml или как создать карту сайта своими руками | Карта сайта для Joomla + VirtueMart с помощью компонента Xmap

Здравствуйте уважаемые читатели блога Site on! Сегодня я хочу продолжить тему “создания своими руками” и если в прошлый раз мы говорили о создании ЧПУ (SEF) ссылок, то сегодня речь пойдёт о составлении собственной XML карты сайта.

Что такое карта сайта?

Карта сайта – это древовидный (упорядоченный) список всех разделов и/или страниц сайта, который состоит из ссылок на эти страницы. Карты сайта бывают двух видов: для посетителей сайта (HTML версия) и для поисковых роботов (XML версия).

Зачем нужна карта сайта?

HTML карта сайта служит навигацией для ваших посетителей, благодаря ей они должны быстро сориентироваться в структуре вашего сайта и перейти в нужный им раздел.

XML карта сайта помогает найти поисковым роботам страницы вашего сайта, которые нужно проиндексировать. В случае большого количества страниц и уровней вложенности на сайте, XML карта даёт нам гарантию, что поисковые системы не пропустят страницы, которые должны быть проиндексированы. Также это показывает ваше желание помочь поисковым роботам, что повысит их доверие к вашему сайту.

Читайте также:  Кашель с мокротой — как лечить в домашних условиях

Ещё одно различие обычной (HTML) карты сайта от XML версии помимо всего прочего заключается в том, что в XML нам не нужно строить упорядоченный, древовидный список (чтобы было красиво и понятно), мы можем указывать URL вразброс, так как важен сам факт их наличия, а не наглядность или последовательность.

Я считаю, что, если наличие HTML версии нужно далеко не всегда, то XML я использую даже для трёхстраничных сайтов, как минимум ради “галочки” в кабинете поисковых систем и мизерного повышения траста к своим сайтам. Делать её всего пару минут, а лишней она точно не будет.

Положительные стороны наличия XML карты сайта:

  • Более быстрая индексация новых страниц.
  • Гарантия, что робот найдёт нужные страницы.
  • Возможность распределения приоритетов при индексировании.
  • Возможность указания частоты обновления информации на каждой странице.
  • Возможность указания даты последнего обновления страницы.
  • Капля в сосуд доверия к вашему сайту.

Для файлов Sitemap должна использоваться кодировка UTF-8.

Размер XML карты сайта не должен превышать 10 MB и не должен содержать больше 50000 URL. Если ваша карта превышает данные показатели, вы можете разбить её на несколько файлов и создать файл индекса sitemap. Подробнее об этом дальше.

В XML версии все ссылки должны быть абсолютными! То есть начинаться с
http://имя_домена/

Как создать sitemap.xml своими руками?

Вначале вы должны создать файл с произвольным именем и расширением .xml, либо .txt или RSS канал, но XML формат даёт больше возможностей и более привычен. Также рекомендуется размещать его именно в корне вашего сайта и называть sitemap.xml, но опять-таки повторюсь, вы можете пренебречь этими рекомендациями и назвать файл как хотите, а также положить его куда угодно. Лично я за классику, поэтому для этого блога сделал всё как рекомендуется:

Далее открываем файл на редактирование, например, с помощью редактора кода Sublime Text 2 или phpDesigner 8 и первой строчкой, без пробелов и табуляций пишем xml-пролог, в котором мы указываем кодировку:

После этого идёт обязательный корневой XML-тег:

Он должен содержать стандарт текущего протокола:

Затем мы перечисляем всё ссылки и их параметры, для того чтобы начать описание новой ссылки мы должны написать обязательный тег

В дочерних тегах которого будет адрес ссылки и её параметры. Чтобы указать URL адрес страницы мы должны записать его абсолютный путь внутри тега

Который, как я уже писал, будет вложен в тег . В конце последнего не забываем закрыть корневой элемент . Итого минимальная карта сайта будет иметь вид:

Ещё раз повторю, что все теги, написанные здесь обязательны – без них ваша карта сайта не будет работать вообще, так как XML не допускает ошибок! А теперь давайте поговорим о необязательных тегах, благодаря которым мы можем указывать дополнительную информацию о каждом конкретном URL, они, как и обязательный тег loc пишутся внутри тега url.

Тег lastmod

Предназначен для указания даты последнего изменения страницы, дата должна быть записана по стандарту W3C Datetime. Например:

Можно опустить точное время и записывать lastmod в более привычном виде:

Тег changefreq

Позволяет указать приблизительную частоту изменений страницы. Его допустимые значения:

В данном примере мы указали частоту обновления главной страницы: раз в неделю. Обращаю ваше внимание, что как и в случае с директивами robots.txt – тег changefreq носит лишь рекомендательный характер, поэтому если вы укажите частоту обновления страницы раз в год, то это ещё не значит что роботы будут посещать её всего лишь 1 раз в год, они могут наведываться хоть каждую неделю, если посчитают нужным.

Тег priority

И последним тегом, которым вы можете пользоваться при составлении своего файла sitemap.xml является:

Он показывает, какие страницы нужно проиндексировать как можно скорее, а какие можно и потом, то есть данный тег расставляет приоритет важности (очередь на сканирование). Значение задаётся от 0.0 до 1.0, значение для всех URL по умолчанию равно 0.5.

Priority – это относительная величина, поэтому нет смысла писать для всех страниц (с целью накрутки) приоритет – 1.0, это действие бессмысленно.

Priority – не влияет на позиции страниц в поисковой выдаче! Его значение влияет только на очередь индексирования между страницами вашего сайта.

В каждом URL вашей карты сайта вы можете использовать разные сочетания необязательных тегов (атрибутов):

Маскирование символов

По стандарту, в sitemap.xml все нижеприведённые символы должны быть замаскированы с помощью соответствующих им значений в таблице:

Вам необязательно маскировать символы вручную, вы можете воспользоваться этим сервисом: www.accessify.com

Создание файла индекса Sitemap для использования нескольких sitemap.xml

По стандарту, если у вас несколько файлов sitemap.xml, то они должны быть перечислены в файле индекса – это, как бы парадоксально не звучало, карта ваших карт сайта. То есть в файле индекса содержится перечень всех ваших файлов sitemap, в нём вы также можете пользоваться необязательным атрибутом lastmod.

Структура файла индекса полностью идентична структуре обычной карты сайта, поэтому чтобы не растягивать статью просто приведу вам пример:

Вся вышеприведённая информация взята с официального источника: www.sitemaps.org

Как создать правильную карту сайта для Joomla

Если ваш сайт имеет пару десятков страниц и не собирается увеличивать их количество, то вы, конечно же, можете создать карту сайта вручную. Между прочим, я считаю такой способ более предпочтительным по ряду причин:

  • Вам не нужно устанавливать дополнительные компоненты и плагины;
  • Они в свою очередь могут иметь изъяны безопасности;
  • Карта сайта будет быстрее загружаться, так как не будет отрисовываться на лету.

Однако если количество страниц вашего сайта давно перевалило за 20 и постоянно растёт, то составление карты сайта своими руками теряет свою целесообразность на фоне всех неудобств и затрат времени. Поэтому ребята из Guillermo Vargas решили создать замечательный компонент для Joomla под названием XMAP, который помимо самой Джумлы имеет поддержку большинства популярных компонентов (VirtueMart, Zoo, K2 и др.).

Благодаря этому компоненту вы всего за пару минут создадите правильную карту (HTML и XML) для сайта любого объёма!

Компонент для создания карты сайта на Joomla + VirtueMart – XMAP

Актуальная версия Joomla на момент написания статьи: 2.5.11, актуальная версия XMAP: 2.3.3. Итак, скачиваем бесплатный компонент XMAP с официального сайта разработчиков, этот компонент доступен для любой версии Joomla и VirtueMart, не забудьте выбрать именно вашу версию:

Далее устанавливаем его стандартным способом с помощью “Менеджера расширений”, затем заходим в административную панель Джумла: Компоненты/Xmap и сразу зайдём во вкладку “Расширения”, чтобы включить нужные нам плагины:

Обычно это Content, WebLinks и VirtueMart для интернет-магазинов. После чего возвращаемся на предыдущую страницу и нажимаем красивую жёлтую кнопочку “Создать” вверху справа:

Теперь вы должны поставить галочки для меню, страницы которых будут автоматически появляться в вашей карте сайта, также здесь вы можете выставить необязательные атрибуты (приоритет и частота обновления), о которых мы уже говорили.

В остальном вам должно быть всё понятно, разве что я рекомендую отключить опцию “Украшать XML”, так как она вовсе не к чему:

После всех настроек не забываем поставить состояние “опубликовано” и нажать “сохранить и закрыть”:

Теперь нам остаётся лишь нажать на ссылку “XML Sitemap” и скопировать URL карты сайта в robots.txt и кабинеты Яндекса и Гугл:

Чтобы в вашей карте сайта появились товары из VirtueMart, вы должны создать отдельный пункт меню для категорий VirtueMart и проследить, чтобы в настройках XMAP стояла галочка напротив этого меню.

Если что-то осталось непонятным или вы с чем-то не согласны – оставляйте свои комментарии, я обязательно отвечу.

Всем спасибо за внимание, вы можете подписаться на выход новых статей, используя форму ниже или с помощью кнопок в самом вверху (или справа) страницы. Всем удачного дня и до встречи в новых статьях!

Безошибочный сайтмап для сайта

Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.

Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.
Читайте также:  Интоксикация организма – причины и симптомы интоксикации, диагностика, лечение

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

Создаем карту сайта

Карта сайта (Sitemap) представляет собой одну web-страницу, которая отображает достоверную информацию о структуре вашего сайта. Некоторые спросят: «Нужна ли нам карта, если мы отобразили все разделы в «подвале» сайта?». Конечно нужна, ведь она выполняет функции путеводителя, как для пользователей, так и для поисковых роботов. Другими словами, Sitemap содержит в себе ссылки, как на основные разделы ресурса, так и на подразделы и даже отдельные страницы. Если ваш сайт состоит из десятка страничек, можно карту не делать, ее роль будет выполнять меню. В случае же, когда мы имеем дело с полноценными порталами, объем которых измеряется в сотнях, а порой, и в тысячах страниц, тут без карты сайта не обойтись.

Одной карты мало, дайте две!

Как уже говорилось выше, карта сайта может использоваться не только роботами, но и пользователями. Поэтому большинство современных ресурсов содержит две карты: XML и HTML.

Sitemap в формате XML используется исключительно поисковыми роботами. Ее роль сводится к предоставлению «паукам» достоверной информации о структуре сайта и ее обновлении. Именно благодаря карте, роботы оперативно индексируют новые страницы, и заносят их в поисковую базу. Если же объемный сайт не содержит файла Sitemap.xml, многие его страницы могут быть не проиндексированы месяцами, а иногда даже на протяжении нескольких лет.

HTML карта используется для визуального представления структуры сайта. От ее простоты и наглядности зависит, сможет ли пользователь найти интересующий его раздел или нет. Создание HTML карты имеет смысл лишь в том случае, когда вам необходимо организовать юзабилити крупного интернет-проекта, чьи разделы и подразделы не умещаются в главное меню.

Некоторые неопытные пользователи довольно часто используют в качестве инструмента перелинковки HTML карту. Это очень грубая ошибка. Объясним почему. Во-первых, HTML карта сайта не может быть представлена как полноценный Sitemap: в лучшем случае, поисковая машина воспримет страницу с картой, как огромный набор ссылок на внутренние страницы сайта, в худшем – пессимизирует ее значение из-за большого количества ссылок, даже не смотря на то, что они не являются внешними. Во-вторых, даже если поисковый робот не отнесет вашу карту к категории спама, он может не учесть определенный процент ссылок, из-за чего некоторые страницы вашего ресурса могут быть непроиндексированы.

Делаем XML карту сайта

Создать файл XML можно тремя способами:

– приобрести специальный генератор, который создаст для вас карту сайта;

– воспользоваться одним из онлайн-сервисов;

– написать файл вручную.

Приобретение генератора Sitemap является одним из наилучших вариантов. Вам не придется создавать карту сайта вручную, что позволит сэкономить несколько часов времени. Единственным недостатком таких генераторов, является необходимость в покупке лицензии. Большинство подобных программ выпускаются по shareware лицензии, стоимость которой варьируется в пределах от 20 до 30 долларов. Лучшими представителями программ-генераторов являются: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior и Sitemapspal.

Если ваш сайт состоит всего из нескольких сотен страниц, имеет смысл воспользоваться бесплатными онлайн сервисами. Вам потребуется лишь указать адрес вашего ресурса и нажать кнопку «Загрузить». В итоге, вы получите полноценную карту вашего сайта. Среди онлайн сервисов, на наш взгляд лучшими являются: www.xml-sitemaps.com (объем сайта до 500 страниц) и www.freesitemapgenerator.com (до 5000 страниц).

В случае если вы хотите создать Sitemap.xml вручную, вам потребуется знание следующих тегов:

– – в данном теге указываются сведения об определенном url (адресе страницы);

– – этот тег может заключать в себе множество url-адресов;

– – данный тег используется для указания url;

– – в этом теге указывается дата последнего изменения страницы;

– – указывает насколько часто изменяется страница (атрибуты: always, hourly, daily, weekly, monthly, yearly, never);

описывает приоритет определяемой страницы, по сравнению с другими (значения от 0,1 – низкий приоритет, до 1 – высокий приоритет).

Теги , и являются обязательными, а , и

могут не указываться в файле Sitemap.xml.

После того, как карта сайта была создана, ее необходимо добавить на ваш сайт. Для этого созданный файл необходимо назвать Sitemap.xml и «залить» в корневую директорию ресурса. Для быстрого обнаружения карты поисковыми машинами, можно воспользоваться функционалами «Инструменты для вебмастеров» от Google и «Яндекс-вебмастер» от Яндекса.

В первом случае последовательность действий такова: авторизуемся в «инструментах», выбираем среди списка ваших сайтов нужный вам ресурс, переходим на вкладку оптимизация/файлы Sitemap и на открывшейся странице жмем кнопку «Загрузить», после чего выбираем файл карты и подтверждаем его загрузку.

Для добавления файла Sitemap в базу Яндекса, необходимо авторизоваться в «Яндекс-вебмастер», опять же, выбрать нужный сайт, перейти на вкладку настройка индексирования/файлы Sitemap, в появившемся поле указать путь к файлу карты и нажать кнопку «Добавить».

Некоторые советы по созданию Sitemap.xml

– Поисковики, на сегодняшний день принимают фалы Sitemap, содержащие не более 50000 url. Стоит также обратить внимание на размер Sitemap.xml. Если он превышает 10 Мб, Google рекомендует разбить катру на несколько файлов. Таким образом, вы избавитесь от возможных перегрузок сервера.

– При создании нескольких файлов Sitemap, рекомендуется перечислить их в файле индекса, который создается с использованием следующих тегов: (родительский тег, расположенный в начале и конце файла), (тег для каждого из файлов Sitemap), (указывает расположение каждого из файлов Sitemap.xml) и (необязательный тег, указывающий даты последних изменений описанных файлов карт).

1 Все адреса страниц следует определять либо с префиксом «www» либо без него.

2 Файл карты должны иметь UTF8 кодировку.

3 В Sitemap.xml должно содержаться указание на пространство имен языка XML: .

Создание HTML карты сайта

Так как HTML карта используется, преимущественно, пользователями вашего ресурса, она должна быть простой, наглядной и в то же время предоставлять исчерпывающую информацию о структуре вашего сайта.

Большинство HTML карт обладают привычной древовидной структурой, разделы и подразделы в которой выделены различными CSS стилями, а возможно, и некоторыми графическими элементами.

Если вы создаете HTML карту для большого портала, состоящего из нескольких тысяч страниц, рекомендуем создавать ссылки на разделы в виде вкладок. Так вы избавитесь от главного недостатка больших карт – громоздкости. Так как HTML карта имеет для поисковых машин второстепенное значение, для ее создания можно использовать Java-script, который позволяет значительно повысить функциональность создаваемой страницы.

Подробное руководство по созданию карты сайта

Что такое Sitemap

Sitemap — это xml-документ со списком страниц сайта. Точнее, в нём указаны URL страниц. Говоря простым языком, это своеобразный путеводитель для поисковиков, который подсказывает им, какой контент доступен на сайте и как его найти. Краулер Яндекс или Google сэкономит много времени, один раз прочитав sitemap.xml, вместо того, чтобы заходить на каждую из указанных в нём страниц по отдельности.

Такая особенность весьма полезна для тех сайтов, у которых:

  • Разветвлённая структура и тысячи страниц;
  • Страницы часто добавляются и обновляются;
  • Слабая внутренняя перелинковка (читайте, как настроить качественную внутреннюю перелинковку, в нашем блоге);
  • Недостаток внешних ссылок.

Поисковики, разумеется, могут найти все страницы и без помощи sitemap.xml, но создавая этот файл, вы демонстрируете, что прописанные в нём URL — потенциальные страницы входа для пользователей.

В то же время, наличие страницы в sitemap не гарантирует её своевременное нахождение поисковиком и индексацию, тем не менее, шансы на это сильно увеличиваются.

Формат Sitemap

Sitemap.xml одностраничника, в котором использованы все доступные теги, будет выглядеть так:

Но какой смысл несут все эти атрибуты и полезны ли они для SEO?

Loc (Location)

Этот обязательный тег содержит абсолютный путь к странице, который по-другому называется каноническим URL. В нём прописывается актуальный протокол http:// или https:// , а также www , если он есть в адресе.

Для международных сайтов здесь же прописывается hreflang. С помощью атрибута xhtml:link, определяющего язык и регион, для каждой конкретной страницы снижается время загрузки. Такую возможность не могут предложить другие элементы в или HTTP-заголовки.

Lastmod (Last Modified)

Необязательный тег, который, тем не менее, крайне рекомендуется устанавливать. Он помогает поисковым системам определить не только «свежесть» контента, но также, являетесь ли вы его автором. Во всяком случае, не стоит им злоупотреблять — лучше прописывать Lastmod для более значимых изменений, так как разные уловки могут негативно сказаться на ранжировании вплоть до получения санкций от поисковых систем.

Priority

Необязательный тег, служащий для указания веса страницы среди остальных. Может принимать значения от 0 до 1. Обычно SEO-специалистов, как и поисковики, не сильно заботит наличие тега Priority и его значения, поэтому он почти не применяется.

Типы Sitemap

Файл индекса Sitemap

Существует пара ограничений для данного файла:

  • Не более 50 000 URL;
  • Вес файла без сжатия не должен превышать 50 Мб.

Sitemap можно сжимать через gzip (итоговый файл будет называться, например, sitemap.xml.gz), чтобы не перегружать пропускную способность сервера. Будучи распакованным, sitemap также должен отвечать требованиям, не превышая лимиты. В случае, если файл слишком большой, его следует разделить — то, есть перераспределить URL между несколькими sitemap.

В свою очередь, отдельные файлы могут быть объединены в единый «sitemap sitemap’ов». Исключительно большие сайты иногда предполагают сразу несколько таких объемлющих списков. В нашем случае основной файл находится по адресу calltouch.ru/sitemap.xml, а внутри него указаны URL частных карт сайта — например, calltouch.ru/sitemap_iblock_5.xml.

Для оптимальной работы поисковых систем с вашими файлами sitemap вам понадобится:

  • Добавить файл индекса в Google Search Console и Яндекс.Вебмастер
  • Указать полный путь к файлу в robots.txt, разрешив поисковикам работу с ним. Чтобы лучше понять, как это сделать, читайте руководство по настройке robots.txt .

XML Sitemap для изображений

Данный тип карт сайта создан для улучшения индексации графического контента.

В настоящее время, по актуальным стандартам SEO, изображения с их атрибутами встроены в контент страницы, поэтому они будут считаны одновременно со всей страницей.

Более того, лучше использоваться JSON-LD разметку schema.org/ImageObject для вызова свойств изображения. Она помогает поисковым движкам получить больше атрибутов, чем из XML sitemap. Именно из-за этого sitemap для изображений не актуален для большинства сайтов.

Исключение — сайты, которые развиваются за счёт графики, например, стоки картинок.

XML Sitemap для видео

Так же, как и в случае с картинками, если ваш сайт предоставляет преимущественно видео-контент, создание соответствующей карты сайта станет верным решением.

Читайте также:  Как лечить папилломы на теле в домашних условиях?

Sitemap для Google Новостей

Эта опция целесообразна только для сайтов, зарегистрированных в Google Новостях. Если ваш сайт подключен к ним, добавьте в sitemap материалы, опубликованные за последние 2 дня, но не более 1000 URL на один файл. По мере обновления материалов обновляйте и файл.

Обратите внимание, что вопреки некоторым рекомендациям, не стоит подключать к Google Новостям sitemap для изображений. В действительности система их не поддерживает. Сам Google советует использовать schema.org image или og:image для добавления миниатюр из новостей.

Мобильный Sitemap

Не обязателен и даже излишен — по большому счёту, является устаревшим, так как предназначался для кнопочных телефонов. Использовать его для смартфонов нет нужды, тег не про адаптивность.

HTML Sitemap

XML карты сайта предназначены для поисковым систем — их читают роботы в целях индексации. HTML версии годятся только для пользователей — это наглядные карты сайтов, ссылки на которые представлены в основном футере. Сами же карты, если сайт большой, могут располагаться на отдельных страницах.

Скорее всего, вы обнаружите, что посещаемость страницы с развёрнутой картой сайта или же просмотр данного блока на других страницах составляет статистическую погрешность. Так, стоит ли тратить время и усилия на создание sitemap, который не представляет особой ценности для пользователей? Вряд ли.

Динамический XML Sitemap

Можно сделать карту сайта статичной, но проблема в том, что как только вы удалите любую из страниц или добавите новую, она сразу устареет. То же касается и добавления нового контента — атрибут Lastmod не перепишется автоматически, оставшись неизменным.

Таким образом, вместо того, чтобы раз за разом обновлять и загружать новые карты сайта, лучше сразу создать карту сайта, которая обновляется сервером автоматически при внесении изменений в структуру и содержимое страниц.

Как создать карту сайта

Создать sitemap довольно просто, существует несколько способов:

  • Написать вручную. Для динамических карт — попросить разработчика написать кастомный скрипт с понятными инструкциями к нему.
  • Использовать инструмент создания карт сайта, например: xml-sitemaps.com, Screaming Frog или web-site-map.com.
  • Установить плагин для вашей CMS. Например, Yoast SEO для WordPress (мы используем как раз его).

Оптимизация индексации XML Sitemap

Добавляйте в Sitemap только SEO-релевантные страницы

XML Sitemap включает список страниц, которые наиболее важно «показать» поисковикам. Это не обязательно каждая страница сайта. Краулеры придерживаются того перечня, который вы сами определите.

Очень желательно исключить:

  • Дубликаты страниц и побочные адреса (non-canonical);
  • Страницы с пагинацией;
  • URL, созданные на основе ID сессий и параметров;
  • Результаты поиска;
  • Адреса ответов и комментариев;
  • Адреса для репоста;
  • Результаты фильтрации;
  • Архивные страницы;
  • Редиректы (3**), несуществующие страницы (4**), ошибки сервера (5**);
  • Страницы, заблокированные в robots.txt;
  • Страницы с noindex;
  • Материалы, доступные через форму лидгена (white paper, PDF и т.д.);
  • Страницы, не подходящие в качестве страниц входа (окно логина, контакты, пользовательское соглашение и т.д.).

Помните, что список URL в sitemap чаще всего воспринимается поисковиками в качестве рекомендации, но не прямого запрета на просмотр других страниц.

Используйте отчёты с пользой

Например, отчёта Google Search Console даёт ценные сведения о том, какие ошибки есть в ваших sitemap, но он полезен не только для простой валидации.

Рассмотрим сайт, на котором 131 тысяча страниц. Из-за такого количества понадобится сразу несколько файлов. Некоторые, следуя рекомендациям Google и Schema.org, дают им нумерованные названия, и в результате получается нечто наподобие:

Далеко не самые информативные названия. Да и сведения о том, что в районе 64% страниц проиндексировано — не самые полезные. Гораздо интереснее понять, какие именно типы страниц показывают неудовлетворительные результаты. Если продолжить изучать sitemap-1, sitemap-2 и так далее, вы вряд ли что-то поймёте. Совсем другое дело, когда у вас взаимовложенная структура этих файлов, и название каждого отражает сущность собранных в нём страниц.

Из такого отчёта можно понять, какие конкретно разделы проседают в индексации и что предпринять для улучшения ситуации.

Отследить общую эффективность вследствие оптимизации ресурса поможет Сквозная аналитика Calltouch.

Сквозная аналитика

  • Автоматически собирайте данные с рекламных площадок, сервисов и CRM в удобные отчеты
  • Анализируйте воронку продаж от показов до ROI
  • Настройте интеграции c CRM и другими сервисами: более 50 готовых решений
  • Оптимизируйте свой маркетинг с помощью подробных отчетов: дашборды, графики, диаграммы
  • Кастомизируйте таблицы, добавляйте свои метрики. Стройте отчеты моментально за любые периоды

Чек-лист: как улучшить Sitemap

Чек-листы — великолепный инструмент организации работы , и здесь они также пригодятся. Как создать карту сайта, которая обеспечит наилучший контакт с поисковыми системами и поможет быстро индексировать страницы?

Карта сайта (Sitemap) для Google и Яндекс

Привет, коллеги! В этом посте я расскажу вам как создать и настроить XML Sitemap (карта сайта) для WordPress, для поисковых систем таких как Яндекс, Google, Bing, Поиск@Mail.Ru. Не нужно путать XML с HTML. Первый подходит для поисковиков, а второй предназначен преимущественно для пользователей. Что представляет из себя карта сайта XML вы наверное уже знаете.

Напомню : это список страниц вашего сайта/блога, который не видят ваши посетители, а хорошо видна только поисковым системам. XML файл Sitemap позволяет сообщить Google и Yandex о страницах вашего сайта, чтобы они гарантированно попали в индекс поисковых систем.

XML Sitemaps может помочь поисковикам определить местонахождение страниц сайта, блога, время их последнего обновления, частоту обновления и важность относительно других страниц веб-ресурса для того, чтобы поисковая машина смогла более разумно индексировать сайт.

Что такое Sitemap?

Карта сайта – это способ организации веб-сайта с указанием URL-адресов и данных в каждом разделе. Документ XML содержит инструкции для роботов поисковых систем.

Sitemap — XML-файлы с информацией для поисковых систем (таких как Google, Яндекс, Bing, Поиск@Mail.Ru) о страницах веб-сайта, которые подлежат индексации. Проще говоря, это URL-адреса сайта, отправляемые вами поисковикам.

Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.

В каких случаях сайту нужен файл Sitemap

Согласно Google, файл Sitemap не является обязательным для сайтов, а использовать его следует, если ресурс попадает в одну из трёх категорий:

  • Крупный сайт с большим количеством страниц
  • Изолированные страницы на сайте
  • Новый сайт или сайт, который часто обновляется

Может ли Google найти страницы без файла Sitemap?

Обычно, если сайт относительно небольшой, а страницы должным образом перелинкованы, то найти контент роботу Googlebot не составит труда.

Если же сайт попадает в одну из трёх категорий, приведённых выше, то использование файла Sitemap поможет Googlebot найти новый контент и покажет, где искать изолированные страницы.

Файл Sitemap также может использоваться для приоритизации сканирования – чтобы указать, какие страницы следует сканировать в первую очередь, что полезно для крупных сайтов.

При этом Sitemap ничего не гарантирует. Другими словами, Google не всегда сканирует каждый URL, добавленный в этот файл.

Обратное тоже верно: если URL не добавлены в файл Sitemap, то это не гарантирует, что Google их не будет сканировать. Google способен находить страницы независимо от того, включены они в карту сайта или нет.

Отсутствие файла Sitemap ничем не грозит сайту

Если у сайта нет файла Sitemap, то ничего страшного в этом нет.

Если вы сомневаетесь, нужен ли сайту файл Sitemap, то чтобы не ошибиться, его можно создать на всякий случай. В большинстве случаев сайт от этого только выиграет.

Google рекомендует автоматически генерируемые файлы Sitemap

Что касается создания файла Sitemap, то Google рекомендует использовать автоматически генерируемые карты сайта вместо тех, которые нужно составлять вручную.

Есть CMS, которые создают файлы Sitemap автоматически. Также существуют WordPress-плагины которые позволяют выполнить эту задачу.

Как создать файлы Sitemap для сайта WordPress?

Создать карту блога или сайта на WordPress нам поможет плагин Google XML Sitemaps. Который генерирует XML файл улучшающей индексацию веб-ресурса поисковыми системами, обновляет его и так далее. Вам достаточно плагин установить, настроить его и можно о нём забыть. Установка Google XML Sitemaps стандартная.

Плагин Google XML Sitemaps Вордпресс

Один из лучших плагинов WP. Он будет предоставлять полную XML-карту сайта для поисковых систем. Его установили уже более 24 243 146 раз.

Используйте этот плагин, он значительно улучшит SEO. Он создаст специальную XML-карту сайта и поможет таким поисковым системам, как Google, Bing, Яндекс и Мейл ру лучше индексировать ваш веб – ресурс. С такой картой сайта сканерам намного проще увидеть полную структуру вашего сайта и извлечь ее более эффективно. Плагин поддерживает все виды страниц, сгенерированных WordPress, а также пользовательские URL.

Кроме того, он уведомляет все основные поисковые системы каждый раз, когда вы создаете сообщение о новом контенте. Модуль совершенно бесплатен и переведён на русский язык (правда не полностью, но самое важное переведено).

Установите плагин обычным способом, используя функцию Плагины – Добавить новый. В поле поиска введите его название Google XML Sitemaps:

Настройка XML Sitemaps

После успешной установки и активации плагина, его нужно настроить. В разделе “Настройки” нажмите на XML-Sitemap :

Откроется страница: Генератор XML-карты сайта для WordPress, где вам нужно её настроить. На этой странице, в самом вверху, вы увидите ссылку на вашу карту:

Вы можете на неё нажать и посмотреть как она родная выглядит:

Важные настройки на нашем родном и могучем русском языке, поэтому вам не составит ни какого труда во всем разобраться. Какие настройки можно произвести? Разработчик плагина указывает что, значения по умолчанию подходят для большинства сайтов. Но всё же, каждый пользователь должен решить сам.

Указать какие категории исключить из карты, содержание карты сайта, приоритеты, частоту изменений и так далее. Примерно, вот так, должно быть:

Архивы, метки и страницы авторов включать в карту сайта не надо. Хотя я лично теги/метки в карте использую.

После всех настроек обязательно нажмите “Обновить параметры”. Готово. Дальнейшее действие это – добавить файл Sitemap в вебмастере поисковых систем, чтобы ускорить индексирование сайта вордпресс. А также прописать ссылку на карту в robots.txt.

Итак, какие именно страницы необходимо включить в карту? По соображениям SEO рекомендуется включать лишь те страницы, которые хотелось бы видеть в поиске.

И в заключение

Добавьте созданный файл Sitemap в Google Search Console, Яндекс вебмастер и в другие ПС.

Теперь при написание статьи, плагин Google XML Sitemaps будет сообщать поисковым системам (не всем, а только Гугле, Bing, Yahoo и Ask.com) об обновление вашего блога. Плагин автоматически обновит вашу карту сайта, если вы опубликуете сообщение, так что больше ничего не нужно делать

Для остальных поисковых систем делать нужно вот это – читайте здесь.

Обратите внимание, друзья, функция XML Sitemaps есть в SEO плагинах All in One SEO Pack и Yoast SEO, и других модулях.

Всего доброго и до новых встреч. Пока, пока!

Ссылка на основную публикацию