Как создавать и отправлять файлы Sitemap. Детальное руководство по файлу Sitemap Файл sitemap xml – доступные директивы
Из этой статьи вы узнаете, как создать файл Sitemap и предоставить Google доступ к нему.
Создание и отправка файлов Sitemap
Форматы файлов Sitemap
Google поддерживает несколько форматов файлов Sitemap, описанных ниже. Во всех форматах следует использовать стандартный протокол . Google в настоящее время не поддерживает атрибут
Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать файл индекса Sitemap , перечислив в нем все файлы Sitemap, и отправить их в Google все сразу.
Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:
Http://www.example.com/file1.html http://www.example.com/file2.html
- Необходимо использовать кодировку UTF-8.
- Файл не должен содержать ничего, кроме списка URL.
- Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение.txt (например, sitemap.txt).
Если сайт был создан и подтвержден с помощью сервиса "Google Сайты", файл Sitemap создается автоматически. Его нельзя изменить, но можно отправить в Google , чтобы получать сведения для отчетов. Обратите внимание, что если в одном подкаталоге содержится более 1000 страниц, файл Sitemap может отображаться некорректно.
- Если ваши страницы размещены на Google Сайтах , файл Sitemap должен находиться по адресу http://sites.google.com/site/VashSait /system/feeds/sitemap .
- Если сайт создан с помощью Google Apps , URL файла Sitemap должен быть таким: http://sites.google.com/VashDomen /VashSait /system/feeds/sitemap .
Расширения файлов Sitemap
Google поддерживает расширенный синтаксис в файле Sitemap для приведенных ниже типов информации. С его помощью можно добавлять описание видео, изображений и другого контента для улучшения его индексации.
XML Sitemap is a website"s URLs list in XML format. The Sitemap file is designed to inform search engines (such as Google, Bing, Yahoo, Yandex, MSN, and others) about the pages on the website, which should be indexed. Sitemap significantly speeds up site scans.In addition, the Sitemap allows you to transmit information about all pages of your site, including those that search engines can not get with the usual crawl.
Creating a Sitemap is especially useful when:
- On your site new pages are generated automatically and frequently.
- Your site is new, and it indicates a small number of links.
- Your site has a large archive of content pages that are poorly or not at all related to each other.
XML Sitemaps Protocol: What does a Sitemap contain?
In accordance with the XML Sitemaps Protocol and the requirements of search engines, the Sitemap file should contain no more than 50 000 pages and not exceed the size of 10 MB. This means that if your site contains more than 50,000 pages and file size Sitemap than 10 MB, you must create multiple Sitemap.
In addition to the required URL parameter, the XML Sitemaps protocol provides additional tags for each page:
Lastmod – indicates the date of last modification date.
Changefreq – the probable frequency of the page content. Valid values are:
- always – every time the page loads
- hourly – every hour
- daily – every day
- weekly – once a week
- monthly – once a month
- yearly – once a year
- never – means that the page content remains unchanged.
Priority – the priority of the page relative to other pages on your site. The valid range - from 0,0 to 1,0. This tag lets the search engines know which pages you think are most valuable.
На этой странице сосредоточена почти вся информация, которую нужно знать о Sitemap .
Sitemap — это карта сайта, предназначенная для помощи роботам поисковых систем в индексации сайта. Имя Sitemap является стандартным, то есть принятым по умолчанию.
Sitemap обычно хранится на сервере хостинга в каталоге public_html сайта. Sitemap принято прописывать в двух последних строчках файла — там можно задать и иные имена двух файлов карты сайта, а также иное местоположение файлов, чтобы попытаться скрыть эти файлы от злоумышленных программ и людей. А наиболее популярным поисковым системам сообщать имя и координаты файлов индивидуально, посылая прочие поисковики подальше в лес.
Считаю это дешёвыми хитростями, ибо файл обязан находиться в каталоге public_html сайта. Даже если его удалить, так как он необязателен, злоумышленник, способный добраться до этого каталога, способен и подменить три файла, чтобы перенаправить посетителей сайта на любой другой сайт и его страницы. Думаю, что таким образом и атакуют порой некоторые сайты.
Sitemap моего сайта создаёт плагин Google XML Sitemaps версии 3.4 На сервере хостинга в каталоге public_html сайта хранятся два файла: Sitemap.xml и Sitemap.xml.gz , причём оба файла создаются практически одновременно.
Файл Sitemap.xml , имеющий сейчас длину 103-ри КБ, формируется вышеупомянутым плагином при изменении любой страницы сайта.
Файл Sitemap.xml.gz , имеющий длину 10-ть КБ, является вспомогательным и содержит в зашифрованном виде некую нужную роботу информацию.
07.03.14 мне удалось после поисков советов в Интернете вытянуть из Интернета расшифрованную карту моего сайта. Сегодня мне не удалось это повторить, а записать алгоритм извлечения карты вчера не догадался. Впрочем, теперь это уже неважно — чуть позже поймёте почему.
Вот начало и конец преобразованного мной вчера файла:
http://сайт/ 2014-03-07T19:23:22+00:00 daily 1.0
http://сайт/stroitelstvo/sayt/cms-wordpress 2014-03-07T19:23:22+00:00 daily 0.6
http://сайт/posadki/ogorod/pomidoryi 2014-03-07T18:06:27+00:00 daily 0.6
…… http://сайт/voprosyi/otvet-15 2013-03-19T13:25:35+00:00 daily 0.6
http://сайт/sample-page/roshhi/hvoynyie/listvennitsa 2013-03-05T13:01:35+00:00 daily 0.6
http://сайт/sample-page/roshhi/listvennyie/lipyi 2013-03-05T12:30:19+00:00 daily 0.6
В полученном файле записи, относящиеся к отдельным страницам, шли сплошняком и были лишь разделены двумя пробелами. Не поленился разделить в редакторе Notepad файл на строки и сохранил в формате TXT. Затем скопировал дважды содержимое файла в столбцы чистого листа Excel . Выяснил, что создана 591-на запись с адресами страниц сайта. Во втором столбце отсортировал записи по алфавиту.
Так как в редакторе Notepad содержится примитивная команда замены, скопировал всё содержимое преобразованного файла в Word . Затем по команде замены «Ctrl+H » заменил http на htp, а потем наоборот. В обоих случаях была сделана 591-на замена.
Таким образом, можно было не тратить время на разделение на строки, а сразу копировать в Word и делать замену, чтобы выяснить число страниц сайта, внесенных в Sitemap .
Вот начало и две строчки конца файла Sitemap.xml , скопированные с хостинга:
Крайняя запись относится к странице, созданной более года тому назад!
В шапке файла содержится информация о том, какими средствами был создан этот файл: версия WordPress, имя плагина и, судя по записи в шапке, имя внешнего сайта, расположенного в Германии, где находится эталон программы, создающей записи, относящиеся к страницам сайта, а также дата и время и дата создания карты сайты. Кроме того, там содержится информация, в соответствии с какими стандартами создана карта сайта.
Сами записи наверняка создаёт плагин, используя процессор ноутбука, с которого вносятся изменения в страницы сайта.
Эти записи находятся между
В 4-х строках содержится адрес страницы сайта, время последней модификации, рекомендуемая роботу частота просмотра страницы и рекомендуемый приоритет просмотра. Что означают присутствующие в каждой второй строке отдельной записи 6-ть символов «+00:00″ и зачем они нужны, совершенно непонятно. Думаю, это можно понять, изучив использованный стандарт записи. Но оно нам надо?
Существенно, во-первых, то, что записи отсортированы по времени создания страниц файла — это помогает роботам экономить время, не просматривая те страницы, которые не изменились со времени последней индексации.
Во-вторых, всегда можно с хостинга скопировать в Word всё содержимое длинного файла Sitemap и быстро выяснить число страниц, вписанных в карту сайта. Сделал это примерно за одну минуту — теперь есть 593-ри страницы в карте сайта, так как сегодня добавил две страницы.
В-третьих, совершенно очевидно, что файл Sitemap.xml имеет избыточную длину и что создатели стандартов предпочли почему-то создавать его в виде, понятном людям. Почему? Если интересно, ищите информацию в Интернете или спросите у корифеев, гуру и прочих знатоков.
В-четвёртых, поисковые роботы наверняка читают файл не целиком, а только до записи той страницы, которая не изменилась с прошлого посещения роботом карты сайта. И поэтому избыточность длинного файла карты сайта при нынешних процессорах для них неважна.
В-пятых, вышеупомянутый плагин прекрасно справляется с созданием карты сайта — его можно и нужно смело использовать.
В-шестых, всегда можно посмотреть в карте сайта имена старых страниц и, копируя их в адресную строку браузера, вызывать страницы на переделку. Мне это нужно сделать со многими страницами, чтобы избавить страницы от чрезмерного числа сохранённых редакций, а заодно и перепроверить их.
В-седьмых, уверен, что можно придумать ещё много полезных способов использования понятной карты сайта. По мере придумывания буду сообщать.
Приглашаю всех высказываться в
Которые нужны для поисковых роботов. Кто-то скажет, что она и не нужна, ведь все разделы уже отображаются. Однако необходимость такой страницы существует в том случае, если на сайте содержится пятьдесят страниц и больше. Для поисковиков и для пользователей она будет служить путеводителем, помогающим понять, где содержится та или иная информация.
XML- и HTML-файлы
Так как используется не только для поисковых роботов, но и для пользователей, посещающих сайт, обычно составляют две карты: в XML- и HTML-форматах.
Чтобы создать Sitemap для поисковых роботов, используют XML-файл. Благодаря ему роботы заносят в свою поисковую базу новые При отсутствии карты на многостраничном сайте большое количество страниц может не индексироваться на протяжении иногда очень долгого времени.
Для создания карты сайта для пользователей используется HTML-файл. Важность этой карты заключается в том, что от ее удобства напрямую зависит, найдет ли пользователь интересующую его информацию или нет. Поэтому такую карту создают для тех интернет-проектов, у которых все разделы и их подразделы не помещаются в главном меню.
Как создать Sitemap XML
Существует три способа решения данной задачи:
Покупка генератора для карты сайта.
Создать Sitemap при помощи онлайн-сервисов.
Ручное написание файла.
Для существенной экономии времени предлагается приобретение генераторов. Поэтому если двадцать — тридцать долларов для покупки лицензии являются для веб-мастера мелкой тратой денег, то купить его, особенно для крупного интернет-ресурса, все-таки не помешает, так как не нужно будет тогда создавать сайт вручную.
Для сайта, содержащего несколько сотен страниц, рекомендуются онлайн-сервисы, где для того, чтобы создать Sitemap, необходимо будет лишь указать адрес интернет-ресурса и загрузить результат.
Самым верным вариантом является ручное создание карты. Для этого нужно знать такие теги, как url, urlset, loc, lastmod, changefreg и priority. При этом первые три тега считаются обязательными, а без последних трех можно и обойтись.
Создание Sitemap в Joomla
Чтобы на сайте создать Sitemap, Joomla и Wordpress имеют специальные дополнения, как и большинство известных систем администрирования, благодаря которым карта сайта создается вручную или автоматически. Для крупных интернет-проектов, у которых постоянно обновляются материалы, такое дополнение очень удобно.
В "Джумле" оно называется Xmap, в Wordpress - Google XML Sitemaps.
Автоматическое создание карты сайта
Автоматически создать Sitemap помогают бесплатные онлайн-серверы, если страниц сайта насчитывается не более пятисот. Вот как легко проводится генерация карты сайта:
Зайдя на один из таких интернет-ресурсов, нужно найти пункт «Генерация Sitemap», нажать на кнопку «Создать» и создать файл Sitemap автоматически.
Найти «URL сайта» и ввести там адрес сайта, для которого создается карта.
Возможно, система потребует введение проверочного кода. Его нужно также ввести и нажать «Старт».
Готовую карту загрузить на сайт.
Ручной способ создания карты
Такой способ является, с одной стороны, самым трудным, отнимающим драгоценное время, но с другой стороны, это самый верный способ, применяющийся в тех случаях, когда другие варианты не подходят. Так, например, если есть много страниц, в занесении в карту сайта которых нет особой необходимости, но автоматически они, конечно, туда попадают, ручной способ избавит карту от «передозировки» таких страниц. Другой причиной, по которой выбирают этот способ, является плохая навигация сайта.
Для реализации ручного создания карты необходимо:
Собрать страницы для включения их в карту.
В excel-файл вставить все адреса в третий столбик.
В 1-м и 2-м столбиках вставить и url и loc.
В 4-м и 5-м столбиках вставить закрывающие url и loc.
Применить функцию «сцепить» для соединения пяти столбиков.
В сделать sitemap.xml.
Добавить в этот файл теги и urlset и /urlset.
Вставить между ними соединенный столбик.
Получившийся файл необходимо проверить. Сделать это можно, например, в "Яндексе", в панели веб-мастера.
Как создать Sitemap для "Яндекса" и Google
После создания сайта ее добавляют на сайт. С этой целью файл с картой сайта нужно назвать Sitemap.xml и добавить его в корневую директорию. Чтобы поскорее нашли ее, в Google и "Яндекс" имеются специальные инструменты. Они называются «Инструменты для веб-мастеров» (в Google) и «Яндекс-вебмастер» (в "Яндексе").
Добавление Sitemap в Google
Добавление Sitemap в "Яндекс"
Так же и в «Яндекс-вебмастер» нужно сначала авторизоваться. Потом перейти на индексирование/файлы Sitemap, указать там путь файла и нажать кнопку «Добавить».
Поисковые роботы сегодня возьмут только те файлы, которые содержат не больше пятидесяти тысяч url.
При превышении карты десяти мегабайт лучше разбить ее на несколько файлов. Благодаря этому перегрузки сервера не будет.
Чтобы создать Sitemap xml правильно, при нескольких файлах нужно их всех прописать в файле индекса, используя теги sitemapindex, sitemap, loc и lastmod.
Все страницы нужно прописывать или с префиксом «www» или без его использования.
Необходимая кодировка файла — это UTF8.
Также в файле нужно добавить указание пространства имен языка.
Как создать карту сайта для пользователей
Поскольку такая карта создается для пользователей, она должна быть максимально проста и наглядна. Несмотря на это, необходимо качественно донести всю информацию о структуре используемого сайта.
HTML-карты в основном имеют привычную пользовательскую структуру, состоящую из разделов и подразделов, выделенных определенным образом, например, стилями CSS и графическими элементами.
Чтобы создать Sitemap для крупного интернет-проекта, как и в случае с XML-картой, здесь также рекомендуется разбивание. В этом случае оно осуществляется в виде отдельных вкладок, избавляющих карту от громоздкости.
Повысить функционал страницы позволит язык JavaScript, который в этой карте допускается использовать, так как она создается не для роботов-поисковиков, а для пользователей.
Порядок для файла карты сайта
Желательно, чтобы в созданном файле, содержащем Sitemap, всегда были чистота и порядок, особенно если у сайта имеется большое количество страниц. Поскольку роботы-поисковики просматривают карты сайта очень быстро, для просмотра всего файла крупного интернет-ресурса может просто не хватить времени.
Поэтому если привыкнуть добавлять страницы в карту сайта не внизу, а в верхней ее части, то, с одной стороны, можно не сомневаться, что поисковый робот успеет просмотреть адреса новых страниц, а с другой стороны, таким образом намного легче будет контролировать все страницы.
С помощью нашего генератора карты сайта создайте файлы в формате XML, которые могут быть представлены в Google, Яндекс, Bing, Yahoo и других поисковых системах, чтобы помочь им индексировать ваш сайт.
Сделайте это за три простых шага:
Sitemap – это карта сайта в формате XML, который В 2005 году поисковик Google стал использовать для индексации страниц сайтов. Файл Sitemap представляет собой способ организации веб-сайта, выявление адреса и данные по каждому разделу. Ранее карты сайта в основном были направлены для пользователей сайта. Формат XML был разработан для поисковых систем, что позволяет им найти данные быстрее и эффективнее.
Новый протокол Sitemap был разработан в ответ на увеличения размера и сложности веб-сайтов. Бизнес-сайты часто содержат тысячи продуктов в своих каталогах, популярность блогов, форумов, досок объявлений вынуждают вебмастеров обновлять свои материалы, по крайней мере один раз в день. Поисковым системам все труднее отслеживать весь материал. Через протокол XML поисковые системы могут более эффективно отслеживать адреса, оптимизируя их поиск путем размещения всей информации на одной странице. XML также показывает, как часто обновляется определенный веб-сайт, и записывает последние изменения. XML карты не являются инструментом для поисковой оптимизации. Это не влияет на ранжирование, но это позволяет поисковым системам сделать более точные рейтинги и поисковые запросы. Это происходит путем предоставления данных, удобных для считывания поисковыми системами.
Общее признание протокола XML означает, что разработчикам веб-сайтов больше не нужно создавать различные типы карт сайта для различных поисковых системах. Они могут создать один файл для представления, а затем обновить его, когда они внесли изменения на сайте. Это упрощает весь процесс тонкой настройки и расширения веб-сайта. Сами Вебмастера начали видеть преимущества использования этого формата. Поисковые системы ранжируют страницы в соответствии с релевантностью содержания конкретных ключевых слов, но до формата XML часто содержимое страниц не было правильно представлено. Это часто расстраивает вебмастерам, которые понимают, что их усилия по созданию веб-сайта были оставлены незамеченными. Блоги, дополнительные страницы, добавление мультимедийных файлов занимают несколько часов. Через файл XML эти часы не будут потрачены впустую, их увидят все известные поисковые системы.
Чтобы создать свой Sitemap в формате XML и держать поисковые системы в курсе всех изменений вашего сайта, попробуйте наш бесплатный генератор карты сайта.
