Представляете, как было бы здорово, если б можно было сказать гуглу: «держи, индексируй вот структура моего сайта!». Например, выкладываешь на сайте специальный файл в формате xml, в котором описаны страницы сайта, приоритетность индексации страниц и дата их последнего обновления. А поисковики, в том числе Google, его регулярно загружают и используют при индексации.
В общем-то, нет ничего удивительно в том, что все это давно реализовано и замечательно работает (формат так и называется sitemap, поддерживают его Google, Yahoo, Microsoft, а Yandex уже работает над его реализацией). Удивляет другое почему его не используют украинские интернет-магазины? В том числе ведущие, с первых страниц рейтинга бигмира.
Как бы там ни было, с недавних пор для магазинов, работающих на OWOX Engine 5.0, sitemap создается и обновляется автоматически. Чем несказанно радует веб-мастеров и облегчает жизнь поисковым роботам.
UPD: О, вот уже и яндекс поддерживает sitemap!

Комментарии
С таким же успехом можно предположить что и роботс.тхт нужно гуглу регулярно скармливать )))
Говоришь гуглу где лежит сайтмпа через вбемастер тулс, а дальше он сам чекает обновилась она или нет.
Кстати а Овокс корректно пишет дату изменения страницы в сайтмап.хмл? Или как и остальные - пишет на всю сайтмапу одну и ту же дату изменения для все страниц.
Аналогичный вопрос об отдаче правильной даты изменения страницы через хттп заголовки.
Потому что в этом случае (если путь не прописан в robots.txt) так придется делать во всех поисковиках. Дальше, конечно, он будет обновляться автоматически.
Что касается даты изменения, то все задается настройками в админке. Например, можете несколько раз подряд дернуть эту страницу и вы увидите, что Last-Modified не меняется. 304-й заголовок, естественно, тоже поддерживается.
.