Довольно часто в рунете приходится читать какие то бредомысли о поисковой системе Google, которые предподносятся как отче наш, при том что все верят на слово, и никому не приходит в голову, например зайти в гуглевую справку, где все досконально и подробно разъяснено. И что самое главное в Google, так это то что, если в справке написано А, то эта фича не будет работать как ЙО. Как это заведено у Яндекса.
Здесь хочу продолжить тему падения трафика и разобрать проблему “соплей”, о которой я писал ранее. Основной вид борьбы с такими страницами- это траст и запрет индексации, которые также является панацеей при борьбе с дупликейт контентом. Но если прописать в файл robots.txt нужные директивы Disallow: то при проверке через какое то время, может выясниться, что не смотря на запреты, весь мусор закрытый в robots.txt тем не менее находится в индексе. Причем, как я выяснил эмпирическим путем- такая ситуация совершенно рандомная, то есть сайт 1 и сайт 2 с идентичными роботсами, где будут изменены только директивы Host и Sitemap- могут быть совершенно по разному представлены в поисковой системе Google. Причем естественно большие форумные спецы будут вас убеждать, в том что корень зла в ваших руках и знаниях синтаксиса, но прочитав справку, видим, что гугель как бы намекает- если чо, звиняйте ребята. Самое интересное что проведя опыты над несколькими сайтами, нигде не зарегистрированными, я обнаружил что Google может расценивать Disallow как руководство к действию, ибо у меня на одном сайте имевшем ~3200 страниц в индексе Google, после попытки закрыть от индексации различные пейдж1-2-3-4, получилась ситуация, что в индекс вдруг пришло еще 1500 страниц, причем явно эта адресация оставалась незамеченной гуглем именно до того момента, как я вписал их в robots.txt. Поэтому единственный способ борьбы с индексом Google является работа на уровне метатегов, которые как раз в справке описаны как панацея, которую гугель никогда не нарушает. И действительно, при установке плагина для WordPress- Robots Meta, после его настройки- число страниц несколько штормит, а потом начинает неумолимо уменьшаться. Для Joomla я пока такого плагина не смог найти, так что пока джумловские сайты пребывают в старом режиме.
В вопросе индексации, также частенько видел полезные советы удалить имеющиеся страницы через удалялку Webmaster Tools, да тока видимо советчики подобного никогда не заглядывали в справку Google, иначе прочитав ЭТО, навряд ли бы раскидывались подобными советами.
Так что резюмируя все вышесказанное, в поисковой системе Google решать проблему закрытия страниц сайта от индексации, оптимальнее всего с помощью мета тегов.
2 Комментариев
-
West Blogger сказал:
Привет.
Мой опыт утверждает об обратном, даже используя тег:
Google все равно cъедает странички вида:
westblog.ru/?paged=5 (уже больше года стоит этот тег)Или может я чего недопонимаю и follow – Все портит ? Честно давно волнует этот вопрос с индексацией Гугла, который съедает все подряд 🙁
[Reply]
-
West Blogger сказал:
Ах ты, на роботс.тхт то я не обратил внимания! Спс за статью 🙂
[Reply]