В деле продвижения, одной из основных напастей продвиженца, помимо хитровыэпанных фильтров поисковиков, являются козни конкурентов. Коих хлебом не корми, а дай выпалить методы и доноров, а после, еще и радостно стукануть поисковику.
Видимо некоторых вебмастеров мало 3.14zдили в детстве.
Хотя, надо заметить, стукачество в нише продвижения, у нас пока что не расцвело столь пышным цветом, как в бургонете. Но, по мере повышения конкуренции, закручивания гаек поисковиками и взросления поколения пепси, оно тоже постепенно входит в нашу жизнь.
И если в случае прогонов мы ничего сделать не может, уповая на жмотство конкурентов, которые зажлобятся покупать подписку Ahrefs, а купить выгрузку не догадаются. А то и не в курсе вообще что это за ахрефс такой и маджестик сео.
Так вот если в плане прогонов сделать ничего нельзя, то максимально прикрыть свою сеточку, вполне реально. Ибо ваша приватная сетка сателлитов, будет приватной ровно до того момента, пока кто то не поймет что вы двигаетесь сатами и не стуканет куда следует. Подобные прецеденты уже были у знакомых, работающих в бургонете.
Для этого, всего то надо залочить доступ краулерам различных сервисов SEO аналитики, сканирующих интернеты, в том числе и в поиске исходящих ссылок. Также, заблокировав ботов, вы довольно ощутимо снизите нагрузку на ваш хостинг, тем самым ускорив работу сатов. Ибо, к примеру, боты Мегаиндекса генерят совершенно адскую нагрузку, по сравнению с которой боты яндекса, из-за которых могут выгнать с буржуйского хостинга, покажутся просто детским лепетом.
Собственно делается это добавлением в файл правил апача .htaccess следующих строк:
############### KILL’EMALL
SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
SetEnvIfNoCase User-Agent .*semrushbot.* bad_bot
SetEnvIfNoCase User-Agent .*ia_archiver.* bad_bot
SetEnvIfNoCase User-Agent .*searchmetricsbot.* bad_bot
SetEnvIfNoCase User-Agent .*seokicks-robot.* bad_bot
SetEnvIfNoCase User-Agent .*sistrix.* bad_bot
SetEnvIfNoCase User-Agent .*lipperhey spider.* bad_bot
SetEnvIfNoCase User-Agent .*ncbot.* bad_bot
SetEnvIfNoCase User-Agent .*backlinkcrawler.* bad_bot
SetEnvIfNoCase User-Agent .*archive.org_bot.* bad_bot
SetEnvIfNoCase User-Agent .*meanpathbot.* bad_bot
SetEnvIfNoCase User-Agent .*pagesinventory.* bad_bot
SetEnvIfNoCase User-Agent .*aboundexbot.* bad_bot
SetEnvIfNoCase User-Agent .*spbot.* bad_bot
SetEnvIfNoCase User-Agent .*linkdexbot.* bad_bot
SetEnvIfNoCase User-Agent .*nutch.* bad_bot
SetEnvIfNoCase User-Agent .*blexbot.* bad_bot
SetEnvIfNoCase User-Agent .*ezooms.* bad_bot
SetEnvIfNoCase User-Agent .*scoutjet.* bad_bot
SetEnvIfNoCase User-Agent .*majestic-12.* bad_bot
SetEnvIfNoCase User-Agent .*majestic-seo.* bad_bot
SetEnvIfNoCase User-Agent .*dsearch.* bad_bot
SetEnvIfNoCase User-Agent .*blekkobo.* bad_bot
SetEnvIfNoCase User-Agent .*megaindex.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
#######################################
данные записи обращаются к модулю апача mod_setenvif который включен по умолчанию и блокируют доступ к сайту для ботов все упомянутых сервисов.
Надо заметить, что с Мегаиндексом надо учесть, что если вы торгуете в сапе, то вы заблокируете доступ к аналитике вашего сайта и они гарантировано не будут выкупать с вашей площадки места.
Тоже касается и других систем анализа, в которых ваш сателлит будет отсутствовать или будет обладать минимальной статистической информацией.
Но если вы строите свою так называемую PBN (Private Blog Networks) то они вам и не нужны, т.к вы имеет представление о статистике своего сайта и без сторонней аналитики.
6 Комментариев
-
Dinin сказал:
Как думаешь, есть разница закрывать через robots или .htaccess?
Вот тут видел простыни под Disallow: /[Reply]
-
Андрей сказал:
Добрый день, а как я могу с Вами связаться ?
[Reply]
anchous Reply:
February 26th, 2017 at 13:56вы уже со мной связались, т.ч отписал вам на указанную почту
[Reply]
-
Саня сказал:
Здравствуйте, видел еще и такое решение в .htaccess:
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) – [F,L]Скажите, в чем разница и какое решение лучше?
Спасибо[Reply]
anchous Reply:
November 25th, 2018 at 01:12да ничем, вроде не отличается. просто чуть другая реализация запрета
[Reply]
anchous Reply:
January 25th, 2017 at 21:11
к примеру гугол периодически кладет болтяру на роботс, более того несколько раз были ситуации, что контент попадал в индекс гугля аккурат после добавления в дизалоу роботс.
т.ч имхо – лучший варик это запрет доступа как такового
[Reply]