Как обойти ограничение вк на количество запросов. Фикс от 13.04.2018

#1
Всем привет, последнее изменение вк от 10 апреля было ограничение на количество запросов с мобильной версии. Из за чего после определенного количества поисковых запросов ограничивался поиск. Высылал небольшой список действий, как обойти это решение, в данном посте распишу всё подробно
1) Ограничить индексацию
2) Побанить лишних ботов (можно открыть лог сервера и чекать, кто грузит сайт)
3) Прочекать рукамим старые акки, удалить «паленные»
4) Загрузить не менее десятка-полтора новых

Первое, что надо уяснить, это 95% запросов к двигу делают поисковые боты. Из за огромного количества страниц в индексе, они просто сутками насилуют сайт, на котором может даже не быть посещаемости, таким образом именно боты делают большое количество запросов к вк

1) Ограничиваем количество обращений
В гугле

Скриншот 13-04-2018 133345.png
В яндексе
Скриншот 13-04-2018 133623.png

Везде ставим на минимум который возможно
Перед этим надо добавить сайты в яндекс вебмастер и в гугл вебмастер, добавлять много сайтов на один аккаунт не надо 2-3 сайта достаточно

2) Баним ботов на уровне сервера, нам они не нужны
Привожу пример настройки у себя на Centos 7, если у кого то другая стоит система на серве, то обращайтесь к хостингу с просьбой заблокать ботов
Заходим isp панель через пользователя root
Переходим в папку /etc/nginx/ и создаем там файл block.conf
В файле мы записываем список ботов которые надо заблокать
Я блокировал всех, в том числе яндекс бота, так как от него нету трафика,именно он делал 90% нагрузки
PHP:
if ($http_user_agent ~* "MauiBot|LinkpadBot|YandexBot|Sosospider|Sogou web spider|MegaIndex.ru|aesop_com_spiderman|SemrushBot|backweb|batchftp|black.hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye|cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck|cosmos|crescent|custo|da|diibot|disco|dittospyder|dragonfly|drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon|emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky|frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet|grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot|infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar|joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb|likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch|mata.hari|memo|microsoft.url|midown.tool|miixpc|mirror|missigua|mister.pix|moget|mozilla.newt|nameprotect|navroad|backdoorbot|nearsite|net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot|attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer|offline.navigator|openfind|outfoxbot|pagegrabber|papa|pavuk|pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker|psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot|repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload|snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot|superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport|telesoft|the.intraformant|thenomad|tighttwatbot|titan|urldispatcher|turingos|turnitinbot|urly.warning|vacuum|vci|voideye|whacker|libwww-perl|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse|zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|sauger|site.quester|whack|craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|grabber|webpictures|Jakarta|User-Agent|libwww|lwp-trivial|PHPCrawl|WEP Search|Missigua Locator|ISC Systems iRc|Aboundex|360Spider|Java|Cogentbot|BunnySlippers|Cegbfeieh|AIBOT|Demon|Devil|Wonder|Foobot|Kenjin Spider|Density|LinkextractorPro|LWP::Simple|MassDownloader|Mass Downloader|NetZIP|NG|Metasearch|WebFetch|WebCopier|Webclipping|WebBandit|WebAuto|WebGo|Web.Image.Collector|WebLeacher|WebmasterWorldForumBot|WebReaper|WebSauger|eXtractor|Webster|WebStripper|WebWhacker|WebZIP|Slurp|slurp|msnbot|bingbot|musobot|MJ12bot|AhrefsBot|NjuiceBot|Gigabot|Baiduspider|JS-Kit|Voyager|PostRank|PycURL|Aport|ia_archiver|DotBot|SurveyBot|larbin|Butterfly|libwww|Wget|SWeb|LinkExchanger|Soup|WordPress|spbot|MLBot|InternetSeer|FairShare|Yeti|Birubot|YottosBot|Linguee|Ezooms|lwp-trivial|Purebot|kmSearchBot|SiteBot|CamontSpider|ptd-crawler|HTTrack|suggybot|ttCrawler|Nutch|SputnikBot|SputnikImageBot" ) {     return 444; }

В данном файле собрал самый большой список ненужных ботов. Вы же можете посмотреть какие боты грузят ваш сервер посмотрев логи и добавить название бота через прямой слэш "|"

Как посмотреть логи?

В моем случае это /var/www/httpd-logs/site.ru.access.log
Нажимаем изменить и смотрим
Например строка
216.244.66.244 - - [13/Apr/2018:13:46:49 +0300] "GET /robots.txt HTTP/1.1" 444 0 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, [email protected])"
Мы видим, что бот называется Dotbot и он является ботом moz.com
На данный момент так как у меня боты заблокированы, для него ответ 444, то есть соединение сброшено
У вас же от таких ботов ответ будет 200
Можно сделать поиск по файлу со словом bot и увидеть от кого больше всего ботов и внести их в ваш список блокировки


Далее нам необходимо прописать к каждому домену этот черный список в настройки nginx для каждого сайта
У меня был путь такой
/etc/nginx/vhosts/пользователь/site.ru.conf
В этом файле добавим подключение вашего файла
include /etc/nginx/block.conf;

Скриншот 13-04-2018 135805.png
После этого сохраняем наш файл конфига и радуемся, проверить работает он или нет ,можно опять же открыть логи сайта, для которого вы внесли изменения и посмотреть для ваших ботов должен отдаваться ответ 444
После того как заблокировал ботов, нагрузка сервера упала в разы
jFuHwyVl.png

3) Прочекать вручную ваши акки и удалить которые уже попали под ограничение. Берем мобильный телефон авторизуемся в вк с вашего акка и смотрим ищет ли на сайте вк треки. Если вы как пользователь вк не можете воспользоваться поиском, то акк удаляем

4) Купить свежих акков
Акки покупаю http://akitut.ru
Брать надо те акки, где написано "Можно зайти с любого IP"
Ценники на них от 10 до 20 рублей примерно
Дорогие нет смысла брать, нам важно, чтобы можно было зайти с любого айпи
Также стоит упомянуть, что большинство таких акков - это просто взломанные акки и со времени пользователи их могут восстановить и сменить пароль - это нормальная ситуация
Периодически заходим на ftp сайта в папку Temp и удаляем те акки, которые не смогли авторизоваться, вероятней всего там пользователи уже сменили пароль. Акки которые не смогли авторизоваться будут весить 500кб примерно
5ZQE6aPA.png
Сортируем их по колонке с размером и периодически в админке их чистим
В среднем на 2-4к трафика на один сайт вам потребуется 20-30 акков и будет всё стабильно работать
Акки используем только для одного сайта и на одном айпи желательно не больше 2-3 сайтов

У кого остались вопросы пишем в комментариях
 
Последнее редактирование:

Den

Клиент
#2
Сейчас я бы не стал ориентироваться на размер файла кук. Я проверял специально. Сейчас файл 574 кб может нормально работать, а 800-900 кб может оказаться нерабочим.
У кого апач и htaccess могут банить ботов через него.
Я делаю так:
Код:
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|MJ12bot|DotBot|BUbiNG\ Crawler|BUbiNG|FaceBook\ Crawler|FaceBook|SemrushBot|LinkdexBot|Alexa\ Robot|Alexa|Ads.txt-crawler|Powermarks|GrapeshotCrawler|grapeshot|SimplePie|360Spider|CCBot|SeznamBot|LinkpadBot|BLEXBot) [NC]
RewriteRule ^(.*)$ - [F]
 
#3
Сейчас я бы не стал ориентироваться на размер файла кук. Я проверял специально. Сейчас файл 574 кб может нормально работать, а 800-900 кб может оказаться нерабочим.
У кого апач и htaccess могут банить ботов через него.
Я делаю так:
Код:
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|MJ12bot|DotBot|BUbiNG\ Crawler|BUbiNG|FaceBook\ Crawler|FaceBook|SemrushBot|LinkdexBot|Alexa\ Robot|Alexa|Ads.txt-crawler|Powermarks|GrapeshotCrawler|grapeshot|SimplePie|360Spider|CCBot|SeznamBot|LinkpadBot|BLEXBot) [NC]
RewriteRule ^(.*)$ - [F]
Добавь на любой сайт аккаунт с файлами кук 574, аккаунт может быть рабочим, но работать он не будет, так как вылетела капча
 

Den

Клиент
#4
Добавь на любой сайт аккаунт с файлами кук 574, аккаунт может быть рабочим, но работать он не будет, так как вылетела капча
Говорю же - проверял. Именно заходил и искал музыку с IP сервера. Всё работало. Могу тебе хоть щас подкинуть такой файл на проверку :)



И неоднократно уже удалял аки, где файл весил 800 кб, но там или капча или с авторизацией траблы или ограничения на поиск.
Я сначала такие аки записывал в файл, чтобы вручную не чекать. Но потом проверил и понял, что это не подходит, и забил на этот метод.

Вообще по уму в дижвке под ВК должен быть свой чекер, который по крону сможет чекать аккаунты и показывать невалидные не на основе кук, а на основе того, что отдаёт ВК.
 

Den

Клиент
#7
и чо реально это все делают?
Да, реально сижу и проверяю, когда двиг перестаёт отдавать по некоторым запросам контент. Только с компа конечно на моб. версии. И обязательно с IP сервера.
Уже всерьёз задумался заказать чекер аков, который будет првоерять отдаёт ли ВК музыку на каждом из аккаунтов. Потому что сейчас, когда их нужно ещё больше чем раньше, то руками - это полный ппц.
 
Последнее редактирование:

Den

Клиент
#11
Чтобы поменять нужна привязка. А привязать можно только после идентификации. А идентифицироваться можно только личным присутствием с паспортом. Легче уж найти кого-то и поменять, учитывая, что человек из Украины :)
 

Den

Клиент
#13
У вас в Украине вообще нельзя себе киви сделать?
Чет прям проблема какая то...
Ну, судя по описанию процесса, сделать можно тока в России. В Украине сейчас с этим всё сложно. Пройти идентификацию у Яндекса тоже уже низя, потому что их турнули отсюда, хотя были офисы в Одессе и Киеве. С вебмани можно, но тоже нужно найти регистратора в своём городе или хотя бы в близлежащем, и зпалтить ему от 10 до 50 WMZ на процедуру. Поэтому многим проще выкручиваться :)
 
#14
идентификацию ладно, но зарегать просто киви. Я не проходил идентификацию, ввел номер телефона подтвердил по телефону и всё, вот у меня киви
 

Den

Клиент
#15
идентификацию ладно, но зарегать просто киви. Я не проходил идентификацию, ввел номер телефона подтвердил по телефону и всё, вот у меня киви
Ну это да, можно конечно, но речь же о том, как поменять и что через обычные обменники без привязки этого не сделать. Только через людей менять напрямую. Я вроде встречал обменники, которые без привязки меняют, но всё это как-то мутно слишком.
 

Akimu

Web Designer
#16
Ну это да, можно конечно, но речь же о том, как поменять и что через обычные обменники без привязки этого не сделать. Только через людей менять напрямую. Я вроде встречал обменники, которые без привязки меняют, но всё это как-то мутно слишком.
Че вы голову морочите, пополнил с виза/мастеркард и юзай на здоровье, 7 лет так делаю и хоть бы хны, ничего там сверх сложного для Украины нету, куча способов закинуть денюжку на киви
 

Den

Клиент
#17
Че вы голову морочите, пополнил с виза/мастеркард и юзай на здоровье, 7 лет так делаю и хоть бы хны, ничего там сверх сложного для Украины нету, куча способов закинуть денюжку на киви
Да мне киви особо и не нужно, поэтому я об этом мало знаю. Если можно пополнять картой без всяких привязок, то нормально конечно, но в этом случае лично для меня возникает много НО. Поэтому каждый уже для себя решит, что и где ему удобнее и выгоднее :)