Решено Оптимизация Mail-парсера

Andrey

Активист
Клиент
Сообщения
36
Реакции
3
Баллы
8
1. В данный момент 17.01 20:00 сайты с Mail парсером (Zvook стоит вторым) не работают, 504 ошибки. Работает только главная.
P.S. Похоже проблемы у самого Mail-a, иногда по 10 сек. нужно дожидаться воспроизведения трека. Но тогда, как я понимаю, должен включаться парсер Zvook, а получаем 504, 502.
2. Сайты с данным парсером грузят весь сервер с сайтами из-за своего долгого ответа.
3. Часто в течении дня наблюдаю, что не работает воспроизведение/скачивание треков, хотя поиск работает.
 

Mp3style

Местный житель
Сообщения
227
Реакции
27
Баллы
28
1. В данный момент 17.01 20:00 сайты с Mail парсером (Zvook стоит вторым) не работают, 504 ошибки. Работает только главная.
P.S. Похоже проблемы у самого Mail-a, иногда по 10 сек. нужно дожидаться воспроизведения трека. Но тогда, как я понимаю, должен включаться парсер Zvook, а получаем 504, 502.
2. Сайты с данным парсером грузят весь сервер с сайтами из-за своего долгого ответа.
3. Часто в течении дня наблюдаю, что не работает воспроизведение/скачивание треков, хотя поиск работает.
кеширование включено ? майл часто айпи банит на опр время
 

MSE-Script

Developer
Команда форума
Сообщения
861
Реакции
307
Баллы
63
1) Проблемы с серверами майла, такое бывает во время проведения технических работ на источнике. Временно можно переключить парсер.
2) Подумаем над решением
3) В процессе реализации
 

Andrey

Активист
Клиент
Сообщения
36
Реакции
3
Баллы
8
@MSE-Script, А как скоро выйдет фикс?
2-3 день парсер Mail не работает(вообще не работает т.е. 504 ошибки только), включил Zvook временно, но это совсем не помогло: отказы выросли до 60+% и трафик с 5к до 1к упал моментально.
otkaz.png
 

MSE-Script

Developer
Команда форума
Сообщения
861
Реакции
307
Баллы
63
@Andrey, Отклонений в парсере Mail не вижу, на тестовых и "боевых" сайтах парсер работает корректно (без учета периодических блокировок IP). Так же, больше никаких жалоб не поступало. Обновленный парсер выйдет в новом релизе 3.1.

отказы выросли до 60+% и трафик с 5к до 1к упал моментально
Слишком большие показатели для подобной ситуации, имеют место быть проблемы с сервером или доступностью сайта.
 

n0n4m3

Местный житель
Сообщения
321
Реакции
81
Баллы
28
Отказы возможно от того что в базе звука нет много треков те что есть в маиле.
 

ovozz

Местный житель
Клиент
Сообщения
300
Реакции
86
Баллы
28
у меня работает нормально, траф идет
 

Mp3style

Местный житель
Сообщения
227
Реакции
27
Баллы
28
@MSE-Script, А как скоро выйдет фикс?
2-3 день парсер Mail не работает(вообще не работает т.е. 504 ошибки только), включил Zvook временно, но это совсем не помогло: отказы выросли до 60+% и трафик с 5к до 1к упал моментально.
Посмотреть вложение 296
Тоже такая фигня...Прикрутили прокси тогда норм если прокси платные 504 ошибку не получаем результаты есть, но заставить подставлять ретранслятор тот прокси с которого парсился результат и получалась ссылка не вышло.
Убрал нафиг из цепочки майл оставил Звог Вк Ок
 

Mp3style

Местный житель
Сообщения
227
Реакции
27
Баллы
28
Думаю пора пилить парсер soundcloud.com
 

Andrey

Активист
Клиент
Сообщения
36
Реакции
3
Баллы
8
Тоже такая фигня...Прикрутили прокси тогда норм если прокси платные 504 ошибку не получаем результаты есть, но заставить подставлять ретранслятор тот прокси с которого парсился результат и получалась ссылка не вышло.
Убрал нафиг из цепочки майл оставил Звог Вк Ок
На сервере есть IP, где Mail вообще не использовался. Сейчас поставил Mail и результат тот же - 504. Странно, тоже думал бан Мэйла словил, но не похоже. Тем более IP-адреса проверял из другой сети/подсети.
 

ovozz

Местный житель
Клиент
Сообщения
300
Реакции
86
Баллы
28
@Mp3style, несколько сайтов на майле, локация РФ на айхоре... 504 не встречал..
 

n0n4m3

Местный житель
Сообщения
321
Реакции
81
Баллы
28
Сам по себе маил глючит, долго грузит песни, у них походу что то с серверами слушал только что загрузка песни очень долгая типа отдача хотя инет канал 100мб
 

Coilfenix

Активист
Сообщения
84
Реакции
30
Баллы
18
Какой вообще предпочтительнее юзать парсер?
 
Сверху