Как перезагружать прокси не периодически, а после обработки всего списка?
-
Загружаю прокси с урла. Стоит задача перезагружать урл с проксями только после того как отработали все прокси от предыдущей загрузки.
По урлу прокси периодически обновляются на сервере.
Нашел в настройках ресурса галку "Перегружать периодически" И там интервал в милисекундах.
http://i.piccy.info/i9/58ce14d44a919806cf7a0ab33fa80056/1489499750/35810/1119390/proxy_reload.png
Но мне нужно перегружать не по времени. А только после того как отработала первая партия проксей.
- То есть делаем запрос к урлу проксей, загрузили прокси в ресурс.
- Работаем на этих проксях в многопотоке.
- Прокси закончились по правилам выставленым в ресурсе.
- Делаем повторный запрос к урлу прокси чтоб загрузить новую партию проксей.
- Скрипт дальше работает в многопотоке на новой партии проксей и так по кругу.
Как такое реализовать? Буду благодарен за помощь.
-
@Gang это нужно вставить в Выполнить код.
Reload('ИМЯ РЕСУРСА')При использовании ресурса с прокси ставьте галку не завершать приложение (точно не помню название). Действие, где используется этот ресурс, оборачиваем в игнорировать ошибки, и делаем обработку, что если был ошибка (WAS_ERROR) и последняя ошибка(LAST_ERROR) была "Все данные были обработаны для 'имя_ресурса' ", то выполняем код выше
-
@DrPrime said in Как перезагружать прокси не периодически, а после обработки всего списка?:
@Gang это нужно вставить в Выполнить код.
Reload('ИМЯ РЕСУРСА')При использовании ресурса с прокси ставьте галку не завершать приложение (точно не помню название). Действие, где используется этот ресурс, оборачиваем в игнорировать ошибки, и делаем обработку, что если был ошибка (WAS_ERROR) и последняя ошибка(LAST_ERROR) была "Все данные были обработаны для 'имя_ресурса' ", то выполняем код выше
Спасибо работает. Но вот если я в if вставляю [[LAST_ERROR]]||[[WAS_ERROR]] Это ведь проверка, была ли вообще ошибка и какая последняя ошибка, верно? А если в шаблоне будет какая-то другая ошибка, НЕ ошибка взятия прокси с ресурса? Тогда условие if тоже выполнится и перезагрузит ресурс с проксями?
Мне же нужно, чтоб ресурс с проксями перезагружался только когда есть ошибка только этого ресурса, это когда все прокси обработаны. Поправьте меня если я не прав.
-
@Gang
([[LAST_ERROR]]=="Все данные рбработаны для ресурса ...") &&[[WAS_ERROR]]
Вот так правильно, что бы оба условия выполнялись. Только текст ошибки точно посмотри.
-
@DrPrime said in Как перезагружать прокси не периодически, а после обработки всего списка?:
@Gang
([[LAST_ERROR]]=="Все данные рбработаны для ресурса ...") &&[[WAS_ERROR]]
Вот так правильно, что бы оба условия выполнялись. Только текст ошибки точно посмотри.Спасибо! Вы очень много помогли мне на этом форуме! Но у меня все же не получается перезагружать ресурс с урлом. Если с текстовым файлом работаем локально, тогда все перезагружает и следующие потоки берут новую инфу и работают. А как подставляю урл в ресурс, так он только перезагружается но инфу не берет и потоки отваливаются(
Можете глянуть мой шаблон, в чем может быть проблема? 0_1489592702965_test_reload_proxy.rar Целый день убил, так и не осилил((
-
Короче с этой перезагрузкой ресурса после ошибки не комильфо. Часть потоков отваливается на этой перезагрузке(
А можно сделать отдельную настройку в ресурсе, чтоб обновлять источник проксей по урлу не по времени, а после того как все текущие прокси в листинге закончатся?
Мне нужно чтоб один раз вытянул листинг проксей по урлу, прошелся по нему без повторов. Все прокси отработали, и только после этого урл проксей опять дергаю, получаю новый листинг и работа в многопотоке продолжается.
Помогите пожалуйста, очень надо!
-
@Gang said in Как перезагружать прокси не периодически, а после обработки всего списка?:
Часть потоков отваливается на этой перезагрузке(
Нужно еще меньше деталей, просто скажите что БАС глючит, этого достаточно, я сам догадаюсь в чем проблема.
Помогите пожалуйста, очень надо!
@DrPrime вам написал. Ладно вот проект
-
Спасибо огромное!!!
