Прокси
-
Смотрел на вики как делать, но не получается. Подскажите, нужно что бы при неудачно загрузке страницы (например из за плохого прокси) он брал следующее прокси. Как это реализовать. Тыкните, пожалуйста, носом, что бы увидел. Спасибо.
-
@chelovek
0_1479674604818_proxy.xml
Вот заготовка для скрипта. Берет прокси, загружает сайт, если не загружается, начинается цикл, в котором берется новый прокси. Цикл работает до того момента, пока прокси не будет рабочим
-
@DrPrime А если, допустим, во время работы скрипта, прокси на какой-нибудь странице со временем возьмет да и откажет, что можете посоветовать в такой ситуации?
-
@chelovek
0_1479674604818_proxy.xml
Вот заготовка для скрипта. Берет прокси, загружает сайт, если не загружается, начинается цикл, в котором берется новый прокси. Цикл работает до того момента, пока прокси не будет рабочимНе ставьте людей в заблуждение, в текущих реалиях прокси не изменится пока не завершится поток, ресурс берет значения только во время запуска. В ресурс лучше сделать строку в которой указывать путь к прокси, а уже в самом скрипте самому контролировать прокси, например создать функцию, которую подгружать каждый раз во время переходов и проверять работу прокси, в случае не успеха, удалять прокси из файла и брать новый. Другого способа пока не знаю.
-
текущих реалиях
Не совсем понял...
Я делал так: список прокси в файле. В скрипте загрузку страницы оборачиваем в игнорирование ошибок. Если страница не загрузилась берем прокси заново из файла.Если уж такой проект, что используются паблик прокси, то придется заморочиться и сделать такую проверку при каждой загрузке страницы.
-
@ilekor Вы смотрели проэкт? В этлм проэкте проки меняется без завершения потока. Текущие реалии - это скорее всего не до конца освоенный Вами софт.
-
@LAST Если прокси настолько плохи, придется для каждой загрузки страницы делать это. Но это приведет к тому, что сайты могут плохо относится к тому что ip резко сменился, но не все
-
@ilekor Вы смотрели проэкт? В этлм проэкте проки меняется без завершения потока. Текущие реалии - это скорее всего не до конца освоенный Вами софт.
Именно ваш я и брал для теста, что в конечном счете прокси всегда один и тот же в текущем запущенном потоке и смениться согласно логике он сможет только если поток перезапустится
-
@ilekor пересмотрите внимательно мой проэкт и найдите одно отличие, кроме сайта загрузки. Подсказка. Различие в цикле в экшене прокси
-
@DrPrime я ничего не увидел, прокси всегда одинаковы, не сбрасываются циклом в ресурсе
-
Подскажите, нужно что бы при неудачно загрузке страницы (например из за плохого прокси) он брал следующее прокси. Как это реализовать. Тыкните, пожалуйста, носом, что бы увидел. Спасибо.
Если прокси отказывает, поток завершает работу и тут же перезапускается, так что вам достаточно выставить максимальное количество удач/неудач потока.
Если на каком-то этапе, вы не хотите, чтобы поток перезапускался(зарегистрирована почта, получен номер телефона), можете просто обернуть действия в "Игнорировать Ошибки" и менять прокси, в случае ошибок.
Не ставьте людей в заблуждение, в текущих реалиях прокси не изменится пока не завершится поток, ресурс берет значения только во время запуска. В ресурс лучше сделать строку в которой указывать путь к прокси, а уже в самом скрипте самому контролировать прокси, например создать функцию, которую подгружать каждый раз во время переходов и проверять работу прокси, в случае не успеха, удалять прокси из файла и брать новый. Другого способа пока не знаю.
Прокси можно поменять в течении работы потока если убрать галку "Повторное использование"
-
@ilekor обрати внимание на стрелочку в картинке выше
-
Ребят, реально не заметил этот момент, спасибище огромное
