Странно работает браузер.
-
Ничего не понимаю. Есть 2 проблемы.
- Есть 200 прокси, каждый раз запуская проверку их (заход на любой сайт), у примерно 50 (Цифра всегда разная, когда 30, когда 60) возникает ошибка "Не удалось загрузить станицу, причём всегда у разных прокси. (Все прокси приватные, рабочие 100%).
- Очень часто ловлю ошибку "Таймаут", сколько его не выставлял (до 300сек), всё равно ошибка. Так же пробовал через "Ожидание элемента", всё так же. Хотя в обычном браузере страница грузится секунд 10-20.
И ещё вопрос, "Запретить запрос" насколько я понял работает только на 1 загрузку страницы. Можно ли как-то его установить для всех загрузок в потоке. А то если в потоке надо зайти на 10 разных страниц, каждый раз надо прописывать маски и выключать всплывающие окна.
-
@Hexagon said in Странно работает браузер.:
жно ли как-то его установить для всех загрузок в потоке.
"Запретить запрос" работает на загрузку всех страниц. Просто установи этот параметр вначале скрипта. Во-первых, точно установи тип прокси http или СОКИ5. Во-вторых, будь готов к тому, что если твой инет не айс, то даже самые восхитительные прокси, а тем более в многопотоке, работать будут плохо.
-
@olegtut Спасибо. Я так понимаю "Запретить всплывающие окна" тоже 1 раз в начале скрипта? Мой интернет - приём 75мб/c и отдача 90мб/c, вроде бы нормальный. Тема с прокси то работает всё нормально, то есть все прокси проходят проверку, то ошибка "Не удалось загрузить".
-
@Hexagon Лучше ждать определенный элемент на странице, а не загрузку всей
-
@35xakers Ты перечитай 2ой пункт...
-
Мне кажется просто бас не вывозит в определенных ситуациях.
У меня например тоже необъяснимые подвисания как самого скрипта так и отдельно интерфейса базы + не могу корректно настроить работу с базой =(
Работает в 200-300 потоков, иногда использует браузер, много json, немного регулярок и xpath.
Как итог частенько видно not responding в диспетчере и еще стоит у меня restart on crash (ибо бас с этим скриптом падает стабильно раз в 6 часов) и restart on crash каждые 3 секунды показывает что процесс упал
Вот видео
Проект у меня большой поэтому скорее всего и проблемы такие... локальные)
-
@venom777
То же самое, что сказать: "Велосипед не крутиться быстрее". Велоспортсмен будет ехать на нем быстрее, а обычный человек медленно. Под велоспортсменом понимаю мощный комп. БАС - всего лишь оболочка автоматизации, ядро, требующее внешних данных с вашего компа: мощность, скорость инета, информацию. Базис не может работать медленно, а вот надстройка - запросто.
-
@Hexagon вы пробовали уменьшать количество потоков? Чтобы выяснить проблема в железе или софте.
-
@venom777 said in Странно работает браузер.:
Мне кажется просто бас не вывозит в определенных ситуациях.
У меня например тоже необъяснимые подвисания как самого скрипта так и отдельно интерфейса базы + не могу корректно настроить работу с базой =(
Работает в 200-300 потоков, иногда использует браузер, много json, немного регулярок и xpath.
Как итог частенько видно not responding в диспетчере и еще стоит у меня restart on crash (ибо бас с этим скриптом падает стабильно раз в 6 часов) и restart on crash каждые 3 секунды показывает что процесс упал
Вот видео
Проект у меня большой поэтому скорее всего и проблемы такие... локальные)Это распространённая проблема с базой. Я уже поднимал тему на этот счёт. Решение элементарное, нужно перед каждым блоком обращение к базе ставить сон, хотябы на 100мс. И зависания исчезают.
-
@Hexagon Если прокси Украинские, то они могут блокировать яндекс метрику, а сайт будет сидеть и ждать. Попробуй запретить запрос на яндекс.
-
@Fox Всё прокси русские (Мск и Спб).
-
@romanbiz Конечно, изначально работал в 10 потоках (что как бы тоже не много, но мне хватает), потом при ошибке, попробовал в 1 поток, результаты одинаковы. Причём как я и говорил: "Раз на раз не приходиться", то всё нормально, то какие-то проблемы.
-
@Hexagon Сможете поймать ошибку в режиме записи и прислать network_log?
-
Мне кажется просто бас не вывозит в определенных ситуациях.
Мне нужно как-то повторить это все. На видео я вижу только какой-то софт, который постоянно пишет crushed. Пришлите скрипт, данные, которые он использует.
ибо бас с этим скриптом падает стабильно раз в 6 часов
Присылайте дамп, я это быстро исправлю.
https://bablosoft.com/distr/BrowserAutomationStudioDevelopment/debug.18.7.0.zip
Нужно запустить и после падения прислать файл crashdump.dmp
-
Присылайте дамп на почту, я всегда заинтересован в том, чтобы править такие ошибки как можно быстрее.
mail.to.twaego@gmail.com
Кроме того, в последнем билде появился профайлер, можно посмотреть, какие действия особенно ресурсоемкие.
