Нужен парсер выдачи
-
Здравствуйте, у кого есть рабочий парсер выдачи гугл... буду благодарен
-
@flour said in Поток/процесс:
@Fox благодарю, вопрос решен
-
@Fox я как-то не разобрался, мне нужно с запросом, с полным парсером выдачи (по страницам) и записью доменов в блокнот
-
@flour said in Нужен парсер выдачи:
@Fox я как-то не разобрался, мне нужно с запросом, с полным парсером выдачи (по страницам) и записью доменов в блокнот
составь список запросов, из него дергай по одной строке и в переменную, в гет запросе подставляй эту переменную вс там просто
https://www.google.de/search?q={{Список запросов}}&ie=utf-8&oe=utf-8&start=[[S4ET]]
где {{Список запросов}} - строка из списка с твоими запросами
[[S4ET]] - глубина страниц 10,20,30 и т.двот эта регулярка выдергивает ссылки - <h3\ class="r"><a href="(.+?)"\ onmousedown="return\ rwt
-
@Zenodrot [[S4ET]] - глубина страниц 10,20,30 и т.д
это до какой страницы парсить будет или конкретную?
-
@flour said in Нужен парсер выдачи:
@Zenodrot [[S4ET]] - глубина страниц 10,20,30 и т.д
это до какой страницы парсить будет или конкретную?каждый запрос подставляешь
увеличивай переменную на 10первый запрос без 10
переменка = s4et 0
потом вот такой https://www.google.de/search?q={{Список запросов}}&ie=utf-8&oe=utf-8
далее переменку s4et с 0 на 10 увеличивай
и новый запрос https://www.google.de/search?q={{Список запросов}}&ie=utf-8&oe=utf-8&start=[[S4ET]]
в цикле будет от 10 до скольки тебе нужно там укажешь в настройках количество циклов
-
@Zenodrot долго это делать буду) пару пунктов понятно, но как новичку ...
-
@flour said in Нужен парсер выдачи:
@Zenodrot долго это делать буду) пару пунктов понятно, но как новичку ...
счегото нужно начинать ) ты пиши что непонятно, лучше самому с нуля написать чем готовое брать
а если тебе нужен такой парсер в паблике софты загугли есть, селка вроде парсит, а-парсер гдет крякнутый есть
ты в браузере смотри что меняется когда гуглишь и поймешь какие значения тебе нужно менять
-
@Zenodrot апарсер серверный софт, а селка парсит не много,барахлит
-
@flour said in Нужен парсер выдачи:
@Zenodrot апарсер серверный софт, а селка парсит не много,барахлит
Fox скидывал примерный проект осталось к нему цикл только приделать
примеры с циклами есть в мануале от кодера где юзается парсер через браузер
а ты делай на гет запросах будет шустрееты начни делать главное, если что вопросы сюда кидай вместе с проектом, поможем
-
@Zenodrot этот парсер ведь не сможет собрать топ 1000? без прокси и капчи
-
@flour На все свои проекты готовых решений на форуме не найдёшь, всё равно придётся учиться самому.
Вот проект проект на основе предыдущего, берёт первые 10 страниц гугла и собирает ссылки в LING_LIST.txt в корне BAS'а.
-
@flour said in Нужен парсер выдачи:
@Zenodrot этот парсер ведь не сможет собрать топ 1000? без прокси и капчи
а в чем проблема прокси прикрутить?
-
-
@flour Все мы были новичками, главное пробовать, учится.
Только что открыл проект, нажал кнопку Запустить и за 7 секунд у меня спарсили первые 10 страниц гугла в LING_LIST.txt, в директории:D:\BrowserAutomationStudio2\apps\18.6.0\Можно и через Запись, но дольше.
