@myweb101
Здравствуйте, падение производительности происходит из-за того, что перед каждым xpath запросом страница парсится заново. Это происходит 8 раз в каждом потоке.
Этого можно избежать используя действия парсинга из модуля http клиента. Так нагрузка на процессор станет меньше в 7/8 раз, потому что эти методы кешируют преобразование страницы в дерево элементов.
Пример:
get_url_ver3.xml
Если вы хотите сделать нагрузку еще меньше, то вы можете брать код страницы, проверять его на наличие строк bit.ly или goo.gl, и только в том случае, если они присутствуют в коде, использовать менее быстрый xpath.