|
Proxies for web-scraping
|
|||
---|---|---|---|
#18+
Всем привет. Возможно не совсем по адресу вопрос, но вроде web-scraping ом сейчас на питоне чаще занимаются, так что не обделите советами если есть что сказать по теме. Для некоммерческого частного проекта нужно получить выборку данных с Авито. Собственно код для парсинга уже есть, правда на C#, но планирую переделать на Python. Код рабочий, но для того,чтобы не попасть под бан, приходится вводить большие задержки перед запросами. Через pool of proxies тут такие вещи кто то делал? Где лучше брать список относительно живых Proxies, желательно для начала бесплатные? Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.10.2020, 21:52 |
|
Proxies for web-scraping
|
|||
---|---|---|---|
#18+
Не нужно заниматься подобной ерундой. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2020, 13:31 |
|
Proxies for web-scraping
|
|||
---|---|---|---|
#18+
Hett Не нужно заниматься подобной ерундой. Честное слово, мне тоже идея парсинга сайтов не нравится, но для своей задачи я пока не вижу альтернативы. Но не уверен что вас понял. Вы про парсинг Авито или про использование прокси или про попытку найти халявное решение? Модератор: 1. Воровать не есть хорошо. В том числе и чужой контент. 2. Обсуждение способов обхода защит и ограничений ПО запрещено Правилами форума (ссылка в верхней части страницы). 3. Бесплатный сыр бывает в мышеловке. Для второй мыши. Если тема исчерпана в рамках данного форума, то предлагаю закрыть топик. Или вовсе удалить его как неинформативный. -- vkle ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2020, 15:42 |
|
Proxies for web-scraping
|
|||
---|---|---|---|
#18+
McCar Hett Не нужно заниматься подобной ерундой. Модератор: 1. Воровать не есть хорошо. В том числе и чужой контент. 2. Обсуждение способов обхода защит и ограничений ПО запрещено Правилами форума (ссылка в верхней части страницы). 3. Бесплатный сыр бывает в мышеловке. Для второй мыши. Если тема исчерпана в рамках данного форума, то предлагаю закрыть топик. Или вовсе удалить его как неинформативный. -- vkle жаль что обсуждение ушло из технической плоскости, но замечу, что юридически веб-скрапинг воровством это не является нигде. https://medium.com/@tjwaterman99/web-scraping-is-now-legal-6bf0e5730a78 Но признаю права модератора вводить свои морально-этические нормы. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2020, 17:51 |
|
|
start [/forum/topic.php?fid=23&msg=40009280&tid=1459580]: |
0ms |
get settings: |
12ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
58ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
49ms |
get tp. blocked users: |
1ms |
others: | 265ms |
total: | 422ms |
0 / 0 |