Гость
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Proxies for web-scraping / 4 сообщений из 4, страница 1 из 1
14.10.2020, 21:52
    #40008647
McCar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Proxies for web-scraping
Всем привет.
Возможно не совсем по адресу вопрос, но вроде web-scraping ом сейчас на питоне чаще занимаются, так что не обделите советами если есть что сказать по теме.
Для некоммерческого частного проекта нужно получить выборку данных с Авито.
Собственно код для парсинга уже есть, правда на C#, но планирую переделать на Python.
Код рабочий, но для того,чтобы не попасть под бан, приходится вводить большие задержки перед запросами.
Через pool of proxies тут такие вещи кто то делал?
Где лучше брать список относительно живых Proxies, желательно для начала бесплатные?
Спасибо.
...
Рейтинг: 0 / 0
16.10.2020, 13:31
    #40009211
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Proxies for web-scraping
Не нужно заниматься подобной ерундой.
...
Рейтинг: 0 / 0
16.10.2020, 15:42
    #40009280
McCar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Proxies for web-scraping
Hett
Не нужно заниматься подобной ерундой.

Честное слово, мне тоже идея парсинга сайтов не нравится, но для своей задачи я пока не вижу альтернативы.
Но не уверен что вас понял.
Вы про парсинг Авито или про использование прокси или про попытку найти халявное решение?

Модератор:
1. Воровать не есть хорошо. В том числе и чужой контент.
2. Обсуждение способов обхода защит и ограничений ПО запрещено Правилами форума (ссылка в верхней части страницы).
3. Бесплатный сыр бывает в мышеловке. Для второй мыши.

Если тема исчерпана в рамках данного форума, то предлагаю закрыть топик. Или вовсе удалить его как неинформативный.
--
vkle
...
Рейтинг: 0 / 0
16.10.2020, 17:51
    #40009314
McCar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Proxies for web-scraping
McCar
Hett
Не нужно заниматься подобной ерундой.


Модератор:
1. Воровать не есть хорошо. В том числе и чужой контент.
2. Обсуждение способов обхода защит и ограничений ПО запрещено Правилами форума (ссылка в верхней части страницы).
3. Бесплатный сыр бывает в мышеловке. Для второй мыши.

Если тема исчерпана в рамках данного форума, то предлагаю закрыть топик. Или вовсе удалить его как неинформативный.
--
vkle

жаль что обсуждение ушло из технической плоскости, но замечу, что юридически веб-скрапинг воровством это не является нигде.
https://medium.com/@tjwaterman99/web-scraping-is-now-legal-6bf0e5730a78

Но признаю права модератора вводить свои морально-этические нормы.
...
Рейтинг: 0 / 0
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Proxies for web-scraping / 4 сообщений из 4, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]