powered by simpleCommunicator - 2.0.36     © 2025 Programmizd 02
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Proxies for web-scraping
4 сообщений из 4, страница 1 из 1
Proxies for web-scraping
    #40008647
McCar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем привет.
Возможно не совсем по адресу вопрос, но вроде web-scraping ом сейчас на питоне чаще занимаются, так что не обделите советами если есть что сказать по теме.
Для некоммерческого частного проекта нужно получить выборку данных с Авито.
Собственно код для парсинга уже есть, правда на C#, но планирую переделать на Python.
Код рабочий, но для того,чтобы не попасть под бан, приходится вводить большие задержки перед запросами.
Через pool of proxies тут такие вещи кто то делал?
Где лучше брать список относительно живых Proxies, желательно для начала бесплатные?
Спасибо.
...
Рейтинг: 0 / 0
Proxies for web-scraping
    #40009211
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не нужно заниматься подобной ерундой.
...
Рейтинг: 0 / 0
Proxies for web-scraping
    #40009280
McCar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett
Не нужно заниматься подобной ерундой.

Честное слово, мне тоже идея парсинга сайтов не нравится, но для своей задачи я пока не вижу альтернативы.
Но не уверен что вас понял.
Вы про парсинг Авито или про использование прокси или про попытку найти халявное решение?

Модератор:
1. Воровать не есть хорошо. В том числе и чужой контент.
2. Обсуждение способов обхода защит и ограничений ПО запрещено Правилами форума (ссылка в верхней части страницы).
3. Бесплатный сыр бывает в мышеловке. Для второй мыши.

Если тема исчерпана в рамках данного форума, то предлагаю закрыть топик. Или вовсе удалить его как неинформативный.
--
vkle
...
Рейтинг: 0 / 0
Proxies for web-scraping
    #40009314
McCar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
McCar
Hett
Не нужно заниматься подобной ерундой.


Модератор:
1. Воровать не есть хорошо. В том числе и чужой контент.
2. Обсуждение способов обхода защит и ограничений ПО запрещено Правилами форума (ссылка в верхней части страницы).
3. Бесплатный сыр бывает в мышеловке. Для второй мыши.

Если тема исчерпана в рамках данного форума, то предлагаю закрыть топик. Или вовсе удалить его как неинформативный.
--
vkle

жаль что обсуждение ушло из технической плоскости, но замечу, что юридически веб-скрапинг воровством это не является нигде.
https://medium.com/@tjwaterman99/web-scraping-is-now-legal-6bf0e5730a78

Но признаю права модератора вводить свои морально-этические нормы.
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Proxies for web-scraping
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]