|
|
|
Connection Closed Gracefully на http.get(url_)
|
|||
|---|---|---|---|
|
#18+
Доброго времени ув. знатоки и иже с ними! Писал парсер с сайта объявлений cian.ru. Сделал даже полный аналог фильтра для поиска с самого сайта (покупка\продажа\комнаты и тд). Поначалу прекрасно парсил даже и в 10 и в 100 потоков. Прикрутил каждую страницу к одному thread. Но счастье, как грится, было недолгим - "Connection Closed Gracefully". Теперь эта, с позволения сказать, - ошибка вылетает сразу, не дает спарсить даже 1 страницу, т.е результат начисто по-нулям. Парсил через TIdHTTP.GET(url)/ Пробовал менять и "user agent" в самом компоненте, включал и глоб.прокси через VPN в пр-ме Phsiphon, безрезультатно. Понятно, что эта чисто внешняя "загрушка" со стороны самого сервера cian.ru.. Полный нуб в этом вопросе, подскажите пож. куда копать, уж очень долго писал етот парсер )))) Процедура запуска для потока: Код: pascal 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.07.2020, 21:52 |
|
||
|
Connection Closed Gracefully на http.get(url_)
|
|||
|---|---|---|---|
|
#18+
А этот циан поддерживает keep-alive? Если да, то советую использовать этот режим, это сэкономит уйму времени на установку защищённого соединения. Но в этом случае нужно будет использовать один и тот же IdHttp повторно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.07.2020, 22:38 |
|
||
|
Connection Closed Gracefully на http.get(url_)
|
|||
|---|---|---|---|
|
#18+
ksfhsuej1, Проверьте: с Вашего IP просто через браузер получается добраться до желаемого? Если да, нужно смотреть на лог обмена (wireshark-ом, например) Если нет - попробуйте без всякх прокси, просто с другого провайдера/от друга/сотовый модем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.07.2020, 22:42 |
|
||
|
Connection Closed Gracefully на http.get(url_)
|
|||
|---|---|---|---|
|
#18+
DmSer, Сорри, только добрался до компа. Подскажите как можно узнать поддерживает данный сайт этот режим keep-alive, либо нет. Так понял, что он выручит именно в ситуации когда тот самый "отбой" сервера явился причиной неавторизованного доступа и после превышения некого лимита запросов со стороны оного? У сайта конечно же есть фишка с регистрацией и лич. кабинет с мин.настройками. Но если правильно понял, для поддержки keep-alive нужно предварительно назначить поля "username" и "password" у idHTTP и как-раз указать те самые, что при регистрации на сайте? Просто гадаю, признаться честно.. Не работал плотно еще с этим компонентов. Приведите пож. пример как может выглядеть такой алгоритм инициализации, конечно если он несколько сложнее чем: Код: pascal 1. 2. 3. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.07.2020, 17:57 |
|
||
|
Connection Closed Gracefully на http.get(url_)
|
|||
|---|---|---|---|
|
#18+
x1ca4064, Там стала появляться капча(ранее её не наблюдалось). После этого зарегался на сайте, капча изчезла, открывает хорошо любой скомбинированный url в любом браузере. Но в самой программе всё по-старому. Обидно, что первые 2 дня все работало стабильно. Да, пробовал и менять модем(подключал как-раз сотку к компу), беда та же. Попробую wireshark-ом, и пришлю логи ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.07.2020, 18:01 |
|
||
|
|

start [/forum/topic.php?fid=58&fpage=40&tid=2038157]: |
0ms |
get settings: |
5ms |
get forum list: |
9ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
47ms |
get topic data: |
6ms |
get forum data: |
2ms |
get page messages: |
24ms |
get tp. blocked users: |
1ms |
| others: | 203ms |
| total: | 301ms |

| 0 / 0 |
