|
Считывание сайтов
|
|||
---|---|---|---|
#18+
Добрый день! Пробую написать программу, которая читала бы сайты по http и получилась такая функция: Код: c# 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
Но возникла проблема - вылетает ошибка: Не удается прочитать данные из транспортного соединения: Удаленный хост принудительно разорвал существующее подключение. Если попробовать использовать прокси, то такая ошибка не возникает... Причём, проверял на прокси UserGate - всё работает нормально. Установил на компе локальный, бесплатный прокси - не работает, ошибка таже. В чём может быть проблема и как её можно решить? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2018, 09:57 |
|
Считывание сайтов
|
|||
---|---|---|---|
#18+
У меня данный код страницу получает. Проблема в сети или может какая-то защита у никса срабатывает (много запросов с IP и т.п.). Через браузер то сайт открывается? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2018, 10:23 |
|
Считывание сайтов
|
|||
---|---|---|---|
#18+
Pu4koff, Сайт nix.ru в качестве примера. Подставлял другие, например "www.citilink.ru" и т.д. Через браузеры (любой) открываются без проблем. Если есть защита, то она в любом случае не рвёт соединение, а производит другое ограничение, например captcha. А через прокси почему работает тогда? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2018, 10:31 |
|
Считывание сайтов
|
|||
---|---|---|---|
#18+
Иногда сервера критично к заголовкам относятся. Конкретно ситилинк у меня перестал разрывать соединение когда я указал WebRequest.UserAgent, скопировав из своего браузера. Код: c# 1. 2. 3. 4.
... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2018, 10:53 |
|
Считывание сайтов
|
|||
---|---|---|---|
#18+
Pu4koff, С UserAgent тоже игрался - без результата. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2018, 11:20 |
|
Считывание сайтов
|
|||
---|---|---|---|
#18+
saszayPu4koff, С UserAgent тоже игрался - без результата. Вооружаться сниффером и разбираться с каждым проблемным сайтом. ситилинку у меня хватило юзерагента, другой сайт может захотеть refferer, host, accept,... открываем сайт в браузере, работает - смотрим какой запрос с какими заголовками отправляется, повторяем заголовки в своём коде. можно полностью дублировать, можно методом научного тыка выявить к чему сервер критично относится, что ему не интересно. Ну, или Selenium какой-нибудь брать. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2018, 11:32 |
|
Считывание сайтов
|
|||
---|---|---|---|
#18+
Pu4koff, Сниффером тяжело - всё по https идёт, нечего не видно... ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2018, 11:40 |
|
Считывание сайтов
|
|||
---|---|---|---|
#18+
saszayPu4koff, Сниффером тяжело - всё по https идёт, нечего не видно... В браузерах есть встроенные механизмы, которые показывают что посылается по сети (в опере Ctrl+Shift+C, вкладка Network). Fiddler вроде бы умеет подменять сертификаты для https на свои. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.01.2018, 11:48 |
|
|
start [/forum/topic.php?fid=20&tid=1399523]: |
0ms |
get settings: |
9ms |
get forum list: |
10ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
52ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
39ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 143ms |
0 / 0 |