powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Считывание сайтов
9 сообщений из 9, страница 1 из 1
Считывание сайтов
    #39588886
saszay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Пробую написать программу, которая читала бы сайты по http и получилась такая функция:

Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
string url = @"https://www.nix.ru/";
HttpWebRequest WebRequest = (HttpWebRequest)System.Net.WebRequest.Create(url);
WebRequest.Method = "GET";
 //WebRequest.Proxy = new WebProxy(ProxyURI, true, null, null);
using (HttpWebResponse httpWebResponse = (HttpWebResponse)WebRequest.GetResponse())
      {
          using (Stream stream = httpWebResponse.GetResponseStream())
          {
              if (stream != null)
                 {
                   using (StreamReader reader = new StreamReader(stream, Encoding.GetEncoding(httpWebResponse.CharacterSet)))
                    {   return reader.ReadToEnd();   }
                  }
               return "False";
          }
      }


Но возникла проблема - вылетает ошибка: Не удается прочитать данные из транспортного соединения: Удаленный хост принудительно разорвал существующее подключение.
Если попробовать использовать прокси, то такая ошибка не возникает... Причём, проверял на прокси UserGate - всё работает нормально. Установил на компе локальный, бесплатный прокси - не работает, ошибка таже.

В чём может быть проблема и как её можно решить?
...
Рейтинг: 0 / 0
Считывание сайтов
    #39588900
Pu4koff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня данный код страницу получает. Проблема в сети или может какая-то защита у никса срабатывает (много запросов с IP и т.п.). Через браузер то сайт открывается?
...
Рейтинг: 0 / 0
Считывание сайтов
    #39588906
saszay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Pu4koff,

Сайт nix.ru в качестве примера. Подставлял другие, например "www.citilink.ru" и т.д. Через браузеры (любой) открываются без проблем.
Если есть защита, то она в любом случае не рвёт соединение, а производит другое ограничение, например captcha. А через прокси почему работает тогда?
...
Рейтинг: 0 / 0
Считывание сайтов
    #39588921
Pu4koff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иногда сервера критично к заголовкам относятся.
Конкретно ситилинк у меня перестал разрывать соединение когда я указал WebRequest.UserAgent, скопировав из своего браузера.
Код: c#
1.
2.
3.
4.
...
WebRequest.UserAgent = @"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36 OPR/49.0.2725.64";
WebRequest.Method = "GET";
...
...
Рейтинг: 0 / 0
Считывание сайтов
    #39588950
saszay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Pu4koff,

С UserAgent тоже игрался - без результата.
...
Рейтинг: 0 / 0
Считывание сайтов
    #39588970
Pu4koff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
saszayPu4koff,

С UserAgent тоже игрался - без результата.
Вооружаться сниффером и разбираться с каждым проблемным сайтом.
ситилинку у меня хватило юзерагента, другой сайт может захотеть refferer, host, accept,...
открываем сайт в браузере, работает - смотрим какой запрос с какими заголовками отправляется, повторяем заголовки в своём коде.
можно полностью дублировать, можно методом научного тыка выявить к чему сервер критично относится, что ему не интересно.
Ну, или Selenium какой-нибудь брать.
...
Рейтинг: 0 / 0
Считывание сайтов
    #39588979
saszay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Pu4koff,

Сниффером тяжело - всё по https идёт, нечего не видно...
...
Рейтинг: 0 / 0
Считывание сайтов
    #39588992
Pu4koff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
saszayPu4koff,

Сниффером тяжело - всё по https идёт, нечего не видно...
В браузерах есть встроенные механизмы, которые показывают что посылается по сети (в опере Ctrl+Shift+C, вкладка Network).
Fiddler вроде бы умеет подменять сертификаты для https на свои.
...
Рейтинг: 0 / 0
Считывание сайтов
    #39590376
fkthat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
saszayPu4koff,

Сниффером тяжело - всё по https идёт, нечего не видно...

Fiddler дешифрует SSL.
...
Рейтинг: 0 / 0
9 сообщений из 9, страница 1 из 1
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Считывание сайтов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]