Цель: "распарсить" сайт. А именно, нужно написать прогу, которая по запуску будет скачивать все файлы из определенного раздела по определенной дате.
Основная сложность - что бы получить доступ к этим файлам, нужно пройти авторизацию (программно, судя по всему).
Вопросы: как реализовать переходы по вкладкам в списке файлов (когда на странице отображается 10 из 7256892 файлов)? как настроить фильтрацию на сайте (это функционал сайта)? как пройти эту авторизацию (там множество переадресаций)? как правильно отправлять post/get запросы?
пытался сам код писать, успехи есть, как и чувство что я что-то не догоняю:)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
string site = URL;
HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(site);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
string content = "";
using (StreamReader stream = new StreamReader(response.GetResponseStream(), Encoding.UTF8))
{ content = stream.ReadToEnd(); }
doc.LoadHtml(content);
string[] nodeSelected = { "//a[@class=\"toolbarLink\"]" };
string href = "";
String[] words = new string[3];
foreach (string selectNode in nodeSelected)
{
foreach (HtmlAgilityPack.HtmlNode node in doc.DocumentNode.SelectNodes(selectNode))
{
href = node.OuterHtml;
words = href.Split(new char[] { '\'' }, StringSplitOptions.RemoveEmptyEntries);
}
}
site = URL + href;
request = (HttpWebRequest)HttpWebRequest.Create(site);
string sCookies = request.Headers["Set-Cookie"];
request.Method = "POST";
string sName = "userid=User&password=Pass";
byte[] byteArray = System.Text.Encoding.UTF8.GetBytes(sName);
request.ContentType = "application/x-www-form-urlencoded";
request.ContentLength = byteArray.Length;
request.AllowAutoRedirect = false;
using (Stream dataStream = request.GetRequestStream())
{ dataStream.Write(byteArray, 0, byteArray.Length); }
// получаем куки при авторизации
sCookies = "";
if (!String.IsNullOrEmpty(request.Headers["Set-Cookie"]))
sCookies = request.Headers["Set-Cookie"];
if (!String.IsNullOrEmpty(sCookies))
request.Headers.Add(HttpRequestHeader.Cookie, sCookies);
response = (HttpWebResponse)request.GetResponse();
doc = new HtmlAgilityPack.HtmlDocument();
content = "";
using (StreamReader stream = new StreamReader(response.GetResponseStream(), Encoding.UTF8))
{ content = stream.ReadToEnd(); }
doc.LoadHtml(content);
response.Close();
return href;
