ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Парсер на C#
25 сообщений из 30, страница 1 из 2
  1  все
Парсер на C#
    #39029542
Vadimkaaa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadimkaaa
Гость
Стоит задача спарсить ссылки на все профили из заданной группы на linkedin
Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
private void button1_Click(object sender, EventArgs e)
        {
 
            WebClient w = new WebClient();
            string page = w.DownloadString("https://www.linkedin.com/grp/members?gid=4007199&page=1");
            string link = "<strong><a href=\"(*?)\"><img";
            foreach (Match match in Regex.Matches(page, link))
                listBox1.Items.Add(match.Groups[1].Value);
        }


Но беда в том что нужна авторизация. Я авторизируюсь через компонент WebBrowser а парсю через WebClient
И получается что WebClient заходя на линкед не авторизирован и кидает на стр. авторизации.
Помогите решить проблему.
...
Рейтинг: 0 / 0
14.08.2015, 15:14
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029552
Фотография Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Antonariy
Участник
VadimkaaaСтоит задача спарсить ссылки на все профили из заданной группы на linkedin
Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
private void button1_Click(object sender, EventArgs e)
        {
 
            WebClient w = new WebClient();
            string page = w.DownloadString("https://www.linkedin.com/grp/members?gid=4007199&page=1");
            string link = "<strong><a href=\"(*?)\"><img";
            foreach (Match match in Regex.Matches(page, link))
                listBox1.Items.Add(match.Groups[1].Value);
        }


Но беда в том что нужна авторизация. Я авторизируюсь через компонент WebBrowser а парсю через WebClient
И получается что WebClient заходя на линкед не авторизирован и кидает на стр. авторизации.
Помогите решить проблему.это все равно что авторизироваться в хроме, а заходить через оперу.

сюда копай: 11365485
...
Рейтинг: 0 / 0
14.08.2015, 15:25
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029554
Vadimkaaa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadimkaaa
Гость
Antonariy, я понимаю)
можно как то куки передать с WebBrowser в WebClient ?
...
Рейтинг: 0 / 0
14.08.2015, 15:27
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029560
Фотография Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Antonariy
Участник
VadimkaaaAntonariy, я понимаю)
можно как то куки передать с WebBrowser в WebClient ?не пробовал выдирать из WB куки, но думаю, что геморой тот еще.

что мешает посмотреть отправляемый на авторизацию запрос и отправить такой же через WebClient? куки в него и вернутся.
...
Рейтинг: 0 / 0
14.08.2015, 15:34
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029564
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
Antonariyчто мешает посмотреть отправляемый на авторизацию запрос и отправить такой же через WebClient? куки в него и вернутся.
Не ясно только под какой браузер эти куки создадутся.
...
Рейтинг: 0 / 0
14.08.2015, 15:36
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029569
Сон Веры Павловны
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сон Веры Павловны
Участник
Vadimkaaa
Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
private void button1_Click(object sender, EventArgs e)
        {
 
            WebClient w = new WebClient();
            string page = w.DownloadString("https://www.linkedin.com/grp/members?gid=4007199&page=1");
            string link = "<strong><a href=\"(*?)\"><img";
            foreach (Match match in Regex.Matches(page, link))
                listBox1.Items.Add(match.Groups[1].Value);
        }


И еще раз про парсинг html регэксами .
...
Рейтинг: 0 / 0
14.08.2015, 15:40
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029573
Vadimkaaa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadimkaaa
Гость
Antonariy, кстати, возможно как-то через WebClient пройти авторизацию?
если да, то подскажите как?
спасибо!
...
Рейтинг: 0 / 0
14.08.2015, 15:48
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029615
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
skyANA
Участник
Взаимодействие с другими сайтами через HTTP (HttpWebRequest и HttpWebResponse)
...
Рейтинг: 0 / 0
14.08.2015, 16:25
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029627
Фотография Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Antonariy
Участник
AxeleronAntonariyчто мешает посмотреть отправляемый на авторизацию запрос и отправить такой же через WebClient? куки в него и вернутся.
Не ясно только под какой браузер эти куки создадутся.Они не "под браузер", они вернутся в веб-клиент в http-заголовках, ты их оттуда заберешь и будешь цеплять к заголовкам при последующих запросах.
...
Рейтинг: 0 / 0
14.08.2015, 16:36
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029628
Фотография Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Antonariy
Участник
Ну, не ты, а ТС :)
...
Рейтинг: 0 / 0
14.08.2015, 16:36
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029635
Фотография ЕвгенийВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЕвгенийВ
Участник
Vadimkaaa,
https://msdn.microsoft.com/ru-ru/library/system.net.webclient.credentials(v=vs.110).aspx
...
Рейтинг: 0 / 0
14.08.2015, 16:40
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029636
Vadimkaaa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadimkaaa
Гость
Antonariy,

а как все это сделать?
...
Рейтинг: 0 / 0
14.08.2015, 16:40
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029641
Фотография Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Antonariy
Участник
VadimkaaaAntonariy, кстати, возможно как-то через WebClient пройти авторизацию?
если да, то подскажите как?
спасибо!открыть хром, зайти на сайт, нажать f12, авторизироваться. в закладке network найти запрос, в котором отправлялись авторизационные данные, изучить его, создать такой же через веб-клиент.
...
Рейтинг: 0 / 0
14.08.2015, 16:44
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029642
Фотография ЕвгенийВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЕвгенийВ
Участник
Сон Веры Павловны И еще раз про парсинг html регэксами .
Бред какой то.
...
Рейтинг: 0 / 0
14.08.2015, 16:44
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029644
petalvik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
petalvik
Участник
Vadimkaaa,

а получить нужные данные через linkedin api никак?
...
Рейтинг: 0 / 0
14.08.2015, 16:47
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029645
Фотография Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Antonariy
Участник
ЕвгенийВСон Веры Павловны И еще раз про парсинг html регэксами .
Бред какой то.+1

что мешает парсить не за один проход, а по кускам?
...
Рейтинг: 0 / 0
14.08.2015, 16:48
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029647
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
ЕвгенийВVadimkaaa,
https://msdn.microsoft.com/ru-ru/library/system.net.webclient.credentials(v=vs.110).aspx
Это не то, это позволяет доменные крендели ставить, а у linkedin своя аутентификация.
...
Рейтинг: 0 / 0
14.08.2015, 16:52
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029651
Фотография Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Antonariy
Участник
AntonariyVadimkaaaAntonariy, кстати, возможно как-то через WebClient пройти авторизацию?
если да, то подскажите как?
спасибо!открыть хром, зайти на сайт, нажать f12, авторизироваться. в закладке network найти запрос, в котором отправлялись авторизационные данные, изучить его, создать такой же через веб-клиент.в самом примитивном случае нужно просто отправить post'ом текст типа login=xxx&pass=yyy, вернется заголовок типа

Set-Cookie:STATEID=900d8c6f-50c0-4826-8025-ed0d9a074661; path=/

это ответ на авторизацию в моем текущем проекте, смысловая часть тут STATEID=900d8c6f-50c0-4826-8025-ed0d9a074661
...
Рейтинг: 0 / 0
14.08.2015, 16:53
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029653
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
AntonariyЕвгенийВпропущено...

Бред какой то.+1

что мешает парсить не за один проход, а по кускам?
Ну вот, еще не залогинились, а уже парсить пытаемся :)
...
Рейтинг: 0 / 0
14.08.2015, 16:55
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029655
Vadimkaaa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadimkaaa
Гость
petalvik, читал. не могу никак связать WebClient...
...
Рейтинг: 0 / 0
14.08.2015, 16:57
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029656
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
Вообще поддерживаю вариант skyANA 18018910
Не делал под WinForms, но именно так когда-то писал Single Sign On аутентификацию. Я бы первым делом именно так и в данном случае пробовал бы. Куки вытаскиваются после первого запроса на аутентификацию, а потом посалаются при каждом запросе к сайту.
...
Рейтинг: 0 / 0
14.08.2015, 16:58
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029657
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
Vadimkaaapetalvik, читал. не могу никак связать WebClient...
Думается, ни WebClient, ни WebBrowser тут вообще не нужны.
...
Рейтинг: 0 / 0
14.08.2015, 16:59
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029658
Vadimkaaa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadimkaaa
Гость
Axeleron, я просто не знаю как потом данные спарсить
...
Рейтинг: 0 / 0
14.08.2015, 17:00
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029660
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
VadimkaaaAxeleron, я просто не знаю как потом данные спарсить
Получите страницу со всеми тэгами в HttpWebResponse и будете парсить. Других вариантов нет, раз хочется захватывать данные нелегально
...
Рейтинг: 0 / 0
14.08.2015, 17:02
| Ответить | Цитировать | Написать  
Парсер на C#
    #39029661
Фотография Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Antonariy
Участник
попробовал войти в линкедин, там передаваемый текст сложнее.

1й параметр это логин, 2й - пароль, 3й и последний наверное не обязательны (последний точно), а чтобы получить 4 и 5, нужно предварительно веб-клиентом сделать get https://www.linkedin.com/ и выдрать из формы:

Код: html
1.
2.
<input name="loginCsrfParam" id="loginCsrfParam-login" type="hidden" value="891ad83a-b9f4-498c-8874-a43e05d0439b"/>
<input name="sourceAlias" id="sourceAlias-login" type="hidden" value="0_7r5yezRXCiA_H0CRD8sf6DhOjTKUNps5xGTqeX8EEoi"/>

хотя может и они не обязательны.
...
Рейтинг: 0 / 0
14.08.2015, 17:02
| Ответить | Цитировать | Написать  
25 сообщений из 30, страница 1 из 2
  1  все
Форумы / WinForms, .Net Framework [игнор отключен] [закрыт для гостей] / Парсер на C#
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=20&msg=39029641&tid=1401280]:
 0ms
get settings:
 9ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 36ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 58ms
get tp. blocked users:
 1ms
others: 18ms
total:  153ms
созд. / загр.: 153ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]