ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / как вытащить данные с web-страницы
42 сообщений из 42, показаны все 2 страниц
  все  
как вытащить данные с web-страницы
    #34117745
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
Тема такая. Есть файл excel, в который вставлена куча ссылок на web-страницы одного сайта...соответственно при клике на ссылку в браузере открывается страница.. с этой страницы надо достать информацию..вручную делать очень долго, может можно как-то программно решить такую задачу?
соответственно раз ссылки в excel желательно это на VB сделать..
...
Рейтинг: 0 / 0
09.11.2006, 23:33
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34117985
Фотография SeaGate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SeaGate
Участник
hirondelle11Тема такая. Есть файл excel, в который вставлена куча ссылок на web-страницы одного сайта...соответственно при клике на ссылку в браузере открывается страница.. с этой страницы надо достать информацию..вручную делать очень долго, может можно как-то программно решить такую задачу?
соответственно раз ссылки в excel желательно это на VB сделать..
Как-то надо было закачать содержимое с 20 страниц (ссылки были разделены переводом строки), написал простенький shell-скрипт - в цикле for вызов wget.
Если бы у меня ссылки были в excel, то я бы выгрузил это в csv, потом аналогичный shell-скрипт по csv.
...
Рейтинг: 0 / 0
10.11.2006, 07:57
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34118323
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
SeaGate hirondelle11Тема такая. Есть файл excel, в который вставлена куча ссылок на web-страницы одного сайта...соответственно при клике на ссылку в браузере открывается страница.. с этой страницы надо достать информацию..вручную делать очень долго, может можно как-то программно решить такую задачу?
соответственно раз ссылки в excel желательно это на VB сделать..
Как-то надо было закачать содержимое с 20 страниц (ссылки были разделены переводом строки), написал простенький shell-скрипт - в цикле for вызов wget.
Если бы у меня ссылки были в excel, то я бы выгрузил это в csv, потом аналогичный shell-скрипт по csv.

преобразовал файл в .csv-вообще все ссылки удалились..они в неявном виде в excel-в смысле написан тект на русском, а в поле гиперссылка... так что совсем не понял, что же имелось виду..попробую сформулировать иначе..есть колонка, в которой содржатся гиперссылки.я кликаю на ячейку мышкой-открывается страница. мне нужно с этой страницы взять данные в полях E-mail и тел.
если кто-нибудь напишет конкретный код-буду безумно благодарен..
просто ну совсем не понимаю с чего в этом случае надо начинать...
...
Рейтинг: 0 / 0
10.11.2006, 09:52
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120574
lonejan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
lonejan
Участник
Есть другая тема=) И намного проще, в IE цопаешь правой кнопкой по странице и там есть пункт меню 'Эксопрт в Microsoft Excell'
Таблицы корректно переносятся и т.п.
...
Рейтинг: 0 / 0
10.11.2006, 19:03
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120701
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
lonejanЕсть другая тема=) И намного проще, в IE цопаешь правой кнопкой по странице и там есть пункт меню 'Эксопрт в Microsoft Excell'
Таблицы корректно переносятся и т.п.

проблема-то совсем не в этом...просто скопировать в excel одну страницу не проблема..страниц много, на них есть ссылки, надо автоматически открывать ссылки и брать со страниц определенную информацию..
...
Рейтинг: 0 / 0
10.11.2006, 20:00
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120791
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
через полчаса всё будет; подожди
...
Рейтинг: 0 / 0
10.11.2006, 21:36
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120807
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
линки в первой колонке листа, с 1-го по 20-й ряды
+
подключаем библиотеку "Microsoft XML" (Tools --> References...)

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
Sub oh()

Dim i, s, o As New XMLHTTP

For i =  1  To  20 
o.Open "GET", Cells(i,  1 ).Hyperlinks( 1 ).Address, False
o.send
s = o.responseText

MsgBox s

<здесь вытягиваем из строки s нужную инфу и записываем ее куда надо>

Next i

Set o = Nothing

End Sub
...
Рейтинг: 0 / 0
10.11.2006, 21:59
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120836
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
Еще лучше (и не будет проблем с кириллицей):

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
Sub oh()

Dim i, s, o As New WinHttp.WinHttpRequest

For i =  1  To  20 
o.Open "GET", Cells(i,  1 ).Hyperlinks( 1 ).Address, False
o.send
s = o.responseText

MsgBox s

<здесь вытягиваем из строки s нужную инфу и записываем ее куда надо>

Next i

Set o = Nothing

End Sub
...
Рейтинг: 0 / 0
10.11.2006, 22:51
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120838
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
подключить ссылку на Microsoft WinHTTP Services
...
Рейтинг: 0 / 0
10.11.2006, 22:53
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120887
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
фЕще лучше (и не будет проблем с кириллицей):

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
Sub oh()

Dim i, s, o As New WinHttp.WinHttpRequest

For i =  1  To  20 
o.Open "GET", Cells(i,  1 ).Hyperlinks( 1 ).Address, False
o.send
s = o.responseText

MsgBox s

<здесь вытягиваем из строки s нужную инфу и записываем ее куда надо>

Next i

Set o = Nothing

End Sub



насколько я понимаю первая часть скрипта открывает ссылки, так?
а вот в MsgBox s надо написать еще алгоритм, чтобы находить на самой web странице нужную информацию, так? выдается какое-то окошко с тегами и там нужно искать образец
напрмер вот смотрю html код одной страницы...
куча всяких тегов.
поле с e-mail там описано так
<tr>
<td>
<table cellspacing="10" cellpadding="0" border="0">
<tr>
<td>E-mail</td>
<td><span class="blue11b">
mail@mail.ru
</span></td>
</tr>

мне нужно вот это самое mail@mail.ru вытянуть..подскажите как..плз..
...
Рейтинг: 0 / 0
11.11.2006, 00:25
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120898
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
MsgBox я приплел только для демонстрации содержимого строки s.

Щас подумаю насчет распарсивания тегов.
...
Рейтинг: 0 / 0
11.11.2006, 00:43
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120904
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
ясно...
а вот в переменную s записывается вся веб страница или только опредленное количество символов? не могу из справки понять...
...
Рейтинг: 0 / 0
11.11.2006, 00:50
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120919
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
абсолютно вся! это просто MsgBox не всё показывает.

2.
Можно отталкиваться и от "собаки" (@), вытягивая из s мыло:

Подключаем ссылку на Microsoft VBScript Regular Expressions

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
Sub reg_exp_tester()
MsgBox SubMatchTest("ddddd" & vbCrLf & "mail@mail.ru>;kkkkkkkkk")
End Sub

Function SubMatchTest(inpStr)
Dim oRe, oMatch, oMatches
Set oRe = New RegExp
oRe.Pattern = "(\w+)@(\w+)\.(\w+)"
Set oMatches = oRe.Execute(inpStr)
Set oMatch = oMatches( 0 )
SubMatchTest = oMatch
End Function
...
Рейтинг: 0 / 0
11.11.2006, 01:26
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34120920
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
ты меня извини, но я перепил кофе и у меня щас голова болит типа сильно
...
Рейтинг: 0 / 0
11.11.2006, 01:29
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121097
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
я лучше спасибо скажу:)) сейчас буду разбираться и до ума доводить это все дело..а еще такой вопрос: если на доступ к странице надо ввобдить пароль-как его встроить в программу?
...
Рейтинг: 0 / 0
11.11.2006, 12:15
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121116
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
вроде и без пароля работает...:))
правильно вытягивает данные вроде...
...
Рейтинг: 0 / 0
11.11.2006, 12:44
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121140
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
нет, вот как раз без ввода пароля и не работает...вместо реального адреса какая-то фигня вытягивается...как в проге прописать логин и пароль, чтобы она корректно страницу видела?
а еще помимо e-mail надо вытягивать строку адрес..причем ее может и не быть на странице...
если встречается то в html это выглядит так
<tr>
<td>Дом. адрес</td>
<td><span class="blue11b">какой-то адрес</span></td>
</tr>
подскажи плз:)
...
Рейтинг: 0 / 0
11.11.2006, 13:18
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121240
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
Типа так (GET меняем на POST):

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
Sub oh()

Dim i, s, o As New WinHttp.WinHttpRequest

For i =  1  To  20 

o.Open "POST", Cells(i,  1 ).Hyperlinks( 1 ).Address, False

o.send "login=IVANOV&password=123123"

s = o.responseText

... ... ...

Next i

Set o = Nothing

End Sub
...
Рейтинг: 0 / 0
11.11.2006, 15:37
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121273
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
Sub address()
Dim s, z, t1, t2, addr

s = "<td>Дом. адрес</td>" & vbCrLf & "<td><span class=""blue11b"">какой-то адрес</span></td>"

z = InStr( 1 , s, "Дом. адрес")

If z >  0  Then
   t1 = InStr(InStr(z, s, "<span"), s, ">") +  1 
   t2 = InStr(t1, s, "</")
   addr = Mid(s, t1, t2 - t1)
   MsgBox addr
End If


End Sub
...
Рейтинг: 0 / 0
11.11.2006, 16:11
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121339
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
ф
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
Sub address()
Dim s, z, t1, t2, addr

s = "<td>Дом. адрес</td>" & vbCrLf & "<td><span class=""blue11b"">какой-то адрес</span></td>"

z = InStr( 1 , s, "Дом. адрес")

If z >  0  Then
   t1 = InStr(InStr(z, s, "<span"), s, ">") +  1 
   t2 = InStr(t1, s, "</")
   addr = Mid(s, t1, t2 - t1)
   MsgBox addr
End If


End Sub


а как сделать так, чтобы в s писать строку такого содержания с вебстраницы?
то есть <td>Дом. адрес</td>" & vbCrLf & "<td><span class=""blue11b"">какой-то адрес</span></td> искалось, а вместо слов какой-то адрес стояло ну максимум 50 символов?
...
Рейтинг: 0 / 0
11.11.2006, 17:45
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121343
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
фТипа так (GET меняем на POST):

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
Sub oh()

Dim i, s, o As New WinHttp.WinHttpRequest

For i =  1  To  20 

o.Open "POST", Cells(i,  1 ).Hyperlinks( 1 ).Address, False

o.send "login=IVANOV&password=123123"

s = o.responseText

... ... ...

Next i

Set o = Nothing

End Sub


не работает...там пароль не спрашивается при доступе на страницу, там просто информация в другом виде отображается.. может пароль надо писать в определенное место?
html код этого места страницы такой
<tr><td height="5px" style="color: #a5acb2; font-size:10px;"><span style="padding-left: 7px;">логин (e-mail)</span></td></tr><tr><td><input type="text" name="username" size="10" value="" style="font-size: 11px; margin-left: 7px; width: 120px;" class="wideField"></td></tr><tr><td height="5px" style="color: #a5acb2; font-size: 10px;"><span style="padding-left: 7px;">пароль</span></td></tr><tr><td><input type="password" name="password" size="10" value="" style="font-size: 11px; margin-left: 7px; width: 120px;" class="wideField"></td>
вот в value="" надо вставить сначала логин,а потом пароль...это возможно?
...
Рейтинг: 0 / 0
11.11.2006, 17:50
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121355
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
hirondelle11а как сделать так, чтобы в s писать строку такого содержания с вебстраницы?
то есть <td>Дом. адрес</td>" & vbCrLf & "<td><span class=""blue11b"">какой-то адрес</span></td> искалось, а вместо слов какой-то адрес стояло ну максимум 50 символов?
Это же просто демо!
Тебе не нужно заморачиваться на эту тему!
s будет равно o.responseText и ничего "поправлять" в s не нужно!
...
Рейтинг: 0 / 0
11.11.2006, 18:04
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121356
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
hirondelle11не работает...там пароль не спрашивается при доступе на страницу, там просто информация в другом виде отображается.. может пароль надо писать в определенное место?
html код этого места страницы такой
<tr><td height="5px" style="color: #a5acb2; font-size:10px;"><span style="padding-left: 7px;">логин (e-mail)</span></td></tr><tr><td><input type="text" name="username" size="10" value="" style="font-size: 11px; margin-left: 7px; width: 120px;" class="wideField"></td></tr><tr><td height="5px" style="color: #a5acb2; font-size: 10px;"><span style="padding-left: 7px;">пароль</span></td></tr><tr><td><input type="password" name="password" size="10" value="" style="font-size: 11px; margin-left: 7px; width: 120px;" class="wideField"></td>
вот в value="" надо вставить сначала логин,а потом пароль...это возможно?
Значит, в твоем случае д.б.: o.send " username =IVANOV&password=******"
...
Рейтинг: 0 / 0
11.11.2006, 18:07
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121358
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
И еще тонкость.
Найди чуть выше по коду тег <form ... action="??????"

и посмотри равен ли адрес "??????" адресу страницы, на которой вводятся логин и пароль юзера.

Если они не равны, то это очень усложнит тебе жизнь, я думаю.
...
Рейтинг: 0 / 0
11.11.2006, 18:11
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121361
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
ф hirondelle11а как сделать так, чтобы в s писать строку такого содержания с вебстраницы?
то есть <td>Дом. адрес</td>" & vbCrLf & "<td><span class=""blue11b"">какой-то адрес</span></td> искалось, а вместо слов какой-то адрес стояло ну максимум 50 символов?
Это же просто демо!
Тебе не нужно заморачиваться на эту тему!
s будет равно o.responseText и ничего "поправлять" в s не нужно!

врубился!!!!!!!!!!!!
супер!!!!!!!!!!!!!работает!!!!!!!!!!!!!!!!!!!!!
спасиба!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
...
Рейтинг: 0 / 0
11.11.2006, 18:17
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121364
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
ф hirondelle11не работает...там пароль не спрашивается при доступе на страницу, там просто информация в другом виде отображается.. может пароль надо писать в определенное место?
html код этого места страницы такой
<tr><td height="5px" style="color: #a5acb2; font-size:10px;"><span style="padding-left: 7px;">логин (e-mail)</span></td></tr><tr><td><input type="text" name="username" size="10" value="" style="font-size: 11px; margin-left: 7px; width: 120px;" class="wideField"></td></tr><tr><td height="5px" style="color: #a5acb2; font-size: 10px;"><span style="padding-left: 7px;">пароль</span></td></tr><tr><td><input type="password" name="password" size="10" value="" style="font-size: 11px; margin-left: 7px; width: 120px;" class="wideField"></td>
вот в value="" надо вставить сначала логин,а потом пароль...это возможно?
Значит, в твоем случае д.б.: o.send " username =IVANOV&password=******"


не-а...
я так уже пробовал...
...
Рейтинг: 0 / 0
11.11.2006, 18:18
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121369
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
фИ еще тонкость.
Найди чуть выше по коду тег <form ... action="??????"

и посмотри равен ли адрес "??????" адресу страницы, на которой вводятся логин и пароль юзера.

Если они не равны, то это очень усложнит тебе жизнь, я думаю.

пока не нашел такого..там пароль и логин можно воодить на любой странице..если не введен-страница отображается одним образом, ввел-и отображается как надо, т.е. на главную страницу не перекидывает..
...
Рейтинг: 0 / 0
11.11.2006, 18:26
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121370
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
<form name="logonForm" method="post" action="/logon.do">

вот такую строку нашел только с form & action
...
Рейтинг: 0 / 0
11.11.2006, 18:31
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121373
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
hirondelle11<form name="logonForm" method="post" action="/logon.do">

вот такую строку нашел только с form & action

И? Эта страница (где лежит форма) тоже называется logon.do?
...
Рейтинг: 0 / 0
11.11.2006, 18:43
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121374
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
нет, она по-другому называется...
...
Рейтинг: 0 / 0
11.11.2006, 18:49
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121376
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
Попробуй так:

o.Open "POST", Cells(i, 1).Hyperlinks(1).Address & "/logon.do" , False
...
Рейтинг: 0 / 0
11.11.2006, 18:55
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121381
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
фПопробуй так:

o.Open "POST", Cells(i, 1).Hyperlinks(1).Address & "/logon.do" , False

не-а...
а как можно проверить залогинился или нет на страницу?
...
Рейтинг: 0 / 0
11.11.2006, 19:06
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121382
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
если б можно было как с обычным браузером действовать-залогинился один раз и дальше открывай сколько хочешь страниц...эх...
...
Рейтинг: 0 / 0
11.11.2006, 19:07
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121410
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
мы бы с тобою справились, если бы я знал все детали

а сейчас я как слепой, только догадки
...
Рейтинг: 0 / 0
11.11.2006, 19:45
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121411
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
мой мэйл hirondelle11@mail.ru
жду тебя за деталями:)
...
Рейтинг: 0 / 0
11.11.2006, 19:47
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121423
ф
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ф
Гость
hirondelle11мой мэйл hirondelle11@mail.ru
жду тебя за деталями:)
отписал!
...
Рейтинг: 0 / 0
11.11.2006, 20:03
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34121429
hirondelle11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hirondelle11
Гость
ф hirondelle11мой мэйл hirondelle11@mail.ru
жду тебя за деталями:)
отписал!

ответил:)
Модератор:
трассировка вашей переписки имеет
достаточно отдаленное отношение к програмированию
...
Рейтинг: 0 / 0
11.11.2006, 20:10
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34122264
wes
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wes
Участник
Вчера мы с хиронделлем его траблу с блеском преодолели.
Попутно он сделал удивительное (для меня) открытие насчет поведения WinHttpRequest.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
Sub w()
Dim o As New WinHttp.WinHttpRequest

-- здесь я логинюсь на скуль.ру

o.Open "POST", "http://www.sql.ru/forum/login.aspx", False
o.SetRequestHeader "Content-Type", "application/x-www-form-urlencoded"
o.Send "login=wes&password=******"


-- а здесь я запрашиваю тему с ГФ и скуль меня узнаёт как своего мембера!

o.Open "GET", "http://www.sql.ru/forum/actualthread.aspx?tid=361107", False
o.Send


Debug.Print o.ResponseText
Set o = Nothing
End Sub

Кусок текста из дибага:

Äîáðî ïîæàëîâàòü â ôîðóì, <b>wes</b>   >>  <!--begin case_ismember--><a href="login.aspx?action=logout">Âûéòè</a> | <!--end case_ismember--><!--begin case_ismember--><a href="profile.aspx">Ïðîôèëü</a> | <a href="actualtopics.aspx?bid=-2">Èçáðàííîå</a> | <!--end case_ismember--><a href="actualsearch.aspx?bid=1">Ïîèñê</a> | <a href="rules.aspx">Ïðàâèëà</a> |</TD>
...
Рейтинг: 0 / 0
12.11.2006, 20:10
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34122300
wes
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wes
Участник
Кстати, WinHttpRequest не отсылает хедер "Content-Type",
а без него на скуле не залогиниться (на мейл.ру -- без проблем).
Поэтому пришлось вписать его ручками: o.SetRequestHeader "Content-Type", "application/x-www-form-urlencoded"

Это то, что отсылают на сервер браузер и WinHttpRequest:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
POST http://www.sql.ru/forum/login.aspx HTTP/ 1 . 0 
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/msword, */*
Accept-Language: ru
Content-Type: application/x-www-form-urlencoded
Pragma: no-cache
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
Host: www.sql.ru
Content-Length: 25
Proxy-Connection: Keep-Alive
login=wes&password=******


POST http://www.sql.ru/forum/login.aspx HTTP/1.1
Content-Length: 25
Accept: */*
User-Agent: Mozilla/ 4 . 0  (compatible; Win32; WinHttp.WinHttpRequest. 5 )
Host: www.sql.ru
Proxy-Connection: Keep-Alive
login=wes&password=******
...
Рейтинг: 0 / 0
12.11.2006, 20:34
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34137619
wes
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wes
Участник
Если надо залогиниться на защищенный урл (когда в браузере выскакивает
окошко для ввода имени пользователя и его пароля), то добавляем в запрос
доп. хедер "Authorization":
Код: plaintext
1.
2.
3.
4.
o.Open "GET", "http://Some_Protected_URL", False
o.SetRequestHeader "Authorization", "Basic " & Base64Encode("Логин:Пароль")
o.Send

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
Function Base64Encode(ByVal s)
Const z& =  1 
Const set64 = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"
Dim m, w, e, i, j

m = ( 3  - (Len(s) Mod  3 )) Mod  3 
s = s & Space(m)

Base64Encode = ""

For i =  1  To Len(s) Step  3 
w = (z * Asc(Mid(s, i,  1 )) *  256  *  256  + Asc(Mid(s, i +  1 ,  1 )) *  256  + Asc(Mid(s, i +  2 ,  1 )))
e = ""
For j =  1  To  4 
e = Mid(set64, (w And  63 ) +  1 ,  1 ) & e
w = w \  64 
Next j
Base64Encode = Base64Encode & e
Next i

For i =  1  To m
Base64Encode = Base64Encode & "="
Next i

Base64Encode = Base64Encode & vbCrLf
End Function


Например, для логина John с паролем 123123:
Код: plaintext
1.
2.
Base64Encode("John:123123") равно Sm9objoxMjMxMjMg=

Описание Base64 кодирования: http://en.wikipedia.org/wiki/Base64
...
Рейтинг: 0 / 0
17.11.2006, 17:49
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34158401
ZeusTheTrueGod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZeusTheTrueGod
Участник
в этом коде показано, как блокировать юзеров на скл.ру из своего браузера
наде.сь остальное сами додумаетесб!
1.vbs
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
 On error resume next
 Dim obj 'InrenetExplorer
 Set obj = CreateObject("InternetExplorer.Application")
 obj.Navigate "about:blank" 'we love sql.ru
 Do
 Loop While obj.busy
 obj.Visible =  1  'loading
 do
 WScript.sleep 1000 'sleeping a second
 if obj is nothing then exit do 'Explorer has been closed
 if obj.busy = false then 'Explorer is loading a page
 Dim td
 Set td = obj.document.getElementsByTagName("TD")
  For i =  1  To td.length
     Dim d 
    Set d = td(i -  1 )
    If d Is Nothing Then Exit For
    If d.className = "msgbody" Then
    'let's check that it is from Prizrakk - we don't like prizrak!
     Dim a
	'msgbox     d.outerHTML
	Set a = d.parentElement

     Set a = a.parentElement
     set t = a     
	'msgbox     a.outerHTML

     Set a = a.rows(1).cells(0)
     c = a.innerHTML
     If Instr(c,"-->Prizzrak<!--") > 0 Then
        d.InnerText = "!!!Prizzrak is ignored!!!"
	't.style.display = "none"
     End If
    ELSE
     If Instr(d.OuterHTML,"Prizzrak</TD>") >  0  and d.parentElement.parentElement.parentElement.className = "msgbody" Then
        'd.parentElement.style.display = "none"
     End If

    End If
	
  Next
 end if
 loop
...
Рейтинг: 0 / 0
27.11.2006, 16:28
| Ответить | Цитировать | Написать  
как вытащить данные с web-страницы
    #34158414
ZeusTheTrueGod
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ZeusTheTrueGod
Участник
просто запустить этот скрипт и перейти на /topic/316503&hl=prizzrak
результат сразу виден. так что все элементы на страничке можно менять и кликать из прогарммы
...
Рейтинг: 0 / 0
27.11.2006, 16:31
| Ответить | Цитировать | Написать  
42 сообщений из 42, показаны все 2 страниц
  все  
Форумы / Программирование [игнор отключен] [закрыт для гостей] / как вытащить данные с web-страницы
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]