Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Visual Basic [игнор отключен] [закрыт для гостей] / Прочесть содержимое WEB-страницы / 19 сообщений из 19, страница 1 из 1
06.09.2017, 17:53
    #39516688
Игорь С
Игорь С
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Здравствуйте все.
Как прочесть содержимое страницы методом GET
Для конкретной страницы нижеприведенный пример почему-то не работает.
Выдает ошибку -2146697208
Подскажите, что нужно изменить?
Код: vbnet
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
 
Public Sub F1()
Dim req As Object
'Set req = CreateObject("MSXML2.XMLHTTP")
Set req = New msxml2.XMLHTTP60
req.Open "GET", "https://www.olx.ua/obyavlenie/sdam-v-krivom-roge-1kom-na-173kv-IDuC1BV.html#dc13508123", False
req.Send
If Not req.Status = 200 Then Exit Sub

Dim L As Long
L = Len(req.responseText)
MsgBox Mid(req.responseText, 1, 1000)
Set req = Nothing
End Sub
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.09.2017, 17:58
    #39516695
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Предлагаешь угадать текст ошибки и строку, на которой она возникает?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.09.2017, 18:00
    #39516697
iMrTidy
iMrTidy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
 
Shocker.ProПредлагаешь угадать текст ошибки и строку, на которой она возникает?


Может быть открыть новую ветку под названием "Угадай строку!": Я угадаю строчку с трех попыток...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.09.2017, 20:02
    #39516758
Игорь С
Игорь С
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
iMrTidy,
Извините, виноват на 100%.
Ошибка возникает на инструкции
Код: vbnet
1.
req.send


При опции "true" в req.Open - ошибки нет но выполнение прекращается по req.Status=200.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.09.2017, 23:02
    #39516820
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
У меня вообще возвращается 404, ошибки нет.
А в браузере ссылка открывается
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.09.2017, 23:03
    #39516823
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Игорь СПри опции "true" в req.OpenПри true этот код не годится, асинхронные запросы обрабатываются иначе
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2017, 01:20
    #39516866
iMrTidy
iMrTidy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Игорь С,

А у Вас библиотека Microsoft XML подключена?

Впрочем, у меня тоже 404. Пробовал менять header, но не помогло:
Код: vbnet
1.
2.
'req.setRequestHeader "User-Agent", "Mozilla/4.0+(compatible;+MSIE+7.0;+Windows+NT+5.1)"
req.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2017, 09:01
    #39516944
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
iMrTidyВпрочем, у меня тоже 404.Сайт, похоже, пытается защититься от ботов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2017, 09:25
    #39516964
`
`
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Игорь С,

парси Экселем
Сдам в Кривом Роге, 1ком. на "173кв."Кривой Рог, Днепропетровская область, Саксаганский Добавлено: в 01:55, 6 сентября 2017, Номер объявления: 452352740 Рекламировать объявление Поднять в верх списка Объявление отБизнес Тип арендыДолгосрочная аренда квартир Количество комнат1ТипПанельный Сдам на долгий срок 1ком., на 173 кв.("Пушинка"). Квартира с свежим ремонтом, в квартире есть стиралка, бойлер, большой раскладной диван, шкафы, стулья, на кухне мягкий уголок. 2000грн. в месяц + комуналка, предоплата за 2 месяца.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2017, 12:34
    #39517261
Игорь С
Игорь С
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Уажаемый Гость`,
Можно отпарсить чем угодно текст страницы (например urldownloadtofie, а потом VBA разбираем все, что надо). Но нужно дойти до контактной информации (номер тел.) и извлечь её. А это все следует делать лишь запросами имитирующими запросы браузера.
Например, мне дали ответ на подобный вопрос на этом форуме
http://www.sql.ru/forum/1089588/izvlech-informaciu-iz-dinamicheskoy-web-stranicy
Но как раз в то время сайт (который я "парсирую") был перепродан и используемый алгоритм был заменен простейшим, с читаемым номером тел. прямо из кода страницы. Однако некоторое время назад снова закрыли, но по-другому.
Кто может посоветуйте как извлечь контактную информацию.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2017, 14:01
    #39517362
iMrTidy
iMrTidy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Игорь С,

Рискну предположить, что сайт использует скрипт при загрузке, который подгружает реальную страницу, а если скрипт не выполняется, то 404. Да, и номер телефона получить без выполнения скрипта не выйдет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.09.2017, 14:46
    #39517413
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
iMrTidyРискну предположить, что сайт использует скрипт при загрузке, который подгружает реальную страницуа чего рисковать-то? смотришь отладчиком в браузере и видишь, что первая страница грузится со статусом 200 и содержит необходимые данные. Так что надо с хедерами экспериментировать, видимо
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.09.2017, 08:03
    #39518715
Игорь С
Игорь С
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Shocker.Pro,
Если можно, подробнее об использовании хедеров. Я новичок в этой области.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.09.2017, 10:25
    #39518730
Shocker.Pro
Shocker.Pro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
https://ru.wikipedia.org/wiki/Список_заголовков_HTTP
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.09.2017, 16:48
    #39524453
Nik_Kurta
Nik_Kurta
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Dim req As Object
Set req = New XMLHTTP
req.Open "GET", " http://www.warehous.ru", False
req.Send
If Not req.Status = 200 Then Exit Sub
Dim L As Long
L = Len(req.responseText)
MsgBox Mid(req.responseText, 1, 1000)
Set req = Nothing
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.09.2017, 17:01
    #39524457
Игорь С
Игорь С
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Nik_Kurta, спасибо большое. И еще дополнительно - главный вопрос. Как с динамической страницы
Код: vbnet
1.
req.Open "GET", "https://www.olx.ua/obyavlenie/sdam-v-krivom-roge-1kom-na-173kv-IDuC1BV.html#dc13508123", False


извлечь номер телефона, появляющийся там по щелчку на элементе с надписью "показать"?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2017, 12:19
    #39524778
big-duke
big-duke
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Игорь С,

Тут надо понять - номер телефона уже есть на странице и просто скрыт стилем, или же по клику на педаль "показать" идет асинхронный запрос, который возвращает номер телефона.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2017, 13:50
    #39524862
Игорь С
Игорь С
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Номера телефона нет (он не скрыт). Нужно делать повторный запрос. Может прийти текст номера телефона. Может прийти ссылка на "картинку", в которой записан телефон.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.09.2017, 09:53
    #39525216
big-duke
big-duke
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прочесть содержимое WEB-страницы
Игорь С,

Тогда распарсить страницу, найти ссылку и выполнить req.Open с найденной ссылкой.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Visual Basic [игнор отключен] [закрыт для гостей] / Прочесть содержимое WEB-страницы / 19 сообщений из 19, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 162ms
Закрыть
start [/forum/topic.php?fid=60&mobile=1&tid=2155213]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 46ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 57ms
get tp. blocked users:
 2ms
others: 13ms
total:  162ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]