|
Проблема с WebClient
|
|||
---|---|---|---|
#18+
Приветствую. Необходимо сделать парсер, который будет отслеживать обновления данных по заданному УРЛ и добавлять их в БД. Проблема в том, что при скачивании страницы через WebClient выдается одна версия, а при открытии через браузер (даже с отключенным JavaScript и в приватном режиме) - другая. Через Web-Client загружается версия размером 35КБ, в то время как view-source: в хроме или любом другом браузере - около 2х МБ. Думал, что может быть дело в заголовках, прописал их, но ничего не получилось - все равно возвращается "короткая" строка. Код: c# 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28.
В чем еще может быть подвох? Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2017, 16:31 |
|
Проблема с WebClient
|
|||
---|---|---|---|
#18+
Alexey30, Ну да. А что вас смущает? Что размеры разные? Ну, представьте себе картинку большую на странице. Или аякс какой-нибудь. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2017, 17:39 |
|
Проблема с WebClient
|
|||
---|---|---|---|
#18+
ShSerge, нет, я не имею в виду аякс и картинки, я имею в виду исключительно выдаваемый HTML код. Попробуйте открыть ссылку в браузере - увидите длиннющую страницу и HTML кода на 2 МБ. При этом он загружается сразу, а не догружается потом аяксом. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2017, 17:59 |
|
Проблема с WebClient
|
|||
---|---|---|---|
#18+
Alexey30, навскидку попробовал, нормально все загружается, "около 2х МБ" Код: c# 1. 2. 3. 4. 5. 6. 7.
... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2017, 18:06 |
|
Проблема с WebClient
|
|||
---|---|---|---|
#18+
LR, Может, это реклама? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2017, 18:15 |
|
Проблема с WebClient
|
|||
---|---|---|---|
#18+
ShSergeLR, Может, это реклама? Нет. Не реклама. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2017, 18:17 |
|
Проблема с WebClient
|
|||
---|---|---|---|
#18+
ShSerge, нет, подгружается через JS, в данном случае это никак не влияет. Разобрался, это моя ошибка. Я не сохранял напрямую body и не проверял его длину, а открывал его правой кнопкой в Text Visualizer. Так как там отсутствовали переносы строки, то визуализатор решил укоротит самую длинную строку (которая и являлась основной частью файла). Вот тут конкретно видно: https://www.diffchecker.com/S8iIUslc ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2017, 18:20 |
|
|
start [/forum/topic.php?fid=20&msg=39530444&tid=1399684]: |
0ms |
get settings: |
10ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
84ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
46ms |
get tp. blocked users: |
1ms |
others: | 315ms |
total: | 494ms |
0 / 0 |