Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Crawler
|
|||
|---|---|---|---|
|
#18+
public string getsource(string url) { try { System.Net.WebClient MyWebClient=new System.Net.WebClient(); byte[] MyDatabuffer=MyWebClient.DownloadData(url); return System.Text.Encoding.ASCII.GetString(MyDatabuffer); } столкнулся с проблемой что не всегда получаю тот код который получаю при View-->Source Пробовал также использовать HttpWebRequest, HttpWebResponse... Не помогает... Что делать ??? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2005, 20:56 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
А что получаешь? часть кода или что-то другое? и в каких случаях? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 10:23 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
получаю совсем другой код. это происходит в редких случаях, в сайтах как: miniclip.com, expedia.com ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 10:53 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
Вероятно, стоит заменить http-заголовок User-Agent на тот же, который отсылает твой браузер ( в котором ты смотришь исходный код). Так как hhtp-сервер (тот же IIS) может содержать различные шаблоны страниц для различных агентов. PS: Насчет кодировки - в http-заголовках возвращается кодировка ответа сервера и вместо > System.Text.Encoding.ASCII стоит использовать ее ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 16:57 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
Roman S. Golubin PS: Насчет кодировки - в http-заголовках возвращается кодировка ответа сервера и вместо > System.Text.Encoding.ASCII стоит использовать ее а можно подробнее про кодировку... пример случайно не найдётся ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 19:41 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
Nisа можно подробнее про кодировку... пример случайно не найдётся ? Ну, примерно так (не могу гарантировать, что всегда будет работать правильно): Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. -- WBR, Roman S. Golubin PS: Заголовков может быть море... рекомендую ознакомиться с RFC на протокол HTTP на сайте www.ietf.org ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 11:21 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
спасибо!!! Но мне это не помогло :( нашел, следующую функцию, но и она не помогает Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. я думаю что проблема с expedia.com вовсе не в кодировке... я получил следующую строчку применив ascii: tScripting must be enabled before you can continue.\r\n\tTo enable scripting, you need to make a simple adjustment to your browser settings.<BR><BR>\r\n\t\r\n\t<A HREF=\"/pubspec/help/ENU1033/h_ex_actscrpt.htm\">Click here if you need more help with your browser.</A><BR><BR>\r\n\t<B>After you have enabled scripting refresh this page. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 13:06 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
Nisя думаю что проблема с expedia.com вовсе не в кодировке... я получил следующую строчку применив ascii: tScripting must be enabled before you can continue.\r\n\tTo enable scripting, you need to make a simple adjustment to your browser settings.<BR><BR>\r\n\t\r\n\t<A HREF=\"/pubspec/help/ENU1033/h_ex_actscrpt.htm\">Click here if you need more help with your browser.</A><BR><BR>\r\n\t<B>After you have enabled scripting refresh this page. Дык, выше было сказано - Заголовок "User-Agent" выстави в Mozilla/4.0/Internet Explorer ... что-то там... как обычный IE его отдает. Вероятность что заработает будет выше на порядок, т.к. сервер первым делом проверяет именно его и локальные переменные типа IsScriptingSupported (или вроде того) проставляет, а потом уже отдает твое сообщение дольше обработчику запроса. Тот видит, что скрипты не поддерживаются твоим агентом и посылает тебе такой ответ. Если и это не заработает, то, вероятно, придется еще какие-то заголовки добавлять. Полное описание смотри в rfc по HTTP на ietf.org или www.w3c.org -- Удачи, Roman S. Golubin PS: А то что у тебя написано делает тоже самое что и мой пример... а потом занимается полной фигней (не определив тип контекста роет его на предмет тегов :-) которых в нем может и не быть вовсе) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 14:11 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
авторЗаголовок "User-Agent" выстави в Mozilla/4.0/Internet Explorer пробовал... это... и многое другое... в rfc копаться, времени пока нет... если что найду, напишу... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 14:48 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
Заголовок HOST надо добавить и поместить туда доменное имя, к которому вы обращаетесь (напр. Host: roller.ru) Скорей всего поможет Дело в том, что большинство веб-серверов позволяет на один ip-адрес навесить несколько веб-сайтов При запросе к такому веб-серверу, конкретный сайт определяется по заголовку HOST ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.01.2005, 16:12 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
Вот пример кода: Код: plaintext В некоторых случаях, для получения нужного кода надо ставить еще и http-referer (для получения результатов работы динамических скриптов, проверяющих этот параметр (счетчиков, как правило)) Код: plaintext ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.01.2005, 16:18 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
Сорри, очепяталась. Первый пример конечно такой: Код: plaintext ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.01.2005, 23:47 |
|
||
|
Crawler
|
|||
|---|---|---|---|
|
#18+
Большое спасибо за совет! Но результат тот-же, тоесть результата нет. А после выполнения: Код: plaintext Код: plaintext Но все равно спасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2005, 18:13 |
|
||
|
|

start [/forum/topic.php?fid=20&msg=32868825&tid=1437442]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
45ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
42ms |
get tp. blocked users: |
1ms |
| others: | 207ms |
| total: | 334ms |

| 0 / 0 |
