Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Почему некоторые сайты не читаются? / 19 сообщений из 19, страница 1 из 1
15.12.2006, 21:47
    #34204535
SergeyMi
SergeyMi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
В Cache есть класс ##class(%Net.HttpRequest)
Почему некоторые сайты не читаются?

Например:
http://www.podrobnosti.com.ua/projects/vovremya/

http://www.podrobnosti.com.ua/accidents/

http://www.podrobnosti.com.ua/power/

http://www.podrobnosti.com.ua/society/

http://www.podrobnosti.com.ua/economy/
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
16.12.2006, 16:11
    #34204976
SergeyMi
SergeyMi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
[ SergeyMiВ Cache есть класс ##class(%Net.HttpRequest)


Зададим вопрос шире. При работе в Каше надо читать содержание тех, или иных сайтов.
Кто и как решает данную проблему?

Я для это использую класс %Net.HttpRequest. И все бы ничего, но некоторые он не хочет читать.
Что скажу сотрудники IS?

Наверно придется писать какую нибудь внешнюю приблуду и вызывать ее через $ZF.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 10:12
    #34206471
Maksim UM
Maksim UM
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
А если совсем широко... Что значит не читается?
Чтение сайтов - это обычный запрос через сокеты,
который можно и самому организовать на COS (без извращений с $ZF).
А не читаться может из-за таймаутов, файрволов и много чего еще...
Ошибки возвращаемые HttpRequest не пробовали смотреть?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 11:49
    #34206806
-Serg-
-Serg-
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
Maksim UMА если совсем широко... Что значит не читается?
Чтение сайтов - это обычный запрос через сокеты,
который можно и самому организовать на COS (без извращений с $ZF).
А не читаться может из-за таймаутов, файрволов и много чего еще...
Ошибки возвращаемые HttpRequest не пробовали смотреть?

Да, есть такая проблема. Не считывается код с некоторых сайтов. Таймауты и файрволы тут роли не играют.
Причем, с некотрых страниц считывается пустой код, а некторые просто закрывают окно телнета. :(
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 12:03
    #34206869
Maksim UM
Maksim UM
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
-Serg-
Да, есть такая проблема. Не считывается код с некоторых сайтов. Таймауты и файрволы тут роли не играют.
Причем, с некотрых страниц считывается пустой код, а некторые просто закрывают окно телнета. :(
В принципе, никто не мешает написать несложный код для запроса страницы через сокеты.
А с HttpRequest - нужно смотреть, какие ошибки выдает и тд..
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 12:15
    #34206925
SergeyMi
SergeyMi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
Maksim UM[quot -Serg-]
А с HttpRequest - нужно смотреть, какие ошибки выдает и тд..

Ух ты, там еще и ошибки можно смотреть?
Я не пробовал.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 12:24
    #34206958
-Serg-
-Serg-
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
SergeyMi Maksim UM[quot -Serg-]
А с HttpRequest - нужно смотреть, какие ошибки выдает и тд..

Ух ты, там еще и ошибки можно смотреть?
Я не пробовал.

И как же их посмотреть если приложение просто захлопывается игнорируя ловушку ошибок?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 12:29
    #34206980
SergeyMi
SergeyMi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
-Serg-

И как же их посмотреть если приложение просто захлопывается игнорируя ловушку ошибок?

Серег, я думаю все дело в содержании сайтов.
Там же может быть такая DHTML/js/ХMLая хрень, что не НttpRequt просто с ума сойдет
И редиректы на другие сайты и т.д.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 12:40
    #34207026
-Serg-
-Serg-
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
SergeyMi -Serg-

И как же их посмотреть если приложение просто захлопывается игнорируя ловушку ошибок?

Серег, я думаю все дело в содержании сайтов.
Там же может быть такая DHTML/js/ХMLая хрень, что не НttpRequt просто с ума сойдет
И редиректы на другие сайты и т.д.

Да, но это не решение проблемы, а уход в сторону.
Эдак можно договориться, что нахрена вообще НttpRequt и вообще %Net/ :-)
типа пользуйтесь другими производителями.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 12:51
    #34207068
Maksim UM
Maksim UM
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
-Serg-И как же их посмотреть если приложение просто захлопывается игнорируя ловушку ошибок?
Я конечно про ясновидящих промолчу...
Но неплохобы, версию в студию, а совсем неплохо бы сайт,
который валит программу.
Что касается , например, http://www.podrobnosti.com.ua/accidents/,
то у меня он читается, но появляется ошибка, что не установлена кодировка koi8-u.
При такой ошибке можно просто воспользоваться свойством ReadRawMode...
Вот мой код для теста:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
  Write "Start...",!
  New r,ok Set $ZT="err"
  Set r=##class(%Net.HttpRequest).%New()
  Set r.ProxyServer="proxy"
  Set r.ProxyPort= 3128 
  Set r.Server = "www.podrobnosti.com.ua"
  Set r.Port =  80 
  Set ok=r.Get("/accidents/")
  If $system.Status.IsError(ok) {
	  Write "Get error: "
	  Do $system.Status.DisplayError(ok)
	  W !
	  Do r.HttpResponse.OutputToDevice()
  }else {
	  Write "OK",!
	  Write "Content-Length: ",r.HttpResponse.ContentLength,!
	  Write "ContentType   : ",r.HttpResponse.ContentType,!
	  //Do r.HttpResponse.OutputToDevice()
  }  
  Do r.%Close()
err
  Set r=""
  Write "end.",!
  Quit
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 15:58
    #34207850
-Serg-
-Serg-
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
Maksim UM -Serg-И как же их посмотреть если приложение просто захлопывается игнорируя ловушку ошибок?
Я конечно про ясновидящих промолчу...
Но неплохобы, версию в студию, а совсем неплохо бы сайт,
который валит программу.
Что касается , например, http://www.podrobnosti.com.ua/accidents/,
то у меня он читается, но появляется ошибка, что не установлена кодировка koi8-u.
При такой ошибке можно просто воспользоваться свойством ReadRawMode...
Вот мой код для теста:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
  Write "Start...",!
  New r,ok Set $ZT="err"
  Set r=##class(%Net.HttpRequest).%New()
  Set r.ProxyServer="proxy"
  Set r.ProxyPort= 3128 
  Set r.Server = "www.podrobnosti.com.ua"
  Set r.Port =  80 
  Set ok=r.Get("/accidents/")
  If $system.Status.IsError(ok) {
	  Write "Get error: "
	  Do $system.Status.DisplayError(ok)
	  W !
	  Do r.HttpResponse.OutputToDevice()
  }else {
	  Write "OK",!
	  Write "Content-Length: ",r.HttpResponse.ContentLength,!
	  Write "ContentType   : ",r.HttpResponse.ContentType,!
	  //Do r.HttpResponse.OutputToDevice()
  }  
  Do r.%Close()
err
  Set r=""
  Write "end.",!
  Quit


Запустил пример(изменив только параметры прокси) - вешается терминал, без реакции на попытку ctrl+c
Хотя посмотрел сайт - он рабочий и из IE грузится моментом.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 16:22
    #34207952
ГР
ГР
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
-Serg- Maksim UM -Serg-И как же их посмотреть если приложение просто захлопывается игнорируя ловушку ошибок?
Я конечно про ясновидящих промолчу...
Но неплохобы, версию в студию, а совсем неплохо бы сайт,
который валит программу.
Что касается , например, http://www.podrobnosti.com.ua/accidents/,
то у меня он читается, но появляется ошибка, что не установлена кодировка koi8-u.
При такой ошибке можно просто воспользоваться свойством ReadRawMode...
Вот мой код для теста:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
  Write "Start...",!
  New r,ok Set $ZT="err"
  Set r=##class(%Net.HttpRequest).%New()
  Set r.ProxyServer="proxy"
  Set r.ProxyPort= 3128 
  Set r.Server = "www.podrobnosti.com.ua"
  Set r.Port =  80 
  Set ok=r.Get("/accidents/")
  If $system.Status.IsError(ok) {
	  Write "Get error: "
	  Do $system.Status.DisplayError(ok)
	  W !
	  Do r.HttpResponse.OutputToDevice()
  }else {
	  Write "OK",!
	  Write "Content-Length: ",r.HttpResponse.ContentLength,!
	  Write "ContentType   : ",r.HttpResponse.ContentType,!
	  //Do r.HttpResponse.OutputToDevice()
  }  
  Do r.%Close()
err
  Set r=""
  Write "end.",!
  Quit


Запустил пример(изменив только параметры прокси) - вешается терминал, без реакции на попытку ctrl+c
Хотя посмотрел сайт - он рабочий и из IE грузится моментом.

Впринципе, нормально отработало....

Для "подробностей"
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
USER>d ^TestRequest
Start...
Get error:
ERROR #5911: Character Set '' not installed, unable to perform character set translation
HTTP/1.1 200 OK
CONNECTION: close
CONTENT-TYPE: text/html; charset=koi8-u
DATE: Mon, 18 Dec 2006 13:08:42 GMT
EXPIRES: Thu, 01 Jan 1970 00:00:01 GMT
LAST-MODIFIED: Mon, 18 Dec 2006 13:08:42 GMT
SERVER: Apache/1.3.29 (Unix) mod_ipdrop/0.01 mod_perl/1.29 rus/PL30.19
 
end.
 
USER>

Для сиквел.ру
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
USER>d ^TestRequest
Start...
OK
Content-Length: 33990
ContentType   : text/html; charset=windows-1251
end.
 
USER>
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 16:35
    #34208006
-Serg-
-Serg-
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
ГР[

Впринципе, нормально отработало....


Странно...
Вы именно через прокси запускали ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 16:39
    #34208030
ГР
ГР
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
Нет. К сожалению нет возможности попробовать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 18:30
    #34208528
Maksim UM
Maksim UM
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
2ГР
что касается ошибки в вашем случае, то я уже написал как с ней быть.
2-Serg-
непонятно, вы хотите найти решение или просто мысли вслух?!
если спрашиваете, то ссылку в студию, версию каши в студию...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.12.2006, 23:40
    #34209060
ГР
ГР
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
Maksim UM2ГР
что касается ошибки в вашем случае, то я уже написал как с ней быть.


Эт понятно, что она возникает вследствие отсутствия, а с приведенным примером все нормально, работает.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.12.2006, 14:31
    #34210568
-Serg-
-Serg-
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
Maksim UM2ГР
что касается ошибки в вашем случае, то я уже написал как с ней быть.
2-Serg-
непонятно, вы хотите найти решение или просто мысли вслух?!
если спрашиваете, то ссылку в студию, версию каши в студию...

Конечно есть желание разобраться.
Вот код теста. Естественно, нужно вписать свой порт и сервер. Версия каше 5.02
Проблемы были на других сайтах. Но рассматриваемый так же не доступен.

Test ;
w !,"*sart*"
F ur="www.sql.ru","www.podrobnosti.com.ua" w !!,ur D 0
q
0 ;
S h=##class(%Net.HttpRequest).%New()
S h.ProxyServer="..."
S h.ProxyPort=..
S h.Timeout=20
Set h.Server=ur
d h.Get(ur)
S n=h.HttpResponse.Data.Size,L=1000
w !,"Считанно ",n," байт"
D h.%Close()
w !,"=end="
Q

Вот результат теста.
*sart*

www.sql.ru
Считанноî 822 байт
=end=

www.podrobnosti.com.ua
Считанно 0 байт
=end=

Нетрудно заметить, что во втором случае 0 (ноль) байт.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.12.2006, 14:49
    #34210632
Maksim UM
Maksim UM
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
Так же нетрудно заметить, что решение я привел :)
В вашем случае нужно просто добавить:
Код: plaintext
S h.ReadRawMode= 1
Все дело в том, что Cache ненаходит кодировки koi8-u
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.12.2006, 12:43
    #34218547
-Serg-
-Serg-
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Почему некоторые сайты не читаются?
Maksim UM, спасибо. Помогло. :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Почему некоторые сайты не читаются? / 19 сообщений из 19, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]