Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Как лучше распарсить http запрос? / 24 сообщений из 24, страница 1 из 1
15.07.2011, 10:31:37
    #37353055
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Общая задача:
Есть таблица, лог посещений веб-сервера. В ней есть поле Referrer. В этом поле куча ссылок на поисковые запросы. Надо бы по ним собрать статистику. С чего начать? Понятно, сперва находим ссылки на яндекс, гугль и все прочее.
Потом вычленяем параметр запроса q или query, в зависимости от поисковика. Это первый вопрос. Есть готовые инструменты для этого, или самому писать?
Потом надо перекодировать значение параметра в понятные буквы. Для этого есть готовые инструменты?
Спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.07.2011, 09:58:33
    #37355502
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Вы не молчите. Если считаете, что вопрос тупой, так и скажите. Не обижусь.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.07.2011, 17:10:06
    #37356346
Zoria
Zoria
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Flying-home,

по-моему, тут слово статистика какое-то сильно неопределенное...
есть sql, с помощью которого можно делать запросы чтобы представить данные в том или ином виде.
а вот есть ли тулзы которые все это сами делают.. я не в курсе.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.07.2011, 17:29:17
    #37359781
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Zoria,

Ну, раз вопрос в форуме по ASP.NET, значит я не собираюсь делать то, что описал, средствами SQL сервера. Но на стадии записи в лог можно парсить запрос средствами ASP. А там уже статистку легче будет смотреть.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.07.2011, 21:14:49
    #37360097
ShSerge
ShSerge
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Flying-home...Ну, раз вопрос в форуме по ASP.NET, значит я не собираюсь делать то, что описал, средствами SQL сервера...
Ну нет, так - нет. А вопрос-то в чём? "Я не умею использовать SQL", или что?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.07.2011, 09:12:55
    #37360505
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
ShSerge,

Почему не умею? Просто не вижу смысла. ASP под это больше заточен, чем SQL. Разве нет? Вот, например, функция, которая ББ-коды в HTML переводит, ее где лучше писать, на скуле, или в ASP?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.07.2011, 10:21:27
    #37360632
Паганель
Паганель
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
@"^/.+&q=(?<keyword>[^&]+)&.+$"
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.07.2011, 12:24:44
    #37362856
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Паганель@"^/.+&q=(?<keyword>[^&]+)&.+$"
Что это?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.07.2011, 15:44:19
    #37364284
Guset
Guset
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Flying-home,

))) Твой ночной кошмар
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.07.2011, 10:18:57
    #37365241
Паганель
Паганель
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Match.Groups Property
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 12:19:41
    #37458782
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Я вот что имел ввиду, когда спрашивал.
Есть HttpRequest.Params.
Насколько я понял, он применим только к фактическому запросу к серверу, как можно этот инструмент применить для разбора параметров в строке запроса, полученного в referrer?
Не хоцца велосипед изобретать. Зачем писать свою парсилку, когда она уже есть?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 13:08:30
    #37458894
?
?
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Flying-home,

new Uri("http:/......")
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 14:07:03
    #37459008
AHTOH_L
AHTOH_L
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Flying-home
Request.UrlReferrer - не подходит?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 14:13:53
    #37459027
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
?Flying-home,

new Uri("http:/......")
Спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 14:25:26
    #37459062
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Flying-home?Flying-home,

new Uri("http:/......")
Спасибо.
Что-то не получается. У этого объекта есть только Query, строка. А отдельно параметры не взять. Или я чего-то недопонимаю.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 14:26:46
    #37459067
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
AHTOH_L Flying-home
Request.UrlReferrer - не подходит?
Подходит. Вопрос в том, как просто взять из него значения параметров q и query.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 16:19:05
    #37459434
AHTOH_L
AHTOH_L
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
сначала split('&') потом split('=')
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 16:21:22
    #37459440
ShSerge
ShSerge
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
AHTOH_Lсначала split('&') потом split('=')
А Request уже это разучился делать?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 16:36:51
    #37459508
AHTOH_L
AHTOH_L
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
ну может не только q и query понадобится.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 18:06:04
    #37459732
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
ShSergeAHTOH_Lсначала split('&') потом split('=')
А Request уже это разучился делать?
В том-то и дело, что request умеет это делать с запросом, который приходит на сервер, а Referrer - это обычный Uri, он не рассматривается как полноценный request. Поправьте меня, если я не прав.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 18:15:59
    #37459760
AHTOH_L
AHTOH_L
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
В том-то и дело, что request умеет это делать с запросом, который приходит на сервер, а Referrer - это обычный Uri, он не рассматривается как полноценный request. Поправьте меня, если я не прав.

да. Referrer - это предыдущий запрос в браузере.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2011, 20:46:34
    #37459899
?
?
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Flying-homeFlying-homeпропущено...

Спасибо.
Что-то не получается. У этого объекта есть только Query, строка. А отдельно параметры не взять. Или я чего-то недопонимаю.А поискать? HttpUtility.ParseQueryString подойдет?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.09.2011, 12:48:14
    #37460768
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
?Flying-homeпропущено...

Что-то не получается. У этого объекта есть только Query, строка. А отдельно параметры не взять. Или я чего-то недопонимаю.А поискать? HttpUtility.ParseQueryString подойдет?
Благодарю тебя, о безымянный гость!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.09.2011, 19:30:37
    #37461876
Flying-home
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как лучше распарсить http запрос?
Спасибо все участникам, сделал, как и планировал. Запрос поисковика парсится иисом, результат кидается в БД. Обрабатывать запросы средствами скуля было очень неудобно и ресурсоемко.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Как лучше распарсить http запрос? / 24 сообщений из 24, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 538ms
Закрыть
start [/forum/topic.php?fid=18&tablet=1&tid=1360583]:
 0ms
get settings:
 8ms
get forum list:
 23ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 209ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 75ms
get tp. blocked users:
 1ms
others: 199ms
total:  538ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]