(PERL) Вложенные хеши / PHP, Perl, Python

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / (PERL) Вложенные хеши

15 сообщений из 15, страница 1 из 1

(PERL) Вложенные хеши

#33373862

Metaller

Гость

Пишется парсилка netflow-логов. Для повышения быстродействия возникла мысль во время парсинга загнать данные в память, а потом уже оптом в sql.
Соответственно, структура данных нужна приблизительно такая:
$traffic = {$ip} {$time} [in, out].

Заполняется сейчас так: $traffic {$src_ip}{$stamp}[1] += $bytes;

Собственно, интересует правильно ли делаю (опыт работы с перлом не так уж велик) и как пробежать потом по всей этой структуре чтоб сформировать запросы и отправить их на sql-сервер.

...

Рейтинг:

0 / 0

11.11.2005, 14:57

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33373936

g613

Участник

Откуда: Нижний Новгород

Сообщения: 1 314

Рейтинг: 0 / 0

на счет быстродействия помоему ты погарячился...

по поводу пробежаться:

Код: plaintext

1.
2.
3.
4.
5.
6.

foreach my $ip ( keys %traffic } )  {
 foreach my $time_stamp  ( sort { $a <=> $b } keys %{ $traffic{$ip} } ) {
   printf "insert bla-bla-bla values( .... )\n",
       $ip, $time_stamp, $traffic{$ip}->{$time_stamp}->[ 0 ],  $traffic{$ip}->{$time_stamp}->[ 1 ];
 }
}

P.S.
для работы с БД лучше пользовать трейсхолы

Встечный вопрос а чем ты траффик собираеш ? у меня вот последние три дня запарки с этим...

...

Рейтинг:

0 / 0

11.11.2005, 15:15

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33373959

lissyara

Участник

Откуда: Made in USSR

Сообщения: 5 644

Рейтинг: 0 / 0

2 g613
а ты чем? :)
Любопытство, опять таки не праздное, вчера довоевал с перлом и net-snmp, щас
всё работает.

Posted via ActualForum NNTP Server 1.3

...

Рейтинг:

0 / 0

11.11.2005, 15:19

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33373971

Metaller

Гость

Собираю softflowd + flow-tools.

А если надо с кошек собирать, то можно посмотреть в сторону http://netacad.kiev.ua/flowc, правда, с помощью этой штуки трафик собирать с обычных тазиков можно только через ng_netflow, остальное не подходит.

...

Рейтинг:

0 / 0

11.11.2005, 15:22

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33373977

Metaller

Гость

А что касается быстродействия - могу поспорить. Чем для каждого flow дергать базу, лучше собрать трафик со всех клиентских потоков и запихнуть один раз.

...

Рейтинг:

0 / 0

11.11.2005, 15:24

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33373985

g613

Участник

Откуда: Нижний Новгород

Сообщения: 1 314

Рейтинг: 0 / 0

lissyara
2 g613
а ты чем? :)
Любопытство, опять таки не праздное, вчера довоевал с перлом и net-snmp, щас
всё работает.

[offtop]
деньги комерческой софтиной, а для детализации ( с ип адресами и пр ) все нетфлов пакеты проксируются в в flow-tools... Извращение сие не от нефиг делать - комерческий софт работает с БД sybase, суточный трафик для обсчета ~ 100 гигов, соотвественно БД несколько встает раком от такой нагрузки. flow-tools пишет в файлы своем внутреннем формате. Разбирается и перлом в том числе тоже...
Одно плохо чото я ни как не найду где у него агрегация настраивается и настраивается ли вообще... :(
[/offtop]

...

Рейтинг:

0 / 0

11.11.2005, 15:26

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33373993

g613

Участник

Откуда: Нижний Новгород

Сообщения: 1 314

Рейтинг: 0 / 0

MetallerА что касается быстродействия - могу поспорить. Чем для каждого flow дергать базу, лучше собрать трафик со всех клиентских потоков и запихнуть один раз.

Как я уже говорил я вообще отказался от этого занятия как пихание этой статистики в БД... А у тебя время как из flow-tools парсится ?

...

Рейтинг:

0 / 0

11.11.2005, 15:28

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33374014

Metaller

Гость

g613
Как я уже говорил я вообще отказался от этого занятия как пихание этой статистики в БД... А у тебя время как из flow-tools парсится ?

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

Start             End               Sif   SrcIPaddress    SrcP  DIf   DstIPaddress    DstP    P Fl Pkts       Octets

 1103 . 15 : 41 : 20 . 698   1103 . 15 : 41 : 48 . 703   0       192 . 168 . 21 . 5      2571    0       194 . 44 . 218 . 103    80      6     6    122          13145 


while (chomp($rr=<LOG>))
{
$rr=~m/^(.*?)\s.*?(\d+\.\d+\.\d+\.\d+)\s.*?\s(\d+\.\d+\.\d+\.\d+)\s.*?\s(\d+)\s+$/;

$start=$ 1 ;
$start=~/^(\d\d\d\d)\.(\d\d).*?/;
my $time1= strftime "%Y", localtime;
my $stamp = $time1.$ 1 .$ 2 ;

}

...

Рейтинг:

0 / 0

11.11.2005, 15:34

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33374082

nik2

Гость

Metaller g613
Как я уже говорил я вообще отказался от этого занятия как пихание этой статистики в БД... А у тебя время как из flow-tools парсится ?

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

Start             End               Sif   SrcIPaddress    SrcP  DIf   DstIPaddress    DstP    P Fl Pkts       Octets

 1103 . 15 : 41 : 20 . 698   1103 . 15 : 41 : 48 . 703   0       192 . 168 . 21 . 5      2571    0       194 . 44 . 218 . 103    80      6     6    122          13145 


while (chomp($rr=<LOG>))
{
$rr=~m/^(.*?)\s.*?(\d+\.\d+\.\d+\.\d+)\s.*?\s(\d+\.\d+\.\d+\.\d+)\s.*?\s(\d+)\s+$/;

$start=$ 1 ;
$start=~/^(\d\d\d\d)\.(\d\d).*?/;
my $time1= strftime "%Y", localtime;
my $stamp = $time1.$ 1 .$ 2 ;

}

у меня несколько по другому:
1 - `split /\s+/, $rr`- работает быстрее чем регэксп.
2 - год вполне можно получить `1900+(localtime)[5]`

вообще меня интересовало это больше с `политической` точки зрения...

P.S.
а агрегация в час не слишком много ?

...

Рейтинг:

0 / 0

11.11.2005, 15:55

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33374103

Metaller

Гость

nik2
у меня несколько по другому:
1 - `split /\s+/, $rr`- работает быстрее чем регэксп.
2 - год вполне можно получить `1900+(localtime)[5]`

вообще меня интересовало это больше с `политической` точки зрения...

P.S.
а агрегация в час не слишком много ?

1 - а потом так же $1, $2 и т.д.?
2 - тут откровенное спасибо, идея хороша. :-)

что касается агрегации в час... это ж не просто статистика а биллинг будет, а клиенту хочется видеть почасово как правило.

...

Рейтинг:

0 / 0

11.11.2005, 16:03

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33374122

g613

Участник

Откуда: Нижний Новгород

Сообщения: 1 314

Рейтинг: 0 / 0

Metaller nik2
у меня несколько по другому:
1 - `split /\s+/, $rr`- работает быстрее чем регэксп.
2 - год вполне можно получить `1900+(localtime)[5]`

вообще меня интересовало это больше с `политической` точки зрения...

P.S.
а агрегация в час не слишком много ?

1 - а потом так же $1, $2 и т.д.?

Код: plaintext

1.
2.
3.
4.
5.
6.
7.

chomp $rr;
@chunks = split /\s+/, $rr;
# start time
print $chunks[ 0 ];
# octets 
print $chunks[ 11 ];
...

2 - тут откровенное спасибо, идея хороша. :-)

что касается агрегации в час... это ж не просто статистика а биллинг будет, а клиенту хочется видеть почасово как правило.

хорошо тебе с почасовой... у меня вот поминутно хотят...

...

Рейтинг:

0 / 0

11.11.2005, 16:11

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33374132

Metaller

Гость

g613
хорошо тебе с почасовой... у меня вот поминутно хотят...

А для поминутной по ходу парсинга аппендятся файлы вида $ip.txt. Кому будет надо - вышлю на почту. Ну или из веб-морды покажу. :-))

...

Рейтинг:

0 / 0

11.11.2005, 16:13

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33374137

g613

Участник

Откуда: Нижний Новгород

Сообщения: 1 314

Рейтинг: 0 / 0

Metaller g613
хорошо тебе с почасовой... у меня вот поминутно хотят...

А для поминутной по ходу парсинга аппендятся файлы вида $ip.txt. Кому будет надо - вышлю на почту. Ну или из веб-морды покажу. :-))

а народу то сколько у тебя ?

...

Рейтинг:

0 / 0

11.11.2005, 16:16

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33374145

lissyara

Участник

Откуда: Made in USSR

Сообщения: 5 644

Рейтинг: 0 / 0

у меня поминутно... но - народу - всего ничего. и траффика по сравнению с
вашими масштабами копейки.....

Posted via ActualForum NNTP Server 1.3

...

Рейтинг:

0 / 0

11.11.2005, 16:18

| Ответить | Цитировать | Написать

(PERL) Вложенные хеши

#33374160

Metaller

Гость

g613
а народу то сколько у тебя ?

Около 500 пока что. Начальство обещает под новый биллинг хороший тазик дать, так что должно быть нормально. Ну и newsyslog скажем помесячно с gzip'ом.

...

Рейтинг:

0 / 0

11.11.2005, 16:22

| Ответить | Цитировать | Написать

15 сообщений из 15, страница 1 из 1

Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / (PERL) Вложенные хеши

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=23&msg=33374082&tid=1477284]:	0ms
get settings:	6ms
get forum list:	13ms
check forum access:	2ms
check topic access:	2ms
track hit:	168ms
get topic data:	9ms
get forum data:	2ms
get page messages:	51ms
get tp. blocked users:	1ms
others:	228ms

total:	482ms

	Необходимые cookie
	Cookie для сбора статистики
	Cookie для маркетинга и рекламы