ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / squid логи в psql
4 сообщений из 4, страница 1 из 1
squid логи в psql
    #35221994
zs_ftp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zs_ftp
Гость
Доброе время суток.

Если ошибся форумом - прошу сильно ногами не бить :)

Имеется прокси со squid на борту. squid пишет access логи, perl-скрипт их парсит и пишет в psql БД.
Но к концу месяца количество записей разрастается до неприличного размера и БД начинает жутко тормозить :(

Формат таблиц таков:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
                         Table "public.sites_2008_03"
 Column |  Type   |                         Modifiers                          
--------+---------+------------------------------------------------------------
 id     | integer | not null default nextval('sites_2008_03_id_seq'::regclass)
 date   | date    | 
 ip     | inet    | not null
 size   | integer | not null
 link   | text    | not null

в 0:01 запускается скрипт, который причесывает всю табличку за прошедшие сутки, т.е. было так:

Код: plaintext
1.
2.
3.
4.
5.
  
   1  |  2008 - 03 - 02  |  192 . 168 . 0 . 73  |  1449  | http://weather.noaa.gov/cgi-bin/mgetmetar.pl?
   2  |  2008 - 03 - 02  |  192 . 168 . 0 . 73  |  1449  | http://weather.noaa.gov/cgi-bin/mgetmetar.pl?
   3  |  2008 - 03 - 02  |  192 . 168 . 0 . 73  |  1449  | http://weather.noaa.gov/cgi-bin/mgetmetar.pl?
   4  |  2008 - 03 - 02  |  192 . 168 . 0 . 73  |  1449  | http://weather.noaa.gov/cgi-bin/mgetmetar.pl?

Стало так:

Код: plaintext
1.
   5  |  2008 - 03 - 02  |  192 . 168 . 0 . 73  |  7245  | http://weather.noaa.gov/cgi-bin/mgetmetar.pl?

Но все-равно это все работает ОЧЕНЬ медленно :((
Подскажите, где просчеты?

На данный момент идея - суточную инфу писать в отдельную табличку, а из нее уже писать результаты в помесячную таблицу.
...
Рейтинг: 0 / 0
28.03.2008, 22:07
| Ответить | Цитировать | Написать  
squid логи в psql
    #35221995
zs_ftp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zs_ftp
Гость
Ошибся:
Не:
Код: plaintext
1.
   5  |  2008 - 03 - 02  |  192 . 168 . 0 . 73  |  7245  | http://weather.noaa.gov/cgi-bin/mgetmetar.pl?

А:
Код: plaintext
1.
   5  |  2008 - 03 - 02  |  192 . 168 . 0 . 73  |  7245  | http://weather.noaa.gov
...
Рейтинг: 0 / 0
28.03.2008, 22:08
| Ответить | Цитировать | Написать  
squid логи в psql
    #35223448
ChameLe0n
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ChameLe0n
Гость
Просчеты - в отсутствии планов медленных запросов.
...
Рейтинг: 0 / 0
31.03.2008, 06:19
| Ответить | Цитировать | Написать  
squid логи в psql
    #35226347
LeXa NalBat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LeXa NalBat
Участник
zs_ftpк концу месяца количество записей разрастается до неприличного размерасколько строк?

zs_ftpв 0:01 запускается скрипт, который причесывает всю табличку за прошедшие суткикак именно? insert, delete?

zs_ftpБД начинает жутко тормозить :(

это все работает ОЧЕНЬ медленно :((какие запросы тормозят? покажите explain analyze.

zs_ftpИмеется прокси со squid на борту. squid пишет access логи, perl-скрипт их парсит и пишет в psql БД.нужны ли аксесс-логи в БД? может писать в БД менее детализированную информацию, например без поля link?

zs_ftpНа данный момент идея - суточную инфу писать в отдельную табличку, а из нее уже писать результаты в помесячную таблицу.имхо, хороший вариант. суточную таблицу ежедневно truncate-ить, чтобы не плодились удаленные версии строк.
...
Рейтинг: 0 / 0
01.04.2008, 10:05
| Ответить | Цитировать | Написать  
4 сообщений из 4, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / squid логи в psql
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]