|
Действия ...
Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
20.12.2006, 06:55
|
|||
|---|---|---|---|
Postgres убивает сервак |
|||
|
#18+
Здраствуйте. имеется постгрес собранный под фришку на серваке (достаточно мощном (2 проца, 4 гига оперы)). на этом же сервере поднят сбор потоков netflow с порядка 10 сиско-коллекторов. так вот при запуске постгреса сервер начинает жутко тормозить. такое впечатление что убивается файловая система. fstat | grep postgres | wc -l дает порядка 1600 строк. насколько мне известно физически каждый объект бд постгрес - это отдельный файл. получается что чем больше таблиц, индексов и прочего в базе, тем сильнее будет забита фс. зы vacuum analyze и reindexdb отрабатывает каждые сутки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2006, 11:26
|
|||
|---|---|---|---|
Postgres убивает сервак |
|||
|
#18+
Наверное, 10 сиско-генераторов? А коллектор на постгресовой машине? В постгрес эти netflow льются, или он там так, отдельно стоит? Если льются - то с аггрегацией или без, и каким образом, и куда? DDL, и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2006, 11:43
|
|||
|---|---|---|---|
Postgres убивает сервак |
|||
|
#18+
методика реализована примерно следущая: используется пакет flowd. раз в час производится ротация логов флов, после этого эти файлы обрабатываются по определенным правилам (агрегируются скажем) и после этого происходит заливка агрегированных данных в постгрес. алгоритм построен таким образом, что в сутки добавляется 1*(n клиентов) запись, затем каждый час эти n записей апдейтятся. соотв. кол-во апдейтов = 23*(n клиентов). n порядка 3000-4000. просто смущает то, что когда постгрес погашен, то сервер в принципе летает и работа этих коллекторов в общем не напрягает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2006, 12:29
|
|||
|---|---|---|---|
Postgres убивает сервак |
|||
|
#18+
Не такие уж и страшные для постгреса цифры. Я бы после этих апдейтов порекомендовал бы делать вакуум. А таблица одна? Если одна - то разбить по месяцам, например. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2006, 13:19
|
|||
|---|---|---|---|
|
|||
Postgres убивает сервак |
|||
|
#18+
Radjaman так вот при запуске постгреса сервер начинает жутко тормозить. такое впечатление что убивается файловая система. Под запуском что имеется в виду? Просто старт? Или какая-то активность ПО? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2006, 13:22
|
|||
|---|---|---|---|
Postgres убивает сервак |
|||
|
#18+
да я понимаю, что объемы не очень страшные. просто сам факт тормозов пугает :(. и еще любопытно знать, если в базе много таблиц, которые не используются, но удалять жалко, влияют ли они на загруженность файловой системы, то есть держит ли их посгрес постоянно открытыми, или открывает по мере обращения к таблице ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2006, 13:26
|
|||
|---|---|---|---|
Postgres убивает сервак |
|||
|
#18+
Andrey Daeron Radjaman так вот при запуске постгреса сервер начинает жутко тормозить. такое впечатление что убивается файловая система. Под запуском что имеется в виду? Просто старт? Или какая-то активность ПО?ну если обращения от апача считать активностью ПО :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2006, 13:58
|
|||
|---|---|---|---|
|
|||
Postgres убивает сервак |
|||
|
#18+
автордает порядка 1600 строк. насколько мне известно физически каждый объект бд постгрес - это отдельный файл. получается что чем больше таблиц, индексов и прочего в базе, тем сильнее будет забита фс. зы vacuum analyze и reindexdb отрабатывает каждые сутки 1. grep нужно делать от директории базы данных (кластера postgres) 2. количество открытых файлов ни о чем не говорит (у меня команда lsof | grep postgres | wc-l даёт 2900, сервер не тормозит (Slackware Linux 2.6.16.17), но меньше других программ ) (lsof | grep postgres/ | wc-l даёт 1700 - реально файлы баз данных, остальное - библиотеки, so-шки) (lsof | wc -l даёт 5693) Если Postgres тормозит систему, значит кто-то postgres активно пользует. Моё мнение. Открывает Postgres только те файлы, которые соответствуют используемым таблицам, а не все таблицы в базе. И, думаю, периодически закрывает неиспользуемые (но не уверен). А сколько памяти на серваке? А сколько shared_buffers в postgresql.conf? Может ты его большим сделал, да сервак начинает элементарно свопиться? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.12.2006, 14:33
|
|||
|---|---|---|---|
|
|||
Postgres убивает сервак |
|||
|
#18+
Было бы неплохо еще посмотреть на загруженность проца и дисковой (что-то по типу top , и iostat). На сколько я знаю, сам по себе, постгрес практически ничего не делает (ну по запуску смотрит WAL, да иногда автовакуум запускается). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.12.2006, 10:45
|
|||
|---|---|---|---|
Postgres убивает сервак |
|||
|
#18+
shared_buffers = 400 (а не мало ли это?) в дефалтовых конфигах это значение = 1000 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.12.2006, 11:23
|
|||
|---|---|---|---|
|
|||
Postgres убивает сервак |
|||
|
#18+
Radjamanshared_buffers = 400 (а не мало ли это?) в дефалтовых конфигах это значение = 1000 Мало. Это 3200KБ. Сколько памяти на серваке? Если 512МБ - 1ГБ, то поставь 10000, если >=1ГБ, то 20000 (160МБ). Больше не надо. Не забудь поправить shmmax (смотри документацию 16.4. Managing Kernel Resources) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.12.2006, 11:24
|
|||
|---|---|---|---|
|
|||
Postgres убивает сервак |
|||
|
#18+
Кстати, с таким shared_buffers (400) он и правда может начать дрочить диск. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/search_topic.php?author=Olya-33&author_mode=last_posts&do_search=1]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
133ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
42ms |
get tp. blocked users: |
1ms |
| others: | 699ms |
| total: | 933ms |
| 0 / 0 |
