powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pg упирается в disk
14 сообщений из 14, страница 1 из 1
pg упирается в disk
    #39317650
oracle_adm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет.
Такой вопрос, pg постоянно упирается в диск.
при запросе статистики, при создании индексов и при апсертах.
Сервер простой 4 ядра, ssd диск, соответственно памяти не так много
Я так понимаю, что не хватает памяти для каких-то процессов поэтому постгрес их сбрасывает на диск.

Параметры postgresql.conf
shared_buffers = 200MB
work_mem = 50

На этот сервер памяти добавить нельзя, вопрос в том есть ли смысл мигрировать на новый сервер или можно затюнить этот?
...
Рейтинг: 0 / 0
pg упирается в disk
    #39317656
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
oracle_admВсем привет.
Такой вопрос, pg постоянно упирается в диск.
при запросе статистики, при создании индексов и при апсертах.
Сервер простой 4 ядра, ssd диск, соответственно памяти не так много
Я так понимаю, что не хватает памяти для каких-то процессов поэтому постгрес их сбрасывает на диск.

Параметры postgresql.conf
shared_buffers = 200MB
work_mem = 50

На этот сервер памяти добавить нельзя, вопрос в том есть ли смысл мигрировать на новый сервер или можно затюнить этот?

Так вы бы блин написали параметры сервера (обьем памяти).
Как мы вам конфиг то будем рекомендовать править не зная основного параметра сервера.
...
Рейтинг: 0 / 0
pg упирается в disk
    #39317694
oracle_adm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk,

проц i3-3220
4 гига
ssd 500 гигов
...
Рейтинг: 0 / 0
pg упирается в disk
    #39317804
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
oracle_admMaxim Boguk,

проц i3-3220
4 гига
ssd 500 гигов
рискну предложить выделить под shared_ хотяб гиг
в вообще - http://pgtune.leopard.in.ua/
Еще что-то крутится на сервере? приложения, веб?
...
Рейтинг: 0 / 0
pg упирается в disk
    #39317818
oracle_adm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mefmanoracle_admMaxim Boguk,

проц i3-3220
4 гига
ssd 500 гигов
рискну предложить выделить под shared_ хотяб гиг
в вообще - http://pgtune.leopard.in.ua/
Еще что-то крутится на сервере? приложения, веб?

Спасибо.
Нет, только база, больше ничего не крутится.
...
Рейтинг: 0 / 0
pg упирается в disk
    #39317829
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
oracle_admmefmanпропущено...

рискну предложить выделить под shared_ хотяб гиг
в вообще - http://pgtune.leopard.in.ua/
Еще что-то крутится на сервере? приложения, веб?

Спасибо.
Нет, только база, больше ничего не крутится.
сколько юзеров работает на сервере?
графики какие-нибудь (заббикс) есть?
где конктетно просадка. объем вал, темпы?
ну и ворк мем скорее всего тоже нужно увеличить.
Тут поможет explain analize главных запросов.
...
Рейтинг: 0 / 0
pg упирается в disk
    #39318230
oracle_adm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mefmanoracle_admпропущено...


Спасибо.
Нет, только база, больше ничего не крутится.
сколько юзеров работает на сервере?
графики какие-нибудь (заббикс) есть?
где конктетно просадка. объем вал, темпы?
ну и ворк мем скорее всего тоже нужно увеличить.
Тут поможет explain analize главных запросов.

юзеров немного(не больше 10).
Графиков в заббиксе пока нет, но скоро будут.
Система следующая:
я парсю логи, потом gzip, после этого zcat | psql copy
после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)
Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло)
Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше.
...
Рейтинг: 0 / 0
pg упирается в disk
    #39318746
LeXa NalBat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
oracle_admСистема следующая:
я парсю логи, потом gzip, после этого zcat | psql copy
после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)Мы что-то похожее делаем. Важно, что новые данные вставляем командой COPY - все строки имеют одинаковое значение time_id (минута). При этом ВСЕ индексы в таблице должны начинаться с поля time_id. Апсерты тоже выполняем (агрегирование по часам, суткам,..) - запросы "INSERT AS SELECT GROUP BY" на большое число строк с одинаковым результирующим time_id. Благодаря этому данные и в таблице и во всех индексных файлах кластеризованы по time_id (не строго упорядочены, а сгруппированы).
...
Рейтинг: 0 / 0
pg упирается в disk
    #39318840
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
oracle_admmefmanпропущено...

сколько юзеров работает на сервере?
графики какие-нибудь (заббикс) есть?
где конктетно просадка. объем вал, темпы?
ну и ворк мем скорее всего тоже нужно увеличить.
Тут поможет explain analize главных запросов.

юзеров немного(не больше 10).
Графиков в заббиксе пока нет, но скоро будут.
Система следующая:
я парсю логи, потом gzip, после этого zcat | psql copy
после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)
Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло)
Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше.

1)я бы посоветовал сильно поднять checkpoint_segments+checkpoint_timeout (до 256 и 60min например) и включить Log_checkpoints
2)а что показывает iostat -xmd 1 во время вставок ? (может у вас просто ssd не особо быстрый или вы вообще не в диск упираетесь)
3)попробуйте вставлять в 4 потока... вполне может стать в 4 раза быстрее (ssd хорошо именно при параллельной работе себя ведет)
4)судя по названию процессора не стоит ожидать и от процессора и от НЕ серверного диска чудес.

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
pg упирается в disk
    #39318844
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Maxim Boguk[
а что показывает iostat -xmd 1 во время вставок ? (может у вас просто ssd не особо быстрый или вы вообще не в диск упираетесь)

Сдается мне что у него венда.
...
Рейтинг: 0 / 0
pg упирается в disk
    #39318971
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
oracle_adm,

а как выглядит пакет апсертов ?

-- я как--то изгалялся с подготовкой препаредов и вызовом их в одном пакетике, все было заведомо в одну нить ("жжоп репликации") -- т.ч. можно было (апсертов тогда ещё не было) в with конструкциях это гнать. они были довольно навороченные, и препареды хорошо спасали от задумчивости.

но если вы упираетесь в диск -- можно предположить, что ещё и все время версии перетираете -- у вас например индексы раз в 10--100 и более раздуты -- тогда вы зря с оракла слезли -- вам периодически факьюм фулл придется дергать -- оно вам надо ?
...
Рейтинг: 0 / 0
pg упирается в disk
    #39322245
oracle_adm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
oracle_admmefmanпропущено...

сколько юзеров работает на сервере?
графики какие-нибудь (заббикс) есть?
где конктетно просадка. объем вал, темпы?
ну и ворк мем скорее всего тоже нужно увеличить.
Тут поможет explain analize главных запросов.

юзеров немного(не больше 10).
Графиков в заббиксе пока нет, но скоро будут.
Система следующая:
я парсю логи, потом gzip, после этого zcat | psql copy
после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)
Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло)
Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше.

Спасибо за совет.
http://pgtune.leopard.in.ua/. Помогло.
Диск теперь не читаем при запросах = )
...
Рейтинг: 0 / 0
pg упирается в disk
    #39322248
oracle_adm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
qwwqoracle_adm,

а как выглядит пакет апсертов ?

-- я как--то изгалялся с подготовкой препаредов и вызовом их в одном пакетике, все было заведомо в одну нить ("жжоп репликации") -- т.ч. можно было (апсертов тогда ещё не было) в with конструкциях это гнать. они были довольно навороченные, и препареды хорошо спасали от задумчивости.

но если вы упираетесь в диск -- можно предположить, что ещё и все время версии перетираете -- у вас например индексы раз в 10--100 и более раздуты -- тогда вы зря с оракла слезли -- вам периодически факьюм фулл придется дергать -- оно вам надо ?
vacuum full в любом случае нужно делать время от времени.
Мы с оракла не слазили) изначально подняли постгрес и довольны, что не нужно платить бешеные деньги за лицензию.
...
Рейтинг: 0 / 0
pg упирается в disk
    #39322277
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
oracle_admvacuum full в любом случае нужно делать время от времени.
Не нужно, если всё настроено и работает как следует.
...
Рейтинг: 0 / 0
14 сообщений из 14, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pg упирается в disk
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]