Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pg упирается в disk / 14 сообщений из 14, страница 1 из 1
29.09.2016, 11:27
    #39317650
oracle_adm
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
Всем привет.
Такой вопрос, pg постоянно упирается в диск.
при запросе статистики, при создании индексов и при апсертах.
Сервер простой 4 ядра, ssd диск, соответственно памяти не так много
Я так понимаю, что не хватает памяти для каких-то процессов поэтому постгрес их сбрасывает на диск.

Параметры postgresql.conf
shared_buffers = 200MB
work_mem = 50

На этот сервер памяти добавить нельзя, вопрос в том есть ли смысл мигрировать на новый сервер или можно затюнить этот?
...
Рейтинг: 0 / 0
29.09.2016, 11:28
    #39317656
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
oracle_admВсем привет.
Такой вопрос, pg постоянно упирается в диск.
при запросе статистики, при создании индексов и при апсертах.
Сервер простой 4 ядра, ssd диск, соответственно памяти не так много
Я так понимаю, что не хватает памяти для каких-то процессов поэтому постгрес их сбрасывает на диск.

Параметры postgresql.conf
shared_buffers = 200MB
work_mem = 50

На этот сервер памяти добавить нельзя, вопрос в том есть ли смысл мигрировать на новый сервер или можно затюнить этот?

Так вы бы блин написали параметры сервера (обьем памяти).
Как мы вам конфиг то будем рекомендовать править не зная основного параметра сервера.
...
Рейтинг: 0 / 0
29.09.2016, 11:57
    #39317694
oracle_adm
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
Maxim Boguk,

проц i3-3220
4 гига
ssd 500 гигов
...
Рейтинг: 0 / 0
29.09.2016, 13:44
    #39317804
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
oracle_admMaxim Boguk,

проц i3-3220
4 гига
ssd 500 гигов
рискну предложить выделить под shared_ хотяб гиг
в вообще - http://pgtune.leopard.in.ua/
Еще что-то крутится на сервере? приложения, веб?
...
Рейтинг: 0 / 0
29.09.2016, 13:52
    #39317818
oracle_adm
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
mefmanoracle_admMaxim Boguk,

проц i3-3220
4 гига
ssd 500 гигов
рискну предложить выделить под shared_ хотяб гиг
в вообще - http://pgtune.leopard.in.ua/
Еще что-то крутится на сервере? приложения, веб?

Спасибо.
Нет, только база, больше ничего не крутится.
...
Рейтинг: 0 / 0
29.09.2016, 14:08
    #39317829
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
oracle_admmefmanпропущено...

рискну предложить выделить под shared_ хотяб гиг
в вообще - http://pgtune.leopard.in.ua/
Еще что-то крутится на сервере? приложения, веб?

Спасибо.
Нет, только база, больше ничего не крутится.
сколько юзеров работает на сервере?
графики какие-нибудь (заббикс) есть?
где конктетно просадка. объем вал, темпы?
ну и ворк мем скорее всего тоже нужно увеличить.
Тут поможет explain analize главных запросов.
...
Рейтинг: 0 / 0
30.09.2016, 00:15
    #39318230
oracle_adm
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
mefmanoracle_admпропущено...


Спасибо.
Нет, только база, больше ничего не крутится.
сколько юзеров работает на сервере?
графики какие-нибудь (заббикс) есть?
где конктетно просадка. объем вал, темпы?
ну и ворк мем скорее всего тоже нужно увеличить.
Тут поможет explain analize главных запросов.

юзеров немного(не больше 10).
Графиков в заббиксе пока нет, но скоро будут.
Система следующая:
я парсю логи, потом gzip, после этого zcat | psql copy
после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)
Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло)
Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше.
...
Рейтинг: 0 / 0
30.09.2016, 15:20
    #39318746
LeXa NalBat
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
oracle_admСистема следующая:
я парсю логи, потом gzip, после этого zcat | psql copy
после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)Мы что-то похожее делаем. Важно, что новые данные вставляем командой COPY - все строки имеют одинаковое значение time_id (минута). При этом ВСЕ индексы в таблице должны начинаться с поля time_id. Апсерты тоже выполняем (агрегирование по часам, суткам,..) - запросы "INSERT AS SELECT GROUP BY" на большое число строк с одинаковым результирующим time_id. Благодаря этому данные и в таблице и во всех индексных файлах кластеризованы по time_id (не строго упорядочены, а сгруппированы).
...
Рейтинг: 0 / 0
30.09.2016, 16:34
    #39318840
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
oracle_admmefmanпропущено...

сколько юзеров работает на сервере?
графики какие-нибудь (заббикс) есть?
где конктетно просадка. объем вал, темпы?
ну и ворк мем скорее всего тоже нужно увеличить.
Тут поможет explain analize главных запросов.

юзеров немного(не больше 10).
Графиков в заббиксе пока нет, но скоро будут.
Система следующая:
я парсю логи, потом gzip, после этого zcat | psql copy
после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)
Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло)
Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше.

1)я бы посоветовал сильно поднять checkpoint_segments+checkpoint_timeout (до 256 и 60min например) и включить Log_checkpoints
2)а что показывает iostat -xmd 1 во время вставок ? (может у вас просто ssd не особо быстрый или вы вообще не в диск упираетесь)
3)попробуйте вставлять в 4 потока... вполне может стать в 4 раза быстрее (ssd хорошо именно при параллельной работе себя ведет)
4)судя по названию процессора не стоит ожидать и от процессора и от НЕ серверного диска чудес.

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
30.09.2016, 16:37
    #39318844
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
Maxim Boguk[
а что показывает iostat -xmd 1 во время вставок ? (может у вас просто ssd не особо быстрый или вы вообще не в диск упираетесь)

Сдается мне что у него венда.
...
Рейтинг: 0 / 0
30.09.2016, 21:02
    #39318971
qwwq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
oracle_adm,

а как выглядит пакет апсертов ?

-- я как--то изгалялся с подготовкой препаредов и вызовом их в одном пакетике, все было заведомо в одну нить ("жжоп репликации") -- т.ч. можно было (апсертов тогда ещё не было) в with конструкциях это гнать. они были довольно навороченные, и препареды хорошо спасали от задумчивости.

но если вы упираетесь в диск -- можно предположить, что ещё и все время версии перетираете -- у вас например индексы раз в 10--100 и более раздуты -- тогда вы зря с оракла слезли -- вам периодически факьюм фулл придется дергать -- оно вам надо ?
...
Рейтинг: 0 / 0
06.10.2016, 18:33
    #39322245
oracle_adm
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
oracle_admmefmanпропущено...

сколько юзеров работает на сервере?
графики какие-нибудь (заббикс) есть?
где конктетно просадка. объем вал, темпы?
ну и ворк мем скорее всего тоже нужно увеличить.
Тут поможет explain analize главных запросов.

юзеров немного(не больше 10).
Графиков в заббиксе пока нет, но скоро будут.
Система следующая:
я парсю логи, потом gzip, после этого zcat | psql copy
после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)
Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло)
Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше.

Спасибо за совет.
http://pgtune.leopard.in.ua/. Помогло.
Диск теперь не читаем при запросах = )
...
Рейтинг: 0 / 0
06.10.2016, 18:36
    #39322248
oracle_adm
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
qwwqoracle_adm,

а как выглядит пакет апсертов ?

-- я как--то изгалялся с подготовкой препаредов и вызовом их в одном пакетике, все было заведомо в одну нить ("жжоп репликации") -- т.ч. можно было (апсертов тогда ещё не было) в with конструкциях это гнать. они были довольно навороченные, и препареды хорошо спасали от задумчивости.

но если вы упираетесь в диск -- можно предположить, что ещё и все время версии перетираете -- у вас например индексы раз в 10--100 и более раздуты -- тогда вы зря с оракла слезли -- вам периодически факьюм фулл придется дергать -- оно вам надо ?
vacuum full в любом случае нужно делать время от времени.
Мы с оракла не слазили) изначально подняли постгрес и довольны, что не нужно платить бешеные деньги за лицензию.
...
Рейтинг: 0 / 0
06.10.2016, 19:24
    #39322277
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pg упирается в disk
oracle_admvacuum full в любом случае нужно делать время от времени.
Не нужно, если всё настроено и работает как следует.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pg упирается в disk / 14 сообщений из 14, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]