Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
Всем привет. Такой вопрос, pg постоянно упирается в диск. при запросе статистики, при создании индексов и при апсертах. Сервер простой 4 ядра, ssd диск, соответственно памяти не так много Я так понимаю, что не хватает памяти для каких-то процессов поэтому постгрес их сбрасывает на диск. Параметры postgresql.conf shared_buffers = 200MB work_mem = 50 На этот сервер памяти добавить нельзя, вопрос в том есть ли смысл мигрировать на новый сервер или можно затюнить этот? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.09.2016, 11:27 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
oracle_admВсем привет. Такой вопрос, pg постоянно упирается в диск. при запросе статистики, при создании индексов и при апсертах. Сервер простой 4 ядра, ssd диск, соответственно памяти не так много Я так понимаю, что не хватает памяти для каких-то процессов поэтому постгрес их сбрасывает на диск. Параметры postgresql.conf shared_buffers = 200MB work_mem = 50 На этот сервер памяти добавить нельзя, вопрос в том есть ли смысл мигрировать на новый сервер или можно затюнить этот? Так вы бы блин написали параметры сервера (обьем памяти). Как мы вам конфиг то будем рекомендовать править не зная основного параметра сервера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.09.2016, 11:28 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
Maxim Boguk, проц i3-3220 4 гига ssd 500 гигов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.09.2016, 11:57 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
oracle_admMaxim Boguk, проц i3-3220 4 гига ssd 500 гигов рискну предложить выделить под shared_ хотяб гиг в вообще - http://pgtune.leopard.in.ua/ Еще что-то крутится на сервере? приложения, веб? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.09.2016, 13:44 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
mefmanoracle_admMaxim Boguk, проц i3-3220 4 гига ssd 500 гигов рискну предложить выделить под shared_ хотяб гиг в вообще - http://pgtune.leopard.in.ua/ Еще что-то крутится на сервере? приложения, веб? Спасибо. Нет, только база, больше ничего не крутится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.09.2016, 13:52 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
oracle_admmefmanпропущено... рискну предложить выделить под shared_ хотяб гиг в вообще - http://pgtune.leopard.in.ua/ Еще что-то крутится на сервере? приложения, веб? Спасибо. Нет, только база, больше ничего не крутится. сколько юзеров работает на сервере? графики какие-нибудь (заббикс) есть? где конктетно просадка. объем вал, темпы? ну и ворк мем скорее всего тоже нужно увеличить. Тут поможет explain analize главных запросов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.09.2016, 14:08 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
mefmanoracle_admпропущено... Спасибо. Нет, только база, больше ничего не крутится. сколько юзеров работает на сервере? графики какие-нибудь (заббикс) есть? где конктетно просадка. объем вал, темпы? ну и ворк мем скорее всего тоже нужно увеличить. Тут поможет explain analize главных запросов. юзеров немного(не больше 10). Графиков в заббиксе пока нет, но скоро будут. Система следующая: я парсю логи, потом gzip, после этого zcat | psql copy после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск) Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло) Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.09.2016, 00:15 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
oracle_admСистема следующая: я парсю логи, потом gzip, после этого zcat | psql copy после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск)Мы что-то похожее делаем. Важно, что новые данные вставляем командой COPY - все строки имеют одинаковое значение time_id (минута). При этом ВСЕ индексы в таблице должны начинаться с поля time_id. Апсерты тоже выполняем (агрегирование по часам, суткам,..) - запросы "INSERT AS SELECT GROUP BY" на большое число строк с одинаковым результирующим time_id. Благодаря этому данные и в таблице и во всех индексных файлах кластеризованы по time_id (не строго упорядочены, а сгруппированы). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.09.2016, 15:20 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
oracle_admmefmanпропущено... сколько юзеров работает на сервере? графики какие-нибудь (заббикс) есть? где конктетно просадка. объем вал, темпы? ну и ворк мем скорее всего тоже нужно увеличить. Тут поможет explain analize главных запросов. юзеров немного(не больше 10). Графиков в заббиксе пока нет, но скоро будут. Система следующая: я парсю логи, потом gzip, после этого zcat | psql copy после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск) Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло) Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше. 1)я бы посоветовал сильно поднять checkpoint_segments+checkpoint_timeout (до 256 и 60min например) и включить Log_checkpoints 2)а что показывает iostat -xmd 1 во время вставок ? (может у вас просто ssd не особо быстрый или вы вообще не в диск упираетесь) 3)попробуйте вставлять в 4 потока... вполне может стать в 4 раза быстрее (ssd хорошо именно при параллельной работе себя ведет) 4)судя по названию процессора не стоит ожидать и от процессора и от НЕ серверного диска чудес. -- Maxim Boguk www.postgresql-consulting.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.09.2016, 16:34 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
Maxim Boguk[ а что показывает iostat -xmd 1 во время вставок ? (может у вас просто ssd не особо быстрый или вы вообще не в диск упираетесь) Сдается мне что у него венда. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.09.2016, 16:37 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
oracle_adm, а как выглядит пакет апсертов ? -- я как--то изгалялся с подготовкой препаредов и вызовом их в одном пакетике, все было заведомо в одну нить ("жжоп репликации") -- т.ч. можно было (апсертов тогда ещё не было) в with конструкциях это гнать. они были довольно навороченные, и препареды хорошо спасали от задумчивости. но если вы упираетесь в диск -- можно предположить, что ещё и все время версии перетираете -- у вас например индексы раз в 10--100 и более раздуты -- тогда вы зря с оракла слезли -- вам периодически факьюм фулл придется дергать -- оно вам надо ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.09.2016, 21:02 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
oracle_admmefmanпропущено... сколько юзеров работает на сервере? графики какие-нибудь (заббикс) есть? где конктетно просадка. объем вал, темпы? ну и ворк мем скорее всего тоже нужно увеличить. Тут поможет explain analize главных запросов. юзеров немного(не больше 10). Графиков в заббиксе пока нет, но скоро будут. Система следующая: я парсю логи, потом gzip, после этого zcat | psql copy после этого запускается upsert(примерно 75к записей) в большую таблицу с 5-ью индексами(собвственно здесь и имею тормоза, которые упираются в диск) Сейчас я переписал апсерт по частям(чтобы по 1к записей инсертилось с паузой в 2 секунды, но не сильно помогло) Настройки выставил в соответствии с http://pgtune.leopard.in.ua/. Но не могу сказать что стало лучше. Спасибо за совет. http://pgtune.leopard.in.ua/. Помогло. Диск теперь не читаем при запросах = ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.10.2016, 18:33 |
|
||
|
pg упирается в disk
|
|||
|---|---|---|---|
|
#18+
qwwqoracle_adm, а как выглядит пакет апсертов ? -- я как--то изгалялся с подготовкой препаредов и вызовом их в одном пакетике, все было заведомо в одну нить ("жжоп репликации") -- т.ч. можно было (апсертов тогда ещё не было) в with конструкциях это гнать. они были довольно навороченные, и препареды хорошо спасали от задумчивости. но если вы упираетесь в диск -- можно предположить, что ещё и все время версии перетираете -- у вас например индексы раз в 10--100 и более раздуты -- тогда вы зря с оракла слезли -- вам периодически факьюм фулл придется дергать -- оно вам надо ? vacuum full в любом случае нужно делать время от времени. Мы с оракла не слазили) изначально подняли постгрес и довольны, что не нужно платить бешеные деньги за лицензию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.10.2016, 18:36 |
|
||
|
|

start [/forum/topic.php?fid=53&msg=39318746&tid=1996962]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
193ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
49ms |
get tp. blocked users: |
1ms |
| others: | 285ms |
| total: | 577ms |

| 0 / 0 |
