ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как заставить pg_backupset жрать процессор при архивировании? -z
6 сообщений из 6, страница 1 из 1
Как заставить pg_backupset жрать процессор при архивировании? -z
    #39476171
Константин Сергеевич Дерерк
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Сергеевич Дерерк
Участник
Добрый день.


Смотрю из 64 процов загружается только один.

Можно как-нить заставить загрузить 4 проца, например?
...
Рейтинг: 0 / 0
22.06.2017, 13:53
| Ответить | Цитировать | Написать  
Как заставить pg_backupset жрать процессор при архивировании? -z
    #39476173
Константин Сергеевич Дерерк
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Сергеевич Дерерк
Участник
виндоус
...
Рейтинг: 0 / 0
22.06.2017, 13:53
| Ответить | Цитировать | Написать  
Как заставить pg_backupset жрать процессор при архивировании? -z
    #39476189
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Константин Сергеевич ДереркДобрый день.


Смотрю из 64 процов загружается только один.

Можно как-нить заставить загрузить 4 проца, например?

1)использовать новую версию pg и далее делать pg_dump -F d -j (8-16-32 сколько не жалко)
2)делать backup с -Z 0 а потом сжимать каким то внешним архиватором который умеет в много потоков делать (можно наверное даже через pipe соединить)
3)поставить -Z 2 (вместо умолчательных -Z 9... все еще 1 ядро будет но раза в 3 быстрее за счет меньшего сжатия)
4)снимать backup удаленно с Linux сервера где легко делается pg_dump | pbzip2
5)смирится


--
Maxim Boguk
dataegret.ru
...
Рейтинг: 0 / 0
22.06.2017, 14:07
| Ответить | Цитировать | Написать  
Как заставить pg_backupset жрать процессор при архивировании? -z
    #39476211
Константин Сергеевич Дерерк
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Сергеевич Дерерк
Участник
Maxim BogukКонстантин Сергеевич ДереркДобрый день.


Смотрю из 64 процов загружается только один.

Можно как-нить заставить загрузить 4 проца, например?

1)использовать новую версию pg и далее делать pg_dump -F d -j (8-16-32 сколько не жалко)
2)делать backup с -Z 0 а потом сжимать каким то внешним архиватором который умеет в много потоков делать (можно наверное даже через pipe соединить)
3)поставить -Z 2 (вместо умолчательных -Z 9... все еще 1 ядро будет но раза в 3 быстрее за счет меньшего сжатия)
4)снимать backup удаленно с Linux сервера где легко делается pg_dump | pbzip2
5)смирится


--
Maxim Boguk
dataegret.ru


Большое спасибо, впитываю информацию.
...
Рейтинг: 0 / 0
22.06.2017, 14:40
| Ответить | Цитировать | Написать  
Как заставить pg_backupset жрать процессор при архивировании? -z
    #39476607
LeXa NalBat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LeXa NalBat
Участник
Мы вызываем через pipe на бэкапном linux сервере pigz с коэффициентом сжатия 4 в 12 процессов (всего на сервере 16 ядер). Бэкапный сервер находится с мастером в одной стойке, соединены 10 Гбит.

Код: plaintext
... pg_basebackup -D - -Ft -c fast -h ... -p 5432 -U postgres -R -w | pigz -4 -p 12 ...

Код: plaintext
1.
2.
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                        
18713 backupma  20   0  918m  15m  592 S 1223.3  0.0 111:16.76 pigz -4 -p 12                                                                                                                                
18711 backupma  20   0  162m 2468 1896 S 44.7  0.0   4:32.48 pg_basebackup -D - -Ft -c fast -h i22 -p 5432 -U postgres -R -w

Maxim Boguk1)использовать новую версию pg и далее делать pg_dump -F d -j (8-16-32 сколько не жалко)Но ведь это покажет положительный эффект только если в базе много крупных таблиц? Антипаттерн - одна огромная таблица.
...
Рейтинг: 0 / 0
23.06.2017, 10:21
| Ответить | Цитировать | Написать  
Как заставить pg_backupset жрать процессор при архивировании? -z
    #39476792
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
LeXa NalBatMaxim Boguk1)использовать новую версию pg и далее делать pg_dump -F d -j (8-16-32 сколько не жалко)Но ведь это покажет положительный эффект только если в базе много крупных таблиц? Антипаттерн - одна огромная таблица.

Это действительно не работает если в базе есть 1-2-3 таблицы занимающие большую часть места.
Так что замечание про антипаттерн - оно правильное да.
Но в остальных случаях часто решение с | pigz или | pbzip2 будет упираться не в сжатие а в 1 процесс copy на backend базы.
Т.е. в нормальных условиях - pg_dump -j N - будет более эффективен (если будете тестить - не забейте 10Gbit у себя что в общем несложно сделать).

--
Maxim Boguk
dataegret.ru
...
Рейтинг: 0 / 0
23.06.2017, 15:04
| Ответить | Цитировать | Написать  
6 сообщений из 6, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как заставить pg_backupset жрать процессор при архивировании? -z
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=39476607&tid=1996420]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 55ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 45ms
get tp. blocked users:
 1ms
others: 329ms
total:  475ms
созд. / загр.: 475ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]