ускорить pg_restore 250GB / PostgreSQL

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ускорить pg_restore 250GB

5 сообщений из 5, страница 1 из 1

ускорить pg_restore 250GB

#39761297

elisey1836

Гость

Есть виртуалка:
60GB RAM, 12 Cores, диски 10K RAID 1.
Ubuntu 16.04.5 LTS (Linux 4.4.0-141-generic #167-Ubuntu x86_64 x86_64 x86_64 GNU/Linux)

Код: sql

1.
2.

postgres=# select version();
PostgreSQL 11.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 5.4.0-6ubuntu1~16.04.10) 5.4.0 20160609, 64-bit

Настройки postgresql.conf

Код: sql

1.
2.
3.
4.
5.

shared_buffers = 10GB
huge_pages = on
work_mem = 48MB
maintenance_work_mem = 5GB
max_parallel_maintenance_workers = 8

На время восстановления:

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

wal_level = minimal
fsync = off
synchronous_commit = off
full_page_writes = off
wal_buffers = 64MB
checkpoint_timeout = 120min
max_wal_size = 5GB
archive_mode = off 
max_wal_senders = 0
wal_keep_segments = 0

Восстанавливаю:

Код: powershell

 pg_restore -h localhost -U user-d dbname-Fd backup/20190115/ -j 4

Пробовал разное количество заданий j 2-8, особого прироста по времени восстановления нет. Все в пределах 70 мин.
Есть возможность ускорить процесс, может настройки не оптимальны?

...

Рейтинг:

0 / 0

18.01.2019, 10:36

| Ответить | Цитировать | Написать

ускорить pg_restore 250GB

#39761305

mefman

Участник

Сообщения: 1 562

Рейтинг: 0 / 0

elisey1836,
если одна таблица - 90% всей БД то никак не ускорить.

...

Рейтинг:

0 / 0

18.01.2019, 10:52

| Ответить | Цитировать | Написать

ускорить pg_restore 250GB

#39761311

elisey1836

Гость

mefman,
Самая большая ~60GB, остальные гораздо меньше и их много.

...

Рейтинг:

0 / 0

18.01.2019, 10:56

| Ответить | Цитировать | Написать

ускорить pg_restore 250GB

#39761340

mefman

Участник

Сообщения: 1 562

Рейтинг: 0 / 0

elisey1836mefman,
Самая большая ~60GB, остальные гораздо меньше и их много.
Значит время рестора будет не меньше времени рестора этой таблы(при параллельном импорте).
Чего ждем машина/база во время импорта?

...

Рейтинг:

0 / 0

18.01.2019, 11:19

| Ответить | Цитировать | Написать

ускорить pg_restore 250GB

#39761353

elisey1836

Гость

mefmanЧего ждем машина/база во время импорта?

Ядра практически не нагружены, бывают короткие пики.
Основная нагрузка на диски, бывают очереди > 100.

...

Рейтинг:

0 / 0

18.01.2019, 11:30

| Ответить | Цитировать | Написать

5 сообщений из 5, страница 1 из 1

Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ускорить pg_restore 250GB

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=53&msg=39761305&tid=1995399]:	0ms
get settings:	9ms
get forum list:	15ms
check forum access:	4ms
check topic access:	4ms
track hit:	44ms
get topic data:	11ms
get forum data:	2ms
get page messages:	48ms
get tp. blocked users:	2ms
others:	17ms

total:	156ms