Гость
Войти | Профиль | Очистить
Действия ...
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ускорить pg_restore 250GB / 5 сообщений из 5, страница 1 из 1
18.01.2019, 10:36
    #39761297
elisey1836
elisey1836
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ускорить pg_restore 250GB
Есть виртуалка:
60GB RAM, 12 Cores, диски 10K RAID 1.
Ubuntu 16.04.5 LTS (Linux 4.4.0-141-generic #167-Ubuntu x86_64 x86_64 x86_64 GNU/Linux)

Код: sql
1.
2.
postgres=# select version();
PostgreSQL 11.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 5.4.0-6ubuntu1~16.04.10) 5.4.0 20160609, 64-bit



Настройки postgresql.conf
Код: sql
1.
2.
3.
4.
5.
shared_buffers = 10GB
huge_pages = on
work_mem = 48MB
maintenance_work_mem = 5GB
max_parallel_maintenance_workers = 8


На время восстановления:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
wal_level = minimal
fsync = off
synchronous_commit = off
full_page_writes = off
wal_buffers = 64MB
checkpoint_timeout = 120min
max_wal_size = 5GB
archive_mode = off 
max_wal_senders = 0
wal_keep_segments = 0


Восстанавливаю:
Код: powershell
1.
 pg_restore -h localhost -U user-d dbname-Fd backup/20190115/ -j 4



Пробовал разное количество заданий j 2-8, особого прироста по времени восстановления нет. Все в пределах 70 мин.
Есть возможность ускорить процесс, может настройки не оптимальны?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.01.2019, 10:52
    #39761305
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ускорить pg_restore 250GB
elisey1836,
если одна таблица - 90% всей БД то никак не ускорить.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.01.2019, 10:56
    #39761311
elisey1836
elisey1836
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ускорить pg_restore 250GB
mefman,
Самая большая ~60GB, остальные гораздо меньше и их много.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.01.2019, 11:19
    #39761340
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ускорить pg_restore 250GB
elisey1836mefman,
Самая большая ~60GB, остальные гораздо меньше и их много.
Значит время рестора будет не меньше времени рестора этой таблы(при параллельном импорте).
Чего ждем машина/база во время импорта?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.01.2019, 11:30
    #39761353
elisey1836
elisey1836
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ускорить pg_restore 250GB
mefmanЧего ждем машина/база во время импорта?

Ядра практически не нагружены, бывают короткие пики.
Основная нагрузка на диски, бывают очереди > 100.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ускорить pg_restore 250GB / 5 сообщений из 5, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 398ms
Закрыть
start [/forum/topic.php?fid=53&tablet=1&tid=1995399]:
 0ms
get settings:
 6ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 27ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 40ms
get tp. blocked users:
 1ms
others: 291ms
total:  398ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]