ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ускорить pg_restore 250GB
5 сообщений из 5, страница 1 из 1
ускорить pg_restore 250GB
    #39761297
elisey1836
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
elisey1836
Гость
Есть виртуалка:
60GB RAM, 12 Cores, диски 10K RAID 1.
Ubuntu 16.04.5 LTS (Linux 4.4.0-141-generic #167-Ubuntu x86_64 x86_64 x86_64 GNU/Linux)

Код: sql
1.
2.
postgres=# select version();
PostgreSQL 11.1 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 5.4.0-6ubuntu1~16.04.10) 5.4.0 20160609, 64-bit



Настройки postgresql.conf
Код: sql
1.
2.
3.
4.
5.
shared_buffers = 10GB
huge_pages = on
work_mem = 48MB
maintenance_work_mem = 5GB
max_parallel_maintenance_workers = 8


На время восстановления:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
wal_level = minimal
fsync = off
synchronous_commit = off
full_page_writes = off
wal_buffers = 64MB
checkpoint_timeout = 120min
max_wal_size = 5GB
archive_mode = off 
max_wal_senders = 0
wal_keep_segments = 0


Восстанавливаю:
Код: powershell
1.
 pg_restore -h localhost -U user-d dbname-Fd backup/20190115/ -j 4



Пробовал разное количество заданий j 2-8, особого прироста по времени восстановления нет. Все в пределах 70 мин.
Есть возможность ускорить процесс, может настройки не оптимальны?
...
Рейтинг: 0 / 0
18.01.2019, 10:36
| Ответить | Цитировать | Написать  
ускорить pg_restore 250GB
    #39761305
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
elisey1836,
если одна таблица - 90% всей БД то никак не ускорить.
...
Рейтинг: 0 / 0
18.01.2019, 10:52
| Ответить | Цитировать | Написать  
ускорить pg_restore 250GB
    #39761311
elisey1836
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
elisey1836
Гость
mefman,
Самая большая ~60GB, остальные гораздо меньше и их много.
...
Рейтинг: 0 / 0
18.01.2019, 10:56
| Ответить | Цитировать | Написать  
ускорить pg_restore 250GB
    #39761340
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
elisey1836mefman,
Самая большая ~60GB, остальные гораздо меньше и их много.
Значит время рестора будет не меньше времени рестора этой таблы(при параллельном импорте).
Чего ждем машина/база во время импорта?
...
Рейтинг: 0 / 0
18.01.2019, 11:19
| Ответить | Цитировать | Написать  
ускорить pg_restore 250GB
    #39761353
elisey1836
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
elisey1836
Гость
mefmanЧего ждем машина/база во время импорта?

Ядра практически не нагружены, бывают короткие пики.
Основная нагрузка на диски, бывают очереди > 100.
...
Рейтинг: 0 / 0
18.01.2019, 11:30
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / ускорить pg_restore 250GB
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]