Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pd_dump одну таблицу в несколько потоков? / 8 сообщений из 8, страница 1 из 1
06.01.2022, 13:24
    #40124952
AlexVin
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pd_dump одну таблицу в несколько потоков?
postgres 11
pd_dump не умеет дампить одну не партиционированную таблицу в несколько потоков?
...
Рейтинг: 0 / 0
06.01.2022, 13:25
    #40124953
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pd_dump одну таблицу в несколько потоков?
AlexVin,

нет, не умеет.
...
Рейтинг: 0 / 0
06.01.2022, 13:37
    #40124954
AlexVin
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pd_dump одну таблицу в несколько потоков?
а если copy порциями по id - там можно все порции выгрузить на один timestamp?
подскажите синтаксис плз, если есть
...
Рейтинг: 0 / 0
06.01.2022, 21:26
    #40125032
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pd_dump одну таблицу в несколько потоков?
AlexVin
а если copy порциями по id - там можно все порции выгрузить на один timestamp?
подскажите синтаксис плз, если есть


https://www.postgresql.org/docs/14/functions-admin.html#FUNCTIONS-SNAPSHOT-SYNCHRONIZATION
+
SET TRANSACTION SNAPSHOT snapshot_id
https://www.postgresql.org/docs/14/sql-set-transaction.html
там как раз разобрано как использовать.

PS: а нафига вам такое понадобилось? настолько гигантская таблица? а зачем её часто dump делать тогда?

могу подсказать хинт - 80% времени pg_dump тратит на сжатие... поэтому pg_dump -Z 0 | pbzip2 (сколько там ядер процессора выдать на сжатие и на какой уровень не жалко) - скорее всего в такой ситуации будет лучше...
ещё можно -Z 1 или -Z 2 вместо умолчательного -Z 6 попробовать - тоже ускоряет (надо смотреть чтобы процесс базы отдающий данные был на 100% по cpu занят а не процесс pg_dump).


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
06.01.2022, 21:48
    #40125035
AlexVin
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pd_dump одну таблицу в несколько потоков?
большая. мне по сетке её надо один раз сдернуть и развернуть в другую базу
...
Рейтинг: 0 / 0
06.01.2022, 22:08
    #40125039
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pd_dump одну таблицу в несколько потоков?
AlexVin
большая. мне по сетке её надо один раз сдернуть и развернуть в другую базу

тут можно и в сторону логической репликации посмотреть.
...
Рейтинг: 0 / 0
06.01.2022, 22:32
    #40125043
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pd_dump одну таблицу в несколько потоков?
AlexVin
большая. мне по сетке её надо один раз сдернуть и развернуть в другую базу


тогда наверное самое быстрое будет pg_dump -F c -Z 0 | pg_restore
вообще не создавая файлов промежуточных (и тем более их не сжимая).
Скорее всего будет лимитировано скоростью сети если там не 50gbit конечно.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
06.01.2022, 23:16
    #40125049
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pd_dump одну таблицу в несколько потоков?
Maxim Boguk

могу подсказать хинт - 80% времени pg_dump тратит на сжатие...

А вот за это отдельное спасибо. Не задумывался никогда...
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pd_dump одну таблицу в несколько потоков? / 8 сообщений из 8, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]