ReSQL.ru
     
powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pd_dump одну таблицу в несколько потоков?
8 сообщений из 8, страница 1 из 1
pd_dump одну таблицу в несколько потоков?
    #40124952
AlexVin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlexVin
Гость
postgres 11
pd_dump не умеет дампить одну не партиционированную таблицу в несколько потоков?
...
Рейтинг: 0 / 0
06.01.2022, 13:24
| Ответить | Цитировать | Написать  
pd_dump одну таблицу в несколько потоков?
    #40124953
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
AlexVin,

нет, не умеет.
...
Рейтинг: 0 / 0
06.01.2022, 13:25
| Ответить | Цитировать | Написать  
pd_dump одну таблицу в несколько потоков?
    #40124954
AlexVin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlexVin
Гость
а если copy порциями по id - там можно все порции выгрузить на один timestamp?
подскажите синтаксис плз, если есть
...
Рейтинг: 0 / 0
06.01.2022, 13:37
| Ответить | Цитировать | Написать  
pd_dump одну таблицу в несколько потоков?
    #40125032
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
AlexVin
а если copy порциями по id - там можно все порции выгрузить на один timestamp?
подскажите синтаксис плз, если есть


https://www.postgresql.org/docs/14/functions-admin.html#FUNCTIONS-SNAPSHOT-SYNCHRONIZATION
+
SET TRANSACTION SNAPSHOT snapshot_id
https://www.postgresql.org/docs/14/sql-set-transaction.html
там как раз разобрано как использовать.

PS: а нафига вам такое понадобилось? настолько гигантская таблица? а зачем её часто dump делать тогда?

могу подсказать хинт - 80% времени pg_dump тратит на сжатие... поэтому pg_dump -Z 0 | pbzip2 (сколько там ядер процессора выдать на сжатие и на какой уровень не жалко) - скорее всего в такой ситуации будет лучше...
ещё можно -Z 1 или -Z 2 вместо умолчательного -Z 6 попробовать - тоже ускоряет (надо смотреть чтобы процесс базы отдающий данные был на 100% по cpu занят а не процесс pg_dump).


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
06.01.2022, 21:26
| Ответить | Цитировать | Написать  
pd_dump одну таблицу в несколько потоков?
    #40125035
AlexVin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlexVin
Гость
большая. мне по сетке её надо один раз сдернуть и развернуть в другую базу
...
Рейтинг: 0 / 0
06.01.2022, 21:48
| Ответить | Цитировать | Написать  
pd_dump одну таблицу в несколько потоков?
    #40125039
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
AlexVin
большая. мне по сетке её надо один раз сдернуть и развернуть в другую базу

тут можно и в сторону логической репликации посмотреть.
...
Рейтинг: 0 / 0
06.01.2022, 22:08
| Ответить | Цитировать | Написать  
pd_dump одну таблицу в несколько потоков?
    #40125043
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
AlexVin
большая. мне по сетке её надо один раз сдернуть и развернуть в другую базу


тогда наверное самое быстрое будет pg_dump -F c -Z 0 | pg_restore
вообще не создавая файлов промежуточных (и тем более их не сжимая).
Скорее всего будет лимитировано скоростью сети если там не 50gbit конечно.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
06.01.2022, 22:32
| Ответить | Цитировать | Написать  
pd_dump одну таблицу в несколько потоков?
    #40125049
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Maxim Boguk

могу подсказать хинт - 80% времени pg_dump тратит на сжатие...

А вот за это отдельное спасибо. Не задумывался никогда...
...
Рейтинг: 0 / 0
06.01.2022, 23:16
| Ответить | Цитировать | Написать  
8 сообщений из 8, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pd_dump одну таблицу в несколько потоков?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&tid=1993721]:
 0ms
get settings:
 7ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 26ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 36ms
get tp. blocked users:
 1ms
others: 252ms
total:  350ms
созд. / загр.: 350ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]