ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pg_dump таблицы с одного сервера на другой
9 сообщений из 9, страница 1 из 1
pg_dump таблицы с одного сервера на другой
    #39670604
mumuskul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mumuskul
Гость
Есть два сервера. Нужно скопировать очень большую таблицу (~800ГБ) на другой сервер, но в таблицу с другим именем, так как с таким именем уже таблица существует и такая конструкция не работает
pg_dump -t "table_name" -h SERVER1 -U USER DB | psql -h SERVER2 -U USER DB
можно ли это как-то сделать?
переименовывать на время копирования таблицы другую таблицу не хочется
Заранее благодарен
...
Рейтинг: 0 / 0
06.07.2018, 12:03
| Ответить | Цитировать | Написать  
pg_dump таблицы с одного сервера на другой
    #39670639
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
mumuskul,

перенесите структуру вручную. Затем уже данные COPY запросом, на источнике to stdout, на приёмнике from stdin. pg_dump данные тоже через copy тягает, потому никакой разницы.
...
Рейтинг: 0 / 0
06.07.2018, 12:55
| Ответить | Цитировать | Написать  
pg_dump таблицы с одного сервера на другой
    #39670790
mumuskul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mumuskul
Гость
Спасибо, то что надо!
...
Рейтинг: 0 / 0
06.07.2018, 15:52
| Ответить | Цитировать | Написать  
pg_dump таблицы с одного сервера на другой
    #39671050
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
А в архивном (-F c) формате pg_dump|pg_restore работает быстрее чем COPY?
...
Рейтинг: 0 / 0
07.07.2018, 17:08
| Ответить | Цитировать | Написать  
pg_dump таблицы с одного сервера на другой
    #39671071
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
Бумбараш,

Зависит от того, во что вы упираетесь. custom формат дефотно сжимается. Поэтому будет быстрее если упёрлись в сеть и медленнее - если в CPU.
На уровне чтения-записи в саму базу - это всё так же copy.
...
Рейтинг: 0 / 0
07.07.2018, 18:39
| Ответить | Цитировать | Написать  
pg_dump таблицы с одного сервера на другой
    #39671532
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
MelkijБумбараш,

Зависит от того, во что вы упираетесь. custom формат дефотно сжимается. Поэтому будет быстрее если упёрлись в сеть и медленнее - если в CPU.
На уровне чтения-записи в саму базу - это всё так же copy.

Hm справедливости ради - с сжатием все будет непросто потому что:

host1:db1 -> не сжатый поток данных -> pg_dump + сжатие | pg_restore + разжатие -> не сжатый поток данных -> host2:db2

в итоге как (и где) не пускай в таком виде по сети будет идти несжатый поток данных (сжатый только через | будет передаваться).

Если надо по сети сжатое передавать - это будет несколько сложнее но реально сделать конечно через ssh.
Но ssh и сам сжимать налету умеет.

В общем для переноса данных 1 таблицы скорее всего pg_dump -Fc будет медленнее чем copy | copy или тоже самое через ssh с сжатием на удаленный хост.

Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
09.07.2018, 12:05
| Ответить | Цитировать | Написать  
pg_dump таблицы с одного сервера на другой
    #39671588
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
Maxim Boguk,

мм, логично. Я что-то автоматически подумал про ssh ... 'pg_dump -Fc ...' | pg_restore или около того.
Верно, pg_dump -Fc -h ... | pg_restore ... - будет сжимать и распаковывать данные на одном и том же хосте, просто потребляя CPU и замедляя процесс. А по сети при этом пойдут всё так же несжатые данные обычного copy запроса.
...
Рейтинг: 0 / 0
09.07.2018, 13:32
| Ответить | Цитировать | Написать  
pg_dump таблицы с одного сервера на другой
    #39671676
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Но у pg_restore для архивного формата есть опция с параллелями
--jobs=number-of-jobs
Вроде как файл оно должно быстрее закачивать? Работает ли это на одной таблице?

Естественно, тут уже без конвейра будет |.
...
Рейтинг: 0 / 0
09.07.2018, 15:49
| Ответить | Цитировать | Написать  
pg_dump таблицы с одного сервера на другой
    #39671745
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
БумбарашНо у pg_restore для архивного формата есть опция с параллелями
--jobs=number-of-jobs
Вроде как файл оно должно быстрее закачивать? Работает ли это на одной таблице?

Естественно, тут уже без конвейра будет |.

Нет --jobs (что для pg_dump что для pg_restore) только между таблицами параллелит, одна таблица всегда dump и restore в один поток.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
09.07.2018, 17:38
| Ответить | Цитировать | Написать  
9 сообщений из 9, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / pg_dump таблицы с одного сервера на другой
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/moderation_log.php?user_name=Goodyear]:
 0ms
get settings:
 10ms
get forum list:
 16ms
get settings:
 8ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 39ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 41ms
get tp. blocked users:
 2ms
others: 711ms
total:  859ms
созд. / загр.: 859ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]