powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Долго заливается dump
11 сообщений из 11, страница 1 из 1
Долго заливается dump
    #33861594
postt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть дамп БД размеров 800 Мб. Заливаю его на сервер командой psql namedb < /путь к dump.
Дамп делаю командой pg_dump имя БД > /путь.
Заливается более 30 мин (возможно около часа). Это для меня критично. Как можно ускорить и из-за чего могут быть такие тормоза?
Машина Celeron 2ГГц,512 Мб память.
...
Рейтинг: 0 / 0
Долго заливается dump
    #33861900
ChameLe0n
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
По моему опыту.
1) Долго создаются внешние ключи если по данному полю нет индекса
2) Долго создаются индексы
Остальные операции происходят достаточно быстро
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862200
postt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Именно так, наибольшее время идет на создание индексов и немного меньше SEQUENCE. Есть ли способы ускорить это? Просто сейчас быза в 700 Мб заливается около часа, а когда она будет 10 ГБайт будет несколько часов? Может есть какие-то опции pg_dump?
Поделитесь у кого сколько времени происходит загрузка дампа и размер баз.
Есть идея делать дамп папки data, но думаю,что это менее надежно и может не помоч в случае краха системы.
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862208
> сейчас быза в 700 Мб

Сколько стоят эти данные? Сколько стоит простой системы?

> будет 10 ГБайт

А эти? Может, дешевле использовать традиционные средства резервирования, а не делать это через хм... не предназначенные для этого отверстия?
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862234
postt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PostgreSQL начинающий> сейчас быза в 700 Мб

Сколько стоят эти данные? Сколько стоит простой системы?

> будет 10 ГБайт

А эти? Может, дешевле использовать традиционные средства резервирования, а не делать это через хм... не предназначенные для этого отверстия?
Не понял? Традиционные средства-это что? RAID,зеркалирование?
Потеря данных за день-два не так уж страшна, но потеря всех данных очень дорого обойдется. Также важно время восстановления. Например если полностью упадет система,то нужно время на ее восстановление+восстановление из дампа. Это уже несколько часав простоя.
Еще интересует горячее резервирование. Какие есть для этого возможности в postgres.
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862402
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По поводу горячего резервирования - какая версия PG? Если 8.x - используйте PITR
читать тут http://www.postgresql.org/docs/8.1/interactive/backup.html

По поводу скорости восстановления - Вы думали что у Вас БД будет безразмерная и за 5 минут восстанавливаться? Такого не бывает
Для ускорения - используйте много дисков, лучше SCSI, еще лучше дисковые стойки с большим кэшем - но я думаю у вас денег на это не хватит. Таблицы раскидайте по дискам
Лучше RAID 1 или RAID 10 плюс разработать стратегию восстановления
Для примера - БД 150 GB , дисковая подсистема MA-8000 12 зеркал по 70 гиг
Полное время восстановления и накат по журналам - где-то 1.5 часа(Oracle RDB)

Я бы посоветовал Hot-stand by - благо на PG 8.x это можно реализовать с использованием PITR
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862442
> Не понял? Традиционные средства-это что? RAID,зеркалирование?

У-у-у... как все запущено...

> потеря всех данных очень дорого обойдется

Дорого - это сколько? Сто баксов? Сто тысяч? Сто миллионов?

Потратьте четверть суммы стоимости данных на то, чтобы их не терять.

> Также важно время восстановления

И еще четверть - на разработку нормальной архитектуры приложения с заданной доступностью.

> Например если полностью упадет система

Что значит "упадет система"? Подробнее, пожалуйста.

> Еще интересует горячее резервирование.

Чего горячее резервирование? Дублируются и/или резервируются процессоры, блоки питания, жесткие диски, сетевое оборудование, силовое оборудование, серверы, внешние каналы, полностью инфраструктура, - что резервировать собираемся? Сколько денег намерены потратить?

> Какие есть для этого возможности в postgres.

СУБД как бы не обязана заботиться о резервировании - это не ее дело. Ее задача - хранить данные, манипулировать ими и обеспечивать их целостность и непротиворечивость.
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862507
raul_83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А дамп случайно снимался не с ключем -d - как insert? В формате INSERT разворачивается на порядки медленнее чем в формате COPY. Ещё при разворачивании можно посмотреть командой top например - на что расходуется основное время
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862621
postt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
raul_83А дамп случайно снимался не с ключем -d - как insert? В формате INSERT разворачивается на порядки медленнее чем в формате COPY. Ещё при разворачивании можно посмотреть командой top например - на что расходуется основное время
Без ключа -d. В формате COPY.
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862625
postt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PostgreSQL начинающий> Не понял? Традиционные средства-это что? RAID,зеркалирование?

У-у-у... как все запущено...

> потеря всех данных очень дорого обойдется

Дорого - это сколько? Сто баксов? Сто тысяч? Сто миллионов?

Потратьте четверть суммы стоимости данных на то, чтобы их не терять.

> Также важно время восстановления

И еще четверть - на разработку нормальной архитектуры приложения с заданной доступностью.

> Например если полностью упадет система

Что значит "упадет система"? Подробнее, пожалуйста.

> Еще интересует горячее резервирование.

Чего горячее резервирование? Дублируются и/или резервируются процессоры, блоки питания, жесткие диски, сетевое оборудование, силовое оборудование, серверы, внешние каналы, полностью инфраструктура, - что резервировать собираемся? Сколько денег намерены потратить?

> Какие есть для этого возможности в postgres.

СУБД как бы не обязана заботиться о резервировании - это не ее дело. Ее задача - хранить данные, манипулировать ими и обеспечивать их целостность и непротиворечивость.
В вашем посте ни одной полезной идеи. Извените конечно.
Упадет система - это значит упадет Linux (например, файловая система). Начальству как всегда хочется получить надежную систему практически не вкладывая денег. Нужна система которая быстро восстановиться (не больше 30 мин на заливку дампа). Как я понял, что 700 Мб за 40-50 мин - это норма н амоем железе (диск IDE).
...
Рейтинг: 0 / 0
Долго заливается dump
    #33862664
> Извените конечно.

БИспрАблем.
...
Рейтинг: 0 / 0
11 сообщений из 11, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Долго заливается dump
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]