Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как проверить целостность полученного бэкапа? / 23 сообщений из 23, страница 1 из 1
20.06.2018, 10:25
    #39662889
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
Сделан утилитой pg_dump
сжатый формат, сделан с опцией -Fc
Есть ли способ проверки корректности без развёртывания?
Очень уж этих дампов дофига на диске лежит.
Благодарствую за советы.
...
Рейтинг: 0 / 0
20.06.2018, 12:27
    #39662968
Синий Слон
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
это не бэкап.
нет.
...
Рейтинг: 0 / 0
20.06.2018, 13:27
    #39663004
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
Синий Слонэто не бэкап.
нет.
Это не совет.
...
Рейтинг: 0 / 0
20.06.2018, 14:10
    #39663039
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolomОчень уж этих дампов дофига на диске лежит.

реальная проверка - восстановление.
и да - дамп не бекап.
...
Рейтинг: 0 / 0
20.06.2018, 14:17
    #39663043
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
и что делать со over 100 файлами каждый из которых весят более 10 GB?
...
Рейтинг: 0 / 0
20.06.2018, 14:19
    #39663046
Уткъ
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolomи что делать со over 100 файлами каждый из которых весят более 10 GB?

А что они у вас такие маленькие?

Наверное с БД что-то не впорядке...
...
Рейтинг: 0 / 0
20.06.2018, 14:20
    #39663047
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
mefmanи да - дамп не бекап.
Как сделать бэкап, если мануал врёт?
...
Рейтинг: 0 / 0
20.06.2018, 14:22
    #39663048
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
Точнее, как вы его делаете?
...
Рейтинг: 0 / 0
20.06.2018, 14:23
    #39663050
Уткъ
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolom если мануал врёт?

Какой мануал у вам врет?



dubolommefmanи да - дамп не бекап.
Как сделать бэкап,


Начать надо с моральной подготовки кластера...
...
Рейтинг: 0 / 0
20.06.2018, 14:25
    #39663051
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
Баз примерно штук 100 на разных серверах.
Базы архивные, бэкапы делались командами вида
pg_dump -Fc -f arch_201706_15.dmp -U postgres -h 192.168.3.15 arch_201706_15
...
Рейтинг: 0 / 0
20.06.2018, 14:28
    #39663052
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
УткъКакой мануал у вам врет?
Начать надо с моральной подготовки кластера...
Вот этот https://postgrespro.ru/docs/postgresql/9.6/backup
База архивная, мало меняющаяся.
Может тогда стопить сервера и архивировать файлы?
...
Рейтинг: 0 / 0
20.06.2018, 14:31
    #39663057
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolom,

Проверить бэкап/дамп можно только восстановлением.
Скрипт для проверки бэкапа/дампа без восстановления делать не будут — слишком сложно.
...
Рейтинг: 0 / 0
20.06.2018, 14:35
    #39663060
ursido
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolom,

В каком месте врет мануал? Кстати, более правильный вот этот .

Для начала прочитайте мануал целиком.
...
Рейтинг: 0 / 0
20.06.2018, 15:00
    #39663084
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
ursidodubolom,

В каком месте врет мануал? Кстати, более правильный вот этот .

Для начала прочитайте мануал целиком.
Вот в этом и врёт
https://www.postgresql.org/docs/9.6/static/backup.html
rtfmThere are three fundamentally different approaches to backing up PostgreSQL data:
* SQL dump
* File system level backup
* Continuous archiving
Each has its own strengths and weaknesses; each is discussed in turn in the following sections.
И в первом пункте
rtfmDumps created by pg_dump are internally consistent, meaning, the dump represents a snapshot of the database at the time pg_dump began running. pg_dump does not block other operations on the database while it is working. (Exceptions are those operations that need to operate with an exclusive lock, such as most forms of ALTER TABLE.)
...
Рейтинг: 0 / 0
20.06.2018, 15:03
    #39663088
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
Или врут те, которые говорят, что pg_dump не бэкап.
...
Рейтинг: 0 / 0
20.06.2018, 15:05
    #39663095
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
Короче, нашёл методу.
Делаем останов сервака, потом бэкапим файлы, жмём их.
В качестве проверки разжимаем на другой машине и пробуем
запустить кластер на тестовом бэкапе.
Если разжимается и запускается- то с большой вероятностью целостность сохранена.
Спасибо за внимание.
...
Рейтинг: 0 / 0
20.06.2018, 21:55
    #39663281
tip78
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolomИли врут те, которые говорят, что pg_dump не бэкап.
а вы поменьше слушайте казачков с 50ю сообщениями

Код: powershell
1.
sudo -u postgres pg_dump -U postgres -b -C -c --serializable-deferrable -f bd_name.sql -d bd_name


если делать БЕЗ -Fc, то будет -Fp (default), и тогда для восстановления НЕ pg_restore, а "\i bd_name.sql"
-Fc занимает меньше всех и имеет бинарные вставки. Восстанавливает всю БД мгновенно.
(при восстановлении надо переключиться сначала на другую БД, чтобы дропнуть старую bd_name, если она есть)
...
Рейтинг: 0 / 0
20.06.2018, 21:55
    #39663282
tip78
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
и останавливать её не обязательно, т.к.
--serializable-deferrable - дождаться момента для выгрузки данных без аномалий
...
Рейтинг: 0 / 0
21.06.2018, 17:07
    #39663738
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
tip78и останавливать её не обязательно, т.к.
--serializable-deferrable - дождаться момента для выгрузки данных без аномалий
Благодарю.Базы архивные, только чтение.
Но включу в скрипт.
Проверять всё равно восстановлением?
...
Рейтинг: 0 / 0
21.06.2018, 17:14
    #39663743
tip78
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolomПроверять всё равно восстановлением?
ну 1 раз то обязательно, что всё правильно настроили
...
Рейтинг: 0 / 0
21.06.2018, 17:18
    #39663745
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolomtip78и останавливать её не обязательно, т.к.
--serializable-deferrable - дождаться момента для выгрузки данных без аномалий
Благодарю.Базы архивные, только чтение.
Но включу в скрипт.
Проверять всё равно восстановлением?

Так если базы архивные на только чтение - 1 раз снять backup 1 раз проверить что они все восстанавливаются нормально и успокоится.
Зачем там периодический backup то?

--
Maxim Boguk
dataegret.ru
...
Рейтинг: 0 / 0
21.06.2018, 17:33
    #39663751
dubolom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
tip78dubolomПроверять всё равно восстановлением?
ну 1 раз то обязательно, что всё правильно настроили
Буду проверять вашим методом. Раз уж так.
Спасибо.
...
Рейтинг: 0 / 0
27.06.2018, 17:09
    #39666725
andruuche
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как проверить целостность полученного бэкапа?
dubolomКороче, нашёл методу.
Делаем останов сервака, потом бэкапим файлы, жмём их.
В качестве проверки разжимаем на другой машине и пробуем
запустить кластер на тестовом бэкапе.
Если разжимается и запускается- то с большой вероятностью целостность сохранена.
Спасибо за внимание.
Копию кластера, которую можно сразу запустить (а не ждать пока она восстановится из дампа) можно сделать "на лету" без остановки сервера, для этого из коробки доступна утилита pg_basebackup:
https://www.postgresql.org/docs/10/static/app-pgbasebackup.html
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как проверить целостность полученного бэкапа? / 23 сообщений из 23, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]