ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / как сделать безопасный снэпшот файловой системы, на которой хранится база
39 сообщений из 39, показаны все 2 страниц
  все  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025710
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
подскажите аналог в PostgreSQL для:

http://www.sql.ru/forum/1141640/bystryy-snepshot-bazy-v-besplatnoy-versii-db2-express-c-s-pomoshhu-zfs?hl=zfs
...
Рейтинг: 0 / 0
09.08.2015, 13:20
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025729
ursido
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ursido
Гость
sanyock2,

Посмотрите здесь и здесь .
...
Рейтинг: 0 / 0
09.08.2015, 15:09
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025733
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
ursidosanyock2,

Посмотрите здесь и здесь .


There are two restrictions, however, which make this method impractical, or at least inferior to the pg_dump method:
The database server must be shut down in order to get a usable backup.

suspend в DB2 занимает несколько секунд и при этом не теряется связь приложений с базой, у них лишь возникает небольшое ожидание длиной в несколько секунд

снэпшот ZFS делается тоже за несколько секунд

на все про все секунд 5 для базы в несколько десятков гиг и потом приложения продолжают свою работу без перезапуска чего-либо

как аналогичный фокус проделать в PostgreSQL?
...
Рейтинг: 0 / 0
09.08.2015, 15:31
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025738
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
sanyock2ursidosanyock2,

Посмотрите здесь и здесь .


There are two restrictions, however, which make this method impractical, or at least inferior to the pg_dump method:
The database server must be shut down in order to get a usable backup.

suspend в DB2 занимает несколько секунд и при этом не теряется связь приложений с базой, у них лишь возникает небольшое ожидание длиной в несколько секунд

снэпшот ZFS делается тоже за несколько секунд

на все про все секунд 5 для базы в несколько десятков гиг и потом приложения продолжают свою работу без перезапуска чего-либо

как аналогичный фокус проделать в PostgreSQL?

Объясните для чего вы планируете использовать такую функциональность?
Если для быстрого создания backup то pg_basebackup в моих тестах 10Gbit сетку использовал на 100% и позволял очень быстро разворачивать копию полутерабайтной базы при необходимости (или очень быстро делать резервные копии если надо).

Просто снятие zfs snapshot без всяких телодвижения на базе если база и wal все на одной FS живут вполне пригодно для создания тестовых копий, но вот именно для backup я бы не советовал этот подход.

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
09.08.2015, 15:42
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025740
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
Maxim Boguksanyock2пропущено...



There are two restrictions, however, which make this method impractical, or at least inferior to the pg_dump method:
The database server must be shut down in order to get a usable backup.

suspend в DB2 занимает несколько секунд и при этом не теряется связь приложений с базой, у них лишь возникает небольшое ожидание длиной в несколько секунд

снэпшот ZFS делается тоже за несколько секунд

на все про все секунд 5 для базы в несколько десятков гиг и потом приложения продолжают свою работу без перезапуска чего-либо

как аналогичный фокус проделать в PostgreSQL?

Объясните для чего вы планируете использовать такую функциональность?

для очень быстрого (мгновенного) "бэкапа" с точки зрения снимка состояния базы без учета надежности хранения в основном пуле

и для достаточно быстрого бэкапа на другой массив (zfs пул) через zfs send | receive на случай выхода из строя основного
zfs send | receive может пересылать уже сделанный снэпшот одновременно с продолжением работы на файловой системе, т.е. с базой

Maxim BogukЕсли для быстрого создания backup то pg_basebackup в моих тестах 10Gbit сетку использовал на 100% и позволял очень быстро разворачивать копию полутерабайтной базы при необходимости (или очень быстро делать резервные копии если надо).

это offline backup когда приложения пользователей отключены от базы ?

Maxim BogukПросто снятие zfs snapshot без всяких телодвижения на базе если база и wal все на одной FS живут вполне пригодно для создания тестовых копий, но вот именно для backup я бы не советовал этот подход.

если в PostgreSQL нет аналога SUSPEND
https://www-01.ibm.com/support/knowledgecenter/SSEPGG_9.5.0/com.ibm.db2.luw.admin.cmd.doc/doc/r0009503.html

, может быть, в нем есть хотя бы аналог QUIESCE?
https://www-01.ibm.com/support/knowledgecenter/SSEPGG_9.7.0/com.ibm.db2.luw.admin.cmd.doc/doc/r0008635.html?cp=SSEPGG_9.7.0/3-6-2-4-86
...
Рейтинг: 0 / 0
09.08.2015, 15:53
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025741
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
то, что можно делать online бэкапы в DB2 это понятно,

интересен именно описанный вариант, напоминающий по функционалу offline бэкап, только мгновенный
...
Рейтинг: 0 / 0
09.08.2015, 15:57
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025750
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
sanyock2Maxim Bogukпропущено...


Объясните для чего вы планируете использовать такую функциональность?

для очень быстрого (мгновенного) "бэкапа" с точки зрения снимка состояния базы без учета надежности хранения в основном пуле

и для достаточно быстрого бэкапа на другой массив (zfs пул) через zfs send | receive на случай выхода из строя основного
zfs send | receive может пересылать уже сделанный снэпшот одновременно с продолжением работы на файловой системе, т.е. с базой

Maxim BogukЕсли для быстрого создания backup то pg_basebackup в моих тестах 10Gbit сетку использовал на 100% и позволял очень быстро разворачивать копию полутерабайтной базы при необходимости (или очень быстро делать резервные копии если надо).

это offline backup когда приложения пользователей отключены от базы ?

Maxim BogukПросто снятие zfs snapshot без всяких телодвижения на базе если база и wal все на одной FS живут вполне пригодно для создания тестовых копий, но вот именно для backup я бы не советовал этот подход.

если в PostgreSQL нет аналога SUSPEND
https://www-01.ibm.com/support/knowledgecenter/SSEPGG_9.5.0/com.ibm.db2.luw.admin.cmd.doc/doc/r0009503.html

, может быть, в нем есть хотя бы аналог QUIESCE?
https://www-01.ibm.com/support/knowledgecenter/SSEPGG_9.7.0/com.ibm.db2.luw.admin.cmd.doc/doc/r0008635.html?cp=SSEPGG_9.7.0/3-6-2-4-86

1)pg_basebackup - Это online backup без остановки работы базы и обслуживания клиентов.
2)"и для достаточно быстрого бэкапа на другой массив (zfs пул) через zfs send | receive на случай выхода из строя основного
zfs send | receive может пересылать уже сделанный снэпшот одновременно с продолжением работы на файловой системе, т.е. с базой" - быстрее чем сеть позволяет оно не будет а как я уже написал выше pg_basebackup 10Gbit легко занимает. Так что в случае zfs у вас не будет выигрыша по скорости.
3)IMHO backup на локальной файловой системе это "нет backup", а если копировать на удаленную то см 1 и 2.
4)Нет ни аналогов SUSPEND ни QUIENSCE.

Вы пытаетесь к PostgreSQL применить знакомые вам по DB2 приемы. Скорее всего вы будете разочарованы результатом.
А вот изучать как именно ваши задачи корректно решаются средствами PostgreSQL - подход куда более продуктивный.

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
09.08.2015, 16:32
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025757
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
Maxim Boguk2)"и для достаточно быстрого бэкапа на другой массив (zfs пул) через zfs send | receive на случай выхода из строя основного
zfs send | receive может пересылать уже сделанный снэпшот одновременно с продолжением работы на файловой системе, т.е. с базой" - быстрее чем сеть позволяет оно не будет а как я уже написал выше pg_basebackup 10Gbit легко занимает. Так что в случае zfs у вас не будет выигрыша по скорости.


pg_basebackup может делать инкрементальные бэкапы?

zfs send | receive при правильном использовании отправляет только разницу между последним и предпоследним снэпшотом, это может быть несколько десятков мегабайт, пересылаемых в пределах минуты

Maxim Boguk3)IMHO backup на локальной файловой системе это "нет backup", а если копировать на удаленную то см 1 и 2.

бэкапы делают не только для безопасности хранения данных путем создания резервной копии, но и для создания контрольной точки в случае, когда разработчики не предусмотрели это в скрипте с помощью транзакций

Maxim Boguk4)Нет ни аналогов SUSPEND ни QUIENSCE.

Вы пытаетесь к PostgreSQL применить знакомые вам по DB2 приемы. Скорее всего вы будете разочарованы результатом.
А вот изучать как именно ваши задачи корректно решаются средствами PostgreSQL - подход куда более продуктивный.


интересны аналоги в более широком смысле, т.е. как раз решения - заменители
...
Рейтинг: 0 / 0
09.08.2015, 17:03
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025797
Фотография Warstone
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Warstone
Участник
Так уж сложилось, что тут собрались люди, которые не любят виртуализацию. Да, в общем-то это и Пг подход такой.

zfs отъедает довольно большую часть ресурсов на себя, пытаясь сделать то, что должны делать системы в более generic стиле, таким образом теряя ресурсы. Я думаю что вы согласитесь с тем что zfs это некоторое подобие виртуализации ФС и, как следствие, не очень любим народом.

Теперь насчет вашей задачи. Она решается немного не так... Если вам надо уметь восстанавливаться на точку времени, то вам нужно Point-in-Time Recovery. Он позволит вам восстанавливать базу на любой момент времени (в рамках). Такая репликация работате в режиме онлайн. Поверьте это гораздо эффективнее, чем то что вы хотите.
...
Рейтинг: 0 / 0
09.08.2015, 19:04
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39025805
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
WarstoneТак уж сложилось, что тут собрались люди, которые не любят виртуализацию. Да, в общем-то это и Пг подход такой.

zfs отъедает довольно большую часть ресурсов на себя, пытаясь сделать то, что должны делать системы в более generic стиле, таким образом теряя ресурсы. Я думаю что вы согласитесь с тем что zfs это некоторое подобие виртуализации ФС и, как следствие, не очень любим народом.

OpenZFS на данный момент производительнее закрытого ZFS от Oracle

ZFS позволяет все виды записи преобразовать в последовательные с очевидными последствиями для роста IOPs
еще и прицепить зеркало SSD для лога синхронной записи, которую так любят СУБД
решение с хорошим IOPs на OpenZFS стоит копейки по сравнению с NetAPP и т.п.
а его функционалу может позавидовать любое хранилище, ZFS не использующее

WarstoneТеперь насчет вашей задачи. Она решается немного не так... Если вам надо уметь восстанавливаться на точку времени, то вам нужно Point-in-Time Recovery. Он позволит вам восстанавливать базу на любой момент времени (в рамках). Такая репликация работате в режиме онлайн. Поверьте это гораздо эффективнее, чем то что вы хотите.
наверно, речь об Online бэкапах с транзакционным логом и последующим его откатом на любое время?
согласен, это решение, которое изначально предлагается вендорами всех промышленных СУБД
оно и для восстановления после сбоя прекрасно подходит при условии хранения полного бэкапа и логов на другом носителе

но меня интересовал именно описанный мной вариант со снэпшотами и возможность его использования в случае с PostgreSQL
...
Рейтинг: 0 / 0
09.08.2015, 19:39
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026098
Фотография Warstone
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Warstone
Участник
sanyock2,

Именно в такой конфигурации, как вы этого хотите (тормознуть базу, снепшотнуть и пойти дальше) базовый Пг не может, так как вы хотите странного.

Возможно вы сможете эмулировать это путем установки PgBouncer перед Пг и правильной настройкой его. Тогда, в случае если у вас нету сессионных таблиц и прочего, можно добиться того, что рестарт Пг не приведет к отсоединению коннектов (он, правда, приведет к сбросу внутренних кешей, а потому это все-равно будет удар по скорости работы).
sanyock2решение с хорошим IOPs на OpenZFS стоит копейки по сравнению с NetAPP и т.п.Зачем нужен NetAPP? Чтобы сервер был больше? Если у вас проблема с данными посмотрите на PostgreSQL-XC и поставьте несколько недорогих серверов, чем городить такое.

Монструозные конструкции из блейдов, СХД и прочего... Все это дорого и не надо если мы говорим про Пг. Проще и дешевле расшардироваться.
...
Рейтинг: 0 / 0
10.08.2015, 11:27
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026119
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
WarstoneМонструозные конструкции из блейдов, СХД и прочего... Все это дорого

цена OpenZFS для меня равна цене железки, потому что более менее знаком уже с OpenZFS+Debian
ОДНО отдельное хранилище легче обслуживать чем НЕСКОЛЬКО дисковых массивов на каждом серваке

Warstoneи не надо если мы говорим про Пг.

Pg как и все остальные СУБД скорее всего часто делает fsync, под это как раз (в т.ч.) заточен NetApp (средняя цена за дешевенькую модель от $50K USD, прикол, что у некоторых такое плеснеет годами в дальних углах серверных)

а OpenZFS с SSD делает тоже самое и даже лучше почти даром по цене сервака десятилетней давности, при этом контроллер диска чем проще, тем лучше, важно количество шпинделей, чем больше - тем лучше

Warstone Проще и дешевле расшардироваться.
не представляю уже как жить без ZFS только с ext3 или NTFS,
это все равно что с PG переходить на dBASE или текстовые файлы

а уж если шардироваться да по разным аппаратным массивам, это пепец
...
Рейтинг: 0 / 0
10.08.2015, 11:44
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026163
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
sanyock2,

За 50k можно воткнуть 16 Intel s3710 SSD 1.2TB с приличным рейдом и получить 20TB локально на сервере c больше миллиона IOPS на случайном чтении-записи. Сейчас вообще базы перестали упираться в IOPS с новыми SSD дисками (у меня уже года 3 как это перестало быть лимитирующим фактором на большей части проектов).
NetApp просто денег очень любит + 5кратная наценка на официальную совместимость с Oracle как водится.

PS: локальный SSD вам даст latency которую вы никогда ни на каком NAS ни при каких условиях не получите, а это для базы зачастую не менее важно чем IOPS у хранилища.
http://ark.intel.com/products/82937/Intel-SSD-DC-S3710-Series-1_2TB-2_5in-SATA-6Gbs-20nm-MLC

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
10.08.2015, 12:18
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026192
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
Maxim Boguksanyock2,

За 50k можно воткнуть 16 Intel s3710 SSD 1.2TB с приличным рейдом и получить 20TB локально на сервере c больше миллиона IOPS на случайном чтении-записи. Сейчас вообще базы перестали упираться в IOPS с новыми SSD дисками (у меня уже года 3 как это перестало быть лимитирующим фактором на большей части проектов).
NetApp просто денег очень любит + 5кратная наценка на официальную совместимость с Oracle как водится.

PS: локальный SSD вам даст latency которую вы никогда ни на каком NAS ни при каких условиях не получите, а это для базы зачастую не менее важно чем IOPS у хранилища.
http://ark.intel.com/products/82937/Intel-SSD-DC-S3710-Series-1_2TB-2_5in-SATA-6Gbs-20nm-MLC

--
Maxim Boguk
www.postgresql-consulting.ru

именно такую модель в лог записи ZFS обычно и ставят
за 50K можно воткнуть в OpenZFS всего пару малюсеньких Intel SSD на запись и 1-2 SSD чуть побольше на чтение и стопяцот самых емких HDD, получив при этом очень большую емкость с похожими характеристиками
latency все же связан с IOPs немного
и при сетке 10 гигабит, коих можно протянуть до каждого сервера персональную линию и не одну скорость будет очень даже ничего

а админить адын OpenZFS легче, чем несколько аппаратных контроллеров, особенно когда один из них сдохнет, а новый не захочет прочитать старый массив

OpenZFS читает массив на любой комбинации контроллеров, хоть супер пупер мега SAS, хоть десктоп IDE 10 летней давности
массив всегда соберется

даже с mdraid народ плевался при переносе массива, что уж про железки говорить, одно это стоит забыть аппаратные массивы как страшный сон
...
Рейтинг: 0 / 0
10.08.2015, 12:42
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026249
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
qwwqты, милой пойми, что у пж есть процедура восстановления после сбоя.
это всё, что тебе нужно знать.


если внимательно почитать ветку, то станет понятно:
1) что не только о восстановлении после сбоя речь идет
2) в некоторых СУБД предусмотрена возможность снэпшотов файловой системы, и их использование НЕ является опасным с точки зрения целостности данных, а такая возможность предусмотрена вендором
...
Рейтинг: 0 / 0
10.08.2015, 13:34
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026255
p2.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
p2.
Участник
sanyock2подскажите аналог в PostgreSQL для:

http://www.sql.ru/forum/1141640/bystryy-snepshot-bazy-v-besplatnoy-versii-db2-express-c-s-pomoshhu-zfs?hl=zfs в той теме не описана требуемая функциональность, а задан такой же по сути вопрос, как и здесь.

Сомневаюсь, что приостановка обслуживания на несколько секунд безусловно безболезненная для всех клиентов. Также сомнительна необходимость приостанавливать процессы СУБД. Если файловая система поддерживает моментальные снапшоты, она вполне может на время критической последовательности операций приостановить другой ввод-вывод.
И все же... Приостановить и возобновить можно любой пользовательский процесс стандартными средствами ОС.
...
Рейтинг: 0 / 0
10.08.2015, 13:39
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026279
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
p2.sanyock2подскажите аналог в PostgreSQL для:

http://www.sql.ru/forum/1141640/bystryy-snepshot-bazy-v-besplatnoy-versii-db2-express-c-s-pomoshhu-zfs?hl=zfs в той теме не описана требуемая функциональность, а задан такой же по сути вопрос, как и здесь.

в той ветке в конце надо читать, а в этой действительно упомянуто сумбурно
вот здесь более менее:
http://www.sql.ru/forum/1169966/kak-sdelat-bezopasnyy-snepshot-faylovoy-sistemy-na-kotoroy-hranitsya-baza?mid=17995206#17995206

p2.Сомневаюсь, что приостановка обслуживания на несколько секунд безусловно безболезненная для всех клиентов.

это от задачи зависит, для быстрых роботизированных торгов одно, для системы документирования финансовых фискальных операций - другое

p2.Также сомнительна необходимость приостанавливать процессы СУБД.

а как иначе? пусть пишут дальше и думают, что записано, db2 write suspend придумали трусы

p2.Если файловая система поддерживает моментальные снапшоты, она вполне может на время критической последовательности операций приостановить другой ввод-вывод.

что значит другой? со стороны СУБД (ZVol+ext3) он обычный, а СУБД предполагает выполнение обязательств файловой системы в области fsync, т.е. что файловая система его не обманет про результаты запуска fsync (а сделает по своему),
а отрапортует чистейшую правду

p2.И все же... Приостановить и возобновить можно любой пользовательский процесс стандартными средствами ОС.
а какой из сотен процессов СУБД можно приостанавливать безболезненно для комплекса остальных процессов промышленной СУБД?
...
Рейтинг: 0 / 0
10.08.2015, 14:02
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026315
p2.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
p2.
Участник
sanyock2p2.Также сомнительна необходимость приостанавливать процессы СУБД.

а как иначе? пусть пишут дальше и думают, что записано, db2 write suspend придумали трусыПросьба в следующий раз приводить цитаты.
Прошел по ссылке на ссылку, увидел необходимость write suspend в случае специфичной для db2 операции database mirror безотносительно возможностей фс.
Необходимость применения в случае снапшотов zfs не упоминается.
...
Рейтинг: 0 / 0
10.08.2015, 14:31
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026327
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
p2.sanyock2пропущено...

а как иначе? пусть пишут дальше и думают, что записано, db2 write suspend придумали трусыПросьба в следующий раз приводить цитаты.
Прошел по ссылке на ссылку, увидел необходимость write suspend в случае специфичной для db2 операции database mirror безотносительно возможностей фс.
Необходимость применения в случае снапшотов zfs не упоминается.

они идиоты чтоли упоминать про бесплатную ZFS когда так хорошо продаются свои дорогущие хранилища

The SET WRITE command allows a user to suspend I/O writes or to resume I/O writes for a database. Typical use of this command is for splitting a mirrored database. This type of mirroring is achieved through a disk storage system.
...
Рейтинг: 0 / 0
10.08.2015, 14:38
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026334
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
https://www-01.ibm.com/support/knowledgecenter/SSEPGG_9.5.0/com.ibm.db2.luw.admin.ha.doc/doc/c0006356.html?lang=en
...
Рейтинг: 0 / 0
10.08.2015, 14:42
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026339
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
If you would rather not back up a large database using the IBM Data Server backup utility, you can make copies from a mirrored image by using suspended I/O and the split mirror function. This approach also:

Eliminates backup operation overhead from the production machine
Represents a fast way to clone systems
Represents a fast implementation of idle standby failover. There is no initial restore operation, and if a rollforward operation proves to be too slow, or encounters errors, reinitialization is very fast.
...
Рейтинг: 0 / 0
10.08.2015, 14:44
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026369
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
sanyock2они идиотытвои жирные выделения можно трактовать как угодно. Я под "is achieved through a disk storage system" понимаю обычное копирование файлов вне СУБД. Следующая цитата относится к рекламе уже использования зеркала/стендбая, а не к технологии создания снапшота.
...
Рейтинг: 0 / 0
10.08.2015, 15:02
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026403
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
-2-sanyock2они идиотытвои жирные выделения можно трактовать как угодно. Я под "is achieved through a disk storage system" понимаю обычное копирование файлов вне СУБД.

для создания зеркальной копии используются средства системы хранения

думаю не надо объяснять, что snapshot тома ZFS является побитной копией устройства на момент создания снэпшота

косвенным подтверждением возможности использования такого в production, наверно, можно считать упоминание:
https://blogs.oracle.com/cshu/entry/another_fast_backup_and_recovery
и описание сути того, что собой представляет это хранилище:
https://docs.oracle.com/cd/E22471_01/html/820-4167/
И Марк в конфе DB2 посоветовал, что тоже как бы намекает

-2-Следующая цитата относится к рекламе уже использования зеркала/стендбая, а не к технологии создания снапшота.
технология зеркалирования устройства после прекращения на нем операций любая хоть dd if= of= запускай на пару часов, но снэпшот мгновенный - PROFIT!
есть сомнения кури доки ZFS
...
Рейтинг: 0 / 0
10.08.2015, 15:23
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026409
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
потенциально проблема еще может быть в неразмонтировании ext3 (но она с журналом метаданных) и ессно после suspend сначала сбрасываются буфера и делается sync; файловой системы перед zfs snapshot

не помню, может ли DB2 на raw устройстве в текущей версии базами ворочать, если может, то для любителей перфекционизма, наверно, лучше исключить неразмонтированную ext3 из цепочки

хотя ext3 и hard reset прекрасно переживает вместе с базой при необходимости

напрямую DB2 на ZFS у меня не получалось запустить

да и на отдельном хранилище все равно iSCSI и городить ZFS поверх ZFS - нонсенс
...
Рейтинг: 0 / 0
10.08.2015, 15:30
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026499
ursido
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ursido
Гость
sanyock2,

А теперь, внимание, вопрос:
-- Что делать с полученным мгновенным снапшотом.
Пожалуйста, поясните в чем именно PROFIT, чем это действие отличается от стандартных рекомендаций резервного копирования разработчиков БД PostgreSQL.
...
Рейтинг: 0 / 0
10.08.2015, 16:55
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026510
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
ursidosanyock2,

А теперь, внимание, вопрос:
-- Что делать с полученным мгновенным снапшотом.
Пожалуйста, поясните в чем именно PROFIT, чем это действие отличается от стандартных рекомендаций резервного копирования разработчиков БД PostgreSQL.

Собственно профит действительно есть. Это полезно когда надо иметь возможность откатить за минуту базу в состояние на момент снятия snapshot.

Например можно перед релизом быстро сделать snapshot, поставить релиз и если релиз не взлетел то остановить базу и запустить ее за 1-2 минуты на сохраненном snapshot.
В PostgreSQL это же решается по другому - на время установки релиза отключают реплику, если релиз взлетел то реплику включают назад, а если не взлетел - запускают проект на реплике (реплика у любого серьезного проекта так или иначе есть так что дополнительного железа этот подход не требует).

Но это весьма узкий use-case.

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
10.08.2015, 17:07
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026524
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
Maxim Bogukursidosanyock2,

А теперь, внимание, вопрос:
-- Что делать с полученным мгновенным снапшотом.
Пожалуйста, поясните в чем именно PROFIT, чем это действие отличается от стандартных рекомендаций резервного копирования разработчиков БД PostgreSQL.

Собственно профит действительно есть. Это полезно когда надо иметь возможность откатить за минуту базу в состояние на момент снятия snapshot.

Например можно перед релизом быстро сделать snapshot, поставить релиз и если релиз не взлетел то остановить базу и запустить ее за 1-2 минуты на сохраненном snapshot.
В PostgreSQL это же решается по другому - на время установки релиза отключают реплику, если релиз взлетел то реплику включают назад, а если не взлетел - запускают проект на реплике (реплика у любого серьезного проекта так или иначе есть так что дополнительного железа этот подход не требует).

Но это весьма узкий use-case.

--
Maxim Boguk
www.postgresql-consulting.ru

именно, опробованно не раз уже, перед установкой каждого билда приложения делаю снэпшот
...
Рейтинг: 0 / 0
10.08.2015, 17:25
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026562
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
Maxim Bogukursidosanyock2,

А теперь, внимание, вопрос:
-- Что делать с полученным мгновенным снапшотом.
Пожалуйста, поясните в чем именно PROFIT, чем это действие отличается от стандартных рекомендаций резервного копирования разработчиков БД PostgreSQL.

Собственно профит действительно есть. Это полезно когда надо иметь возможность откатить за минуту базу в состояние на момент снятия snapshot.

Например можно перед релизом быстро сделать snapshot, поставить релиз и если релиз не взлетел то остановить базу и запустить ее за 1-2 минуты на сохраненном snapshot.
В PostgreSQL это же решается по другому - на время установки релиза отключают реплику, если релиз взлетел то реплику включают назад, а если не взлетел - запускают проект на реплике (реплика у любого серьезного проекта так или иначе есть так что дополнительного железа этот подход не требует).

Но это весьма узкий use-case.

--
Maxim Boguk
www.postgresql-consulting.ru
а как быть в проекте с активным использованием стендбая (для запросов отчетов и прочей аналитики). -- как синхронизовать снепшот на стендбае со снепшотом ведущего ? боюсь, стендбай не поймет отката ведущего. Чапай тут подумал ?
...
Рейтинг: 0 / 0
10.08.2015, 18:18
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026592
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
qwwqMaxim Bogukпропущено...


Собственно профит действительно есть. Это полезно когда надо иметь возможность откатить за минуту базу в состояние на момент снятия snapshot.

Например можно перед релизом быстро сделать snapshot, поставить релиз и если релиз не взлетел то остановить базу и запустить ее за 1-2 минуты на сохраненном snapshot.
В PostgreSQL это же решается по другому - на время установки релиза отключают реплику, если релиз взлетел то реплику включают назад, а если не взлетел - запускают проект на реплике (реплика у любого серьезного проекта так или иначе есть так что дополнительного железа этот подход не требует).

Но это весьма узкий use-case.

--
Maxim Boguk
www.postgresql-consulting.ru
а как быть в проекте с активным использованием стендбая (для запросов отчетов и прочей аналитики). -- как синхронизовать снепшот на стендбае со снепшотом ведущего ? боюсь, стендбай не поймет отката ведущего. Чапай тут подумал ?

это для БЕЗ стендбая
со стендбаем, кстати, интересно как обычно делают? point in time recovery?
...
Рейтинг: 0 / 0
10.08.2015, 19:00
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026595
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
если требования по актуальности стендбая терпят периодичность, аналогичную "send | receive", то можно организовать подобие стендбая с кратковременными отключениями базы, но это уже, наверно, изврат при наличии возможности организации стендбая через транзакционные логи
...
Рейтинг: 0 / 0
10.08.2015, 19:03
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39026730
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
qwwqMaxim Bogukпропущено...


Собственно профит действительно есть. Это полезно когда надо иметь возможность откатить за минуту базу в состояние на момент снятия snapshot.

Например можно перед релизом быстро сделать snapshot, поставить релиз и если релиз не взлетел то остановить базу и запустить ее за 1-2 минуты на сохраненном snapshot.
В PostgreSQL это же решается по другому - на время установки релиза отключают реплику, если релиз взлетел то реплику включают назад, а если не взлетел - запускают проект на реплике (реплика у любого серьезного проекта так или иначе есть так что дополнительного железа этот подход не требует).

Но это весьма узкий use-case.

--
Maxim Boguk
www.postgresql-consulting.ru
а как быть в проекте с активным использованием стендбая (для запросов отчетов и прочей аналитики). -- как синхронизовать снепшот на стендбае со снепшотом ведущего ? боюсь, стендбай не поймет отката ведущего. Чапай тут подумал ?

Не поймет естественно. Поэтому решение с паузой репликации на standby оно лучше и удобнее для такой задачи.
А вот если реплика не одна а десяток и все сильно нагруженные то такие фокусы уже совсем не проходят (впрочем обычно такой задачи и не ставится).

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
11.08.2015, 07:59
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39032949
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
qwwqа как быть в проекте с активным использованием стендбая (для запросов отчетов и прочей аналитики). -- как синхронизовать снепшот на стендбае со снепшотом ведущего ? боюсь, стендбай не поймет отката ведущего. Чапай тут подумал ?

это не оно?
http://www-01.ibm.com/support/knowledgecenter/SSEPGG_8.2.0/com.ibm.db2.udb.doc/core/r0004473.htm

db2inidb - Initialize a Mirrored Database Command

STANDBY
Specifies that the database will be placed in roll forward pending state.
Note:
New logs from the primary database can be fetched and applied to the standby database. The standby database can then be used in place of the primary database if it goes down.
...
Рейтинг: 0 / 0
20.08.2015, 10:42
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39033084
tadmin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tadmin
Участник
Интересно, на чем работает zfs у топикстартера. Под linux даже подхват hotspare не работает.
Вещь интересная для файлопомоек, но БД я бы zfs on linux не доверил.
...
Рейтинг: 0 / 0
20.08.2015, 12:47
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39033160
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
tadminИнтересно, на чем работает zfs у топикстартера.
OpenZFS Linux, по отзывам пользователей производительность выше, чем у Oracle

tadminВещь интересная для файлопомоек, но БД я бы zfs on linux не доверил.

пример использования:
http://zfsonlinux.org/llnl-zfs-lustre.html


а сколько раз меня уже ZFS снэпшоты спасали, так и не сосчитать

и сколько раз меня подводила дорогущая дисковая подсистема BladeCenter S (которая по функционалу хуже бесплатной ZFS, а по глючности превосходит ее в десятки раз), так страшно вспомнить, слава богу после установки не IBM дисков по указанию начальства, она благополучно их выплюнула и с тех пор мы этой дисковой подсистемой не пользуемся для пром эксплуатации, как впрочем и многие другие филиалы по словам поддержки IBM (которая консультировала по поводу оживления IBM пула в течение 3 месяцев - все лето), подходит только для тестовых инстоляций (которые нежалко потерять)

про всеядность контроллеров и переносимость OpenZFS уже было упомянуто выше по тексту

вообще заметил по ходу обсуждения, что почему-то больше критикуют, чем отвечают по теме вопроса
...
Рейтинг: 0 / 0
20.08.2015, 14:03
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39033169
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
sanyock2а сколько раз меня уже ZFS снэпшоты спасали, так и не сосчитать


правильнее сказать, ZFS спасала меня от потерь времени, потому что потерь пром данных не было славу богу в обоих случаях, в т.ч. из-за относительно длительных бэкапов до появления ZFS

хотя тестовые данные дисковая подсистема IBM благополучно похоронила
...
Рейтинг: 0 / 0
20.08.2015, 14:15
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39033405
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
хотел бы так же отметить, что BladeCenter S показал себя очень хорошо во всем, кроме дисковой подсистемы, особенно нравится удаленное управление AMM, а то подумают что IBM уж совсем г.

просто межделмаш зачем-то слишком инновационные продукты иногда в production проталкивает

дисковая подсистема внешне по идеологии похожа на ZFS, тоже пулы, физические массивы, виртуальные тома и т.п.
но видно, что собственная разработка, оригинального ZFS там в помине нет, и даже через 5 лет пропроетарная прошивка для дисковой подсистемы оказалась более глючной, чем древняя оригинальная, вот вам и бесплатный open source, с ZFS слава Богу проблем пока вообще не было НИКАКИХ (от слова СОВСЕМ)!
...
Рейтинг: 0 / 0
20.08.2015, 17:20
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39033415
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
tadminПод linux даже подхват hotspare не работает.

вроде бы закрыты issues по hotspare:
https://github.com/zfsonlinux/zfs/issues/250
https://github.com/zfsonlinux/zfs/issues/2

но вместо hostspare рекомендуют использовать zmirror с 3-мя дисками на каждое зеркало или raidz3,

потому что нередки случаи, когда второй диск помирает как раз во время операции автозамены на hotspare

а вот тут ZFS как раз хорош тем, что может многодисковые зеркала делать и потом собирать их них пул
...
Рейтинг: 0 / 0
20.08.2015, 17:31
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39036316
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mitek
Участник
sanyock2хотя тестовые данные дисковая подсистема IBM благополучно похоронила

просто межделмаш зачем-то слишком инновационные продукты иногда в production проталкивает

дисковая подсистема внешне по идеологии похожа на ZFS, тоже пулы, физические массивы, виртуальные тома и т.п.
но видно, что собственная разработка, оригинального ZFS там в помине нет,

Что за "дисковая подсистема IBM" такая, если не секрет ?
...
Рейтинг: 0 / 0
26.08.2015, 13:14
| Ответить | Цитировать | Написать  
как сделать безопасный снэпшот файловой системы, на которой хранится база
    #39036372
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
miteksanyock2хотя тестовые данные дисковая подсистема IBM благополучно похоронила

просто межделмаш зачем-то слишком инновационные продукты иногда в production проталкивает

дисковая подсистема внешне по идеологии похожа на ZFS, тоже пулы, физические массивы, виртуальные тома и т.п.
но видно, что собственная разработка, оригинального ZFS там в помине нет,

Что за "дисковая подсистема IBM" такая, если не секрет ?

пара вот таких железок, пытающихся дублировать друг друга:
https://www.cdw.com/shop/products/IBM-BladeCenter-S-SAS-RAID-Controller-Module-storage-ontroller-RAID/1594315.aspx

+ корзина с дисками
...
Рейтинг: 0 / 0
26.08.2015, 13:55
| Ответить | Цитировать | Написать  
39 сообщений из 39, показаны все 2 страниц
  все  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / как сделать безопасный снэпшот файловой системы, на которой хранится база
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=53&tid=1997802]:
 0ms
get settings:
 7ms
get forum list:
 11ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 139ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 42ms
get tp. blocked users:
 1ms
others: 210ms
total:  425ms
созд. / загр.: 425ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]