Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
29.10.2020, 14:06
|
|||
---|---|---|---|
Перенос крупной БД |
|||
#18+
Други, есть ли такой опыт. Есть PG9 с базой данных 2ТБ + реплика Было создано новое приложение с новой архитектурой БД, связи, таблицы, все новое. Задача обновить ОС сервера, установить PG11 с новой БД и переложить в нее все данные из старой БД, в новую структуру таблиц. Кто то сталкивался? Или каким бы путем потенциально пошли бы? Заранее спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
29.10.2020, 14:27
|
|||
---|---|---|---|
Перенос крупной БД |
|||
#18+
kliff Други, есть ли такой опыт. Есть PG9 с базой данных 2ТБ + реплика Было создано новое приложение с новой архитектурой БД, связи, таблицы, все новое. Задача обновить ОС сервера, установить PG11 с новой БД и переложить в нее все данные из старой БД, в новую структуру таблиц. Кто то сталкивался? Или каким бы путем потенциально пошли бы? Заранее спасибо. Если сервера рядом и с хорошей сетью - то 2 ТБ не так уж и много. Какие требования по доступности/непрерывности? Хороший вариант - сделать апгрейд на 11 версию на старом сервере, подцепить новый сервер как слейв и switchover на него. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
29.10.2020, 14:40
|
|||
---|---|---|---|
Перенос крупной БД |
|||
#18+
Извини, не обратил внимания на авторБыло создано новое приложение с новой архитектурой БД, связи, таблицы, все новое. это только совместно с разработчиками бд. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
29.10.2020, 15:59
|
|||
---|---|---|---|
|
|||
Перенос крупной БД |
|||
#18+
Просто размышления. Ставите отдельно пустой сервер со старой структурой, делаете подписку на все изменения с текущего(логическая репликация). После каким-нибудь образом (хоть pgdump) переливаете основной сервер на новый. Потом доливаете изменения, возможно в несколько заходов. В какой-то момент останавливаете старый мастер, доливаете на новый последние изменения с "логической реплики" и переключаетесь на новый мастер. Но наверное все равно нужна какая-то утилита, способная из старой схемы в новую "конвертировать" данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
29.10.2020, 16:17
|
|||
---|---|---|---|
Перенос крупной БД |
|||
#18+
Guzya Просто размышления. Ставите отдельно пустой сервер со старой структурой, делаете подписку на все изменения с текущего(логическая репликация). После каким-нибудь образом (хоть pgdump) переливаете основной сервер на новый. Потом доливаете изменения, возможно в несколько заходов. В какой-то момент останавливаете старый мастер, доливаете на новый последние изменения с "логической реплики" и переключаетесь на новый мастер. Но наверное все равно нужна какая-то утилита, способная из старой схемы в новую "конвертировать" данные. а на 9ке уже есть логическая репликация? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
29.10.2020, 18:45
|
|||
---|---|---|---|
Перенос крупной БД |
|||
#18+
mefman, Через расширение pglogical от 2Q. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
29.10.2020, 18:51
|
|||
---|---|---|---|
Перенос крупной БД |
|||
#18+
vyegorov mefman, Через расширение pglogical от 2Q. тут имхо главная засада - изменение структуры БД у ТСа. в лоб не получится. чем реплицировать - детали ... |
|||
:
Нравится:
Не нравится:
|
|||
|
30.10.2020, 09:45
|
|||
---|---|---|---|
|
|||
Перенос крупной БД |
|||
#18+
Еще нужно продумать методику проверки корректности полученного результата. Тут простой сверкой количества записей вряд ли обойдетесь. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
30.10.2020, 11:39
|
|||
---|---|---|---|
Перенос крупной БД |
|||
#18+
mefman kliff Други, есть ли такой опыт. Есть PG9 с базой данных 2ТБ + реплика Было создано новое приложение с новой архитектурой БД, связи, таблицы, все новое. Задача обновить ОС сервера, установить PG11 с новой БД и переложить в нее все данные из старой БД, в новую структуру таблиц. Кто то сталкивался? Или каким бы путем потенциально пошли бы? Заранее спасибо. Если сервера рядом и с хорошей сетью - то 2 ТБ не так уж и много. Какие требования по доступности/непрерывности? Хороший вариант - сделать апгрейд на 11 версию на старом сервере, подцепить новый сервер как слейв и switchover на него. в принципе возможна остановка сервиса на сутки. Да одна из идей была в первую очередь провести апгрейд, но тут конечно вопрос с апгрейдом ОС, планируется переход линукса на новое ядро. Возможно еще вариант все запросы с реплики перекинуть на мастер, остановить реплику, полностью очистить, установить новую ОС, установить ПГ 9 и заново запустить реплику. Остановить сервис и выполнить апгрейд ПГ на 11ю версию на реплике. Сделать реплику мастером и дальше апгрейдить бывший мастер. Далее рядом развернуть новую БД на мастере и лить в нее данные. Но это все в теории. Неизвестно сколько может времени занять мапинг данных и вставка в новую структуру. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
30.10.2020, 11:44
|
|||
---|---|---|---|
|
|||
Перенос крупной БД |
|||
#18+
kliff Далее рядом развернуть новую БД на мастере и лить в нее данные. Но это все в теории. Неизвестно сколько может времени занять мапинг данных и вставка в новую структуру. Такие переносы тестируются раз 3-4 на копии production данных и на копии production оборудования. После чего будет известно и сколько перенос занимает и можно проверить работоспособность того что получается после. Из моей практики ни 1го ни со 2го раза без серьезных проблем такие переносы не проходят. Так что тестирование и еще раз тестирование. И да наверное лучше сначала на заведомо рабочей структуре данных обновиться до 11-12-13 версии пожить на ней недельку-месяц и уже потом обновляться на новую структуру данных. -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
|
30.10.2020, 12:53
|
|||
---|---|---|---|
Перенос крупной БД |
|||
#18+
спасибо всем, будем подумать. само тестирование мапинга данных и перкладки их в новую структуру, отсадим на отдельный сервер копию системы и 5% данных возьмем от всего объема. В итоге ошибок при переносе данных на бою скорее всего получится избежать, в идеале. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
30.10.2020, 13:01
|
|||
---|---|---|---|
|
|||
Перенос крупной БД |
|||
#18+
kliff спасибо всем, будем подумать. само тестирование мапинга данных и перкладки их в новую структуру, отсадим на отдельный сервер копию системы и 5% данных возьмем от всего объема. В итоге ошибок при переносе данных на бою скорее всего получится избежать, в идеале. 5% от всего объема - очень опасная идея... я бы не советовал. Там на переносе легко могут быть куски с нелинейной зависимостью скорости от объема (а один квадратичный кусок при 20 кратной разницы в объеме вам даст сюрприз при реальном переносе). Но если других вариантов нет - лучше так чем вообще никак не тестировать. -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=53&mobile=1&tid=1994399]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
29ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
2ms |
others: | 13ms |
total: | 138ms |
0 / 0 |