Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Потоковая репликация и восстановление данных. / 8 сообщений из 8, страница 1 из 1
03.09.2019, 19:14
    #39856838
Troglodit
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая репликация и восстановление данных.
PG11-PG12.
Никак до конца не могу разобраться для начала с подписчиком.
1. pg_dump_all-копия всех БД.
2.Восстановление не выходит пока не удалены подписки.
3. После удаления подписок восстановление проходит успешно, руками активируются подписки на тот же слот,
но почему то поток данных идет повторно весь, а не дельта как я ожидал(при этом естественно идут ошибки на дублирование данных по pk).
...
Рейтинг: 0 / 0
04.09.2019, 07:44
    #39856923
Troglodit
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая репликация и восстановление данных.
Совсем ошибся.
Репликация логическая.
...
Рейтинг: 0 / 0
04.09.2019, 14:55
    #39857227
nedba
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая репликация и восстановление данных.
https://postgrespro.ru/docs/postgresql/10/sql-createsubscription

CREATE SUBSCRIPTION — создать подписку

Синтаксис
CREATE SUBSCRIPTION имя_подписки
CONNECTION 'строка_подключения'
PUBLICATION имя_публикации [, ...]
[ WITH ( параметр_подписки [= значение] [, ... ] ) ]

WITH ( параметр_подписки [= значение] [, ... ] )
В этом предложении могут задаваться следующие необязательные параметры подписки:

copy_data (boolean)
Определяет, должны ли копироваться существующие данные в публикациях, на которые оформляется подписка, сразу после начала репликации. Значение по умолчанию — true.

CREATE SUBSCRIPTION имя_подписки CONNECTION 'строка_подключения' PUBLICATION имя_публикации [, ...] WITH (copy_data = false)
...
Рейтинг: 0 / 0
05.09.2019, 23:23
    #39858190
Troglodit
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая репликация и восстановление данных.
nedba,

Конечно я знаю про copy_data.
НО.
В этом случае при восстановлении бэкапа с данными на 08ч. и
запуске подписчика в 12ч, я не получу данные за 4ч с 08 до 12.
...
Рейтинг: 0 / 0
05.09.2019, 23:37
    #39858197
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая репликация и восстановление данных.
Trogloditnedba,

Конечно я знаю про copy_data.
НО.
В этом случае при восстановлении бэкапа с данными на 08ч. и
запуске подписчика в 12ч, я не получу данные за 4ч с 08 до 12.

То что вы хотите - в postgresql не бывает.
Там нет варианта сверки и дельта копирования для логической репликации.

Поэтому и копируется через copy_data=true а не как вы хотели сделать.
...
Рейтинг: 0 / 0
06.09.2019, 08:52
    #39858250
Troglodit
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая репликация и восстановление данных.
Maxim Boguk,

При copy_data=true,
подписка ругается на дубли в таблице, которые были на момент бэкапа и дальше не идет.
Все усложняется тем, что в эту таблицу приемник льется из многих источников(publisher'ов),
затем в триггере эти данные будут уже обработаны и вставлены в другие таблицы.
Повторная загрузка (а данные будут за несколько лет) на порядок замедлят механизм восстановления после сбоя,
даже если очистить таблицу-приемник после восстановления.
Я нашел пример решения в статье по PG10 , но у них слишком усложненная инфраструктура.
Для себя я отметил, что есть возможность перед восстановлением подписки сдвинуть указатель в wal в определенное место и с него начать репликацию. Но я не уверен, что правильно понял.

Суть простая. Я пытаюсь понять как в случае логической репликации при сбое, восстановить работоспособность и продолжить работу.
...
Рейтинг: 0 / 0
06.09.2019, 08:57
    #39858252
Troglodit
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая репликация и восстановление данных.
Maxim Boguk,
В логической репликации при, например, сбоях в сети, после нормализации работы данные на приемнике приходят лишь те, которые он не получил, т.е. я так понимаю на приемнике хранится указатель wal'а или этот указатель хранится на publisher'е?
...
Рейтинг: 0 / 0
17.09.2019, 18:40
    #39863046
Troglodit
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Потоковая репликация и восстановление данных.
Всем спасибо. Вопрос закрыт.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Потоковая репликация и восстановление данных. / 8 сообщений из 8, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]