Гость
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Поддержка исторической БД / 9 сообщений из 9, страница 1 из 1
02.07.2020, 16:03
    #39975522
Кобанчег
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
Имеется хранилище в котором в конце каждого дня дропается секция в таблице фактов которая выходит за пределы актуального окна.

Задача поддерживать историческую базу, которая имеет актуальное состояние для измерений и все секции таблицы фактов.

Критерии - чтоб было просто, надежно и желательно встроенными средствами с минимумом кодинга.
Задержка вторична, можно и чтоб было near real time, но с другой стороны допустимо отставание в час или даже больше.

Рассматриваемые подходы

1. Почти без задержки
Oracle GG + exclude DDL чтоб избежать удаления секций в фатках.
Минусы - отдельны продукт, стоит денег.
Насколько я понимаю GG заменил streams, CDC и прочие альтернативы репликации.
Или что-то можно еще задействовать встроенное и бесплатное?

2. С задержкой.
В хранилище все изменения привязаны к нарастающему суррогатному ключу.
И всегда можно получить что изменено со времени последней репликации и написать свой велосипед с
insert facts, merge dimensions для переноса данных.
Можно допустить что изменения в хранилище делаются сериализированно, то есть проблем с транзакционностью нет от слова совсем.

Может есть что-то еще удовлетворяющее критериям что я упускаю?
...
Рейтинг: 0 / 0
02.07.2020, 16:23
    #39975530
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
Кобанчег
Имеется хранилище в котором в конце каждого дня дропается секция в таблице фактов которая выходит за пределы актуального окна.
Т.е. построить бизнес процесс здраво не рассматривается?
Кобанчег
Минусы - отдельны продукт, стоит денег.
Деньги херня. гг применимо, когда разработчика прикладной системы больше нет (и/или он уже больше не сопровождает), и тогда можно оттуда красть данные, их формат не изменится.
...
Рейтинг: 0 / 0
02.07.2020, 16:28
    #39975533
Кобанчег
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
Elic
Т.е. построить бизнес процесс здраво не рассматривается?
А как будет выглядеть здравое построение и как это поможет решению задачи поддержки исторического хранилища?
Elic
Деньги херня. гг применимо, когда разработчика прикладной системы больше нет (и/или он уже больше не сопровождает), и тогда можно оттуда красть данные, их формат не изменится.
Перспектива воспользоваться инструментом который позволяет реплицировать DML, игнорировать DDL и избежать кодинга весьма привлекательна.
Деньги не для всех фигня. ;)
...
Рейтинг: 0 / 0
02.07.2020, 16:39
    #39975539
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
Кобанчег
А как будет выглядеть здравое построение и как это поможет решению задачи поддержки исторического хранилища?
Ответь себе на простой вопрос: Насколько ты как разработчик можешь влиять на процессы существования и обработки данных?
Если ты данные иногда покрадываешь, то об чём тогда разговор?
...
Рейтинг: 0 / 0
02.07.2020, 16:47
    #39975544
Кобанчег
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
Elic
Если ты данные иногда покрадываешь, то об чём тогда разговор?
Действительно при такой подмене понятий дальнейший разговор едва ли возможен.

Это уже почти как
Война — это мир, свобода — это рабство, незнание — сила, репликация - воровство.
...
Рейтинг: 0 / 0
02.07.2020, 16:52
    #39975547
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
КобанчегМожет есть что-то еще удовлетворяющее критериям что я упускаю?

Убить джоб, дропающий нужные факты в хранилище.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
02.07.2020, 16:54
    #39975548
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
Кобанчег
репликация - воровство.
Без согласования с разработчиком исходных данных - именно так.
...
Рейтинг: 0 / 0
02.07.2020, 16:57
    #39975549
Кобанчег
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
Dimitry Sibiryakov

КобанчегМожет есть что-то еще удовлетворяющее критериям что я упускаю?

Убить джоб, дропающий нужные факты в хранилище.
Возможно лучше промолчать когда ничего не слышал про retention policy, но благодарю за высказанное мнение.

Остроумно.
...
Рейтинг: 0 / 0
02.07.2020, 18:45
    #39975597
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Поддержка исторической БД
Кобанчегничего не слышал про retention policy

Те, кто об этих полисях слышал, возможно, сумеют настроить их так, чтобы нужные факты из
хранилища не исчезали. Внезапно, но это решит задачу топика.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Поддержка исторической БД / 9 сообщений из 9, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]