Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Аудиторский след / 12 сообщений из 12, страница 1 из 1
10.07.2020, 18:43
    #39978263
T87
T87
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
Поделитесь опытом, кто как ведет аудиторский след в DWH?
Сейчас веду всю историю изменения в прямо в фактах, но из-за этого таблица сильно пухнет. Вот думаю всю эту историю в отдельную таблицу выкинуть. Как у вас устроено?
...
Рейтинг: 0 / 0
10.07.2020, 21:40
    #39978298
.Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
T87
Поделитесь опытом, кто как ведет аудиторский след в DWH?
Сейчас веду всю историю изменения в прямо в фактах, но из-за этого таблица сильно пухнет. Вот думаю всю эту историю в отдельную таблицу выкинуть. Как у вас устроено?

В моем текущем ХД историчности нет (по тз). Однако есть журнал изменений с хешем строки и ссылкой на сообщение, которое внесло изменения в строку.

Также работал со схемой, где непоследние версии перемещались в отдельную таблицу (каждая сущность = 2 таблицы) при загрузке.
...
Рейтинг: 0 / 0
10.07.2020, 22:48
    #39978311
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
T87
Как у вас устроено?


По разному было - изменения хранились дельтой, версиями как в одной, так и в разных таблицах.

Версии в одной таблице - худший вариант, ибо по ней постоянно были чтения ненужных данных из-за плохих планов или кривых запросов.
...
Рейтинг: 0 / 0
11.07.2020, 03:15
    #39978338
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
если что - ещё есть по вкусу такое родное/встроенное средство (у нас было под SCD2):
https://docs.microsoft.com/en-us/sql/relational-databases/tables/temporal-tables
...
Рейтинг: 0 / 0
14.07.2020, 10:35
    #39979335
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
T87,

Все загруженные записи должны иметь идентификатор загрузки, по которому можно в специальном справочнике/логе узнать когда, как, кем и из какого источника запись была загружена.
...
Рейтинг: 0 / 0
14.07.2020, 12:50
    #39979407
T87
T87
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
a_voronin
T87,

Все загруженные записи должны иметь идентификатор загрузки, по которому можно в специальном справочнике/логе узнать когда, как, кем и из какого источника запись была загружена.


Это всё есть. Мне помимо этого нужны еще предыдущие значения, если были обновления записей.
...
Рейтинг: 0 / 0
14.07.2020, 14:42
    #39979497
.Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
T87

Это всё есть. Мне помимо этого нужны еще предыдущие значения, если были обновления записей.

Если вам не нужна историчность, то соберите описывающую изменение строку и выплюньте ее в журнал, можно даже файловый.
В противном случае версии и аудит будут в значительной части дублировать функционал.
...
Рейтинг: 0 / 0
14.07.2020, 18:05
    #39979589
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
[quot T87#22167084]
a_voronin
Мне помимо этого нужны еще предыдущие значения, если были обновления записей.


DataVault или Якорная Модель.

Или просто на Вертику грузите и делайте SELECT с указанием эпохи. Temporal на MSSQL
...
Рейтинг: 0 / 0
15.07.2020, 23:43
    #39980193
T87
T87
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
a_voronin


DataVault или Якорная Модель.



Долго, дорого, ... С третьим эпитетом пока не определился.
...
Рейтинг: 0 / 0
16.07.2020, 12:59
    #39980402
Юрий Кудрявцев
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
T87
a_voronin


DataVault или Якорная Модель.



Долго, дорого, ... С третьим эпитетом пока не определился.


Сложно?
...
Рейтинг: 0 / 0
17.07.2020, 12:30
    #39980873
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
T87
a_voronin


DataVault или Якорная Модель.



Долго, дорого, ... С третьим эпитетом пока не определился.


Третий наверное, "лениво". Все депендс от объема от объема данных и требований заказчика.

Да и сначала надо ответить на другой вопрос: а суррогатные ключи вводить есть желание?
...
Рейтинг: 0 / 0
17.07.2020, 22:44
    #39981141
T87
T87
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аудиторский след
a_voronin
T87
пропущено...


Долго, дорого, ... С третьим эпитетом пока не определился.


Третий наверное, "лениво". Все депендс от объема от объема данных и требований заказчика.

Да и сначала надо ответить на другой вопрос: а суррогатные ключи вводить есть желание?

Суррогатные ключи всегда есть в моих ХД
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Аудиторский след / 12 сообщений из 12, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]