CardagantДобрый день!

Есть проблема с проектированием хранилища данных, очень прошу направить на путь истинный!

Итак, в OLTP-базе есть 2 таблицы: одна таблица складских транзакций (InventTrans) вторая - таблица с агрегированными данными из первой (InventSum).

InventSum для упрощения содержит набор FK колонок, набор колонок с агрегированными данными по разным условиям (могу быть и сложные) из InventTrans и галочку Closed, которая показывает, что по данной комбинации FK запасов больше нет.

Пользователь хочет анализировать InventSum. Но при этом со временем там может появиться тьма записей с комбинациями FK, где наличие отсутствует.

Я так понимаю здесь подходит только вариант транзакционного факта, при этом перед каждой загрузкой данных требуется очищать эту таблицу от имеющихся записей, дабы не накапливать мусор с галкой Closed

Какой бы способ реализации применили Вы?

Заранее благодарю!

1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"

1.2. Хранилище планируете развернуть на отдельной машине ?

Тогда необходимо будет решать задачи :
Извлечения данных из разнородных источников;

Преобразования и очистки данных;

Загрузки данных в ХД;

Вы готовы к этому ?

ApexСтанислав Клевцов1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"


Это кто ж тебя такой чуши научил...

читал где-то ... это для бюджетного ХД пойдет.

Для ХД можно использовать :
https://ru.wikipedia.org/wiki/Greenplum -
https://ru.wikipedia.org/wiki/Teradata - только вот цены кусаются
из того что известно мне...но есть же и другие...

Для построения хранилищ популярны несколько методологий:

http://habrahabr.ru/post/227111/ ...
Во-первых это Кимбэл, и построение хранилища в виде комбинации «звезд». Одна из самых популярных методологий, т.к. ей учат во всех наших институтах, где читают про хранилища.

Во-вторых, это Инмон.… Точнее не просто Инмон, а скорее инерция. Его подход к проектированию хранилищ содержит ряд красивых тезисов, вроде нормализации, но не содержит однозначного алгоритма, как именно преобразовать бизнес-модель в модель данных (в таблицы СУБД). Но всегда есть короткая дорога — можно взять таблицы исходной системы, из которой заполняется хранилище, перенести их AS IS, немного доработать и будет хранилище. Почти по Инмону.

В третьих, это Data Vault. Относительно новая методология, но в России уже более-менее известная, даже статья в википедии на русском есть. Неплохая штука, есть и идеология, и алгоритм построения моделей.

В четвертых, это Anchor Modeling. Совсем новая методология, местами шокирующая, т.к. предполагает хранение данных с соблюдением 6-й нормальной формы.
...

ApexСтанислав Клевцовпропущено...


читал где-то ... это для бюджетного ХД пойдет.

Давай попробуем еще раз, я на этот раз выделю

Станислав Клевцов 1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"

'

ApexApexпропущено...

ОК, вечером гляну.

Ну, короче, там сильно поверхностное изложение, пример, приведенный на 43-й минуте - это всего лишь пример, т.е. один из возможных вариантов реалиазции, причем довольно простой, по понятным причинам, т.к. лекция явно расчитана на людей, которые вообще первый раз слушают о хранилищах. Делать вывод на основании этой лекции, что реализация должна быть именно такая и никакая иначе - как минимум неправильно, ибо хранилища данных не ограничиваются витринами.

Спасибо, что посмотрели пример.

Apex...лекция явно рассчитана на людей...
... хранилища данных не ограничиваются витринами...

Согласен с вами.

Apex
Клевцов СтаниславДопустим мы проектируем ХД, с помощью техники моделирования Data Vault для 2 сущностей нам необходимо будет наличие двух хабов, двух хаб-сателлитов и связь этих сущностей (линк и линк-сателлит). А как будет в Anchor Modeling ?
На каждый атрибут хаба будет отдельная таблица

... и поверх всех таблиц с атрибутами хаба будет витрина, собирающая все в одну кучу ?

А в остальном все так же или есть какие - нибудь отличия?

ApexСтанислав Клевцовпропущено...

...
На каждый атрибут хаба будет отдельная таблица.

В принципе здесь по шагам все описывается:

http://www.anchormodeling.com/?page_id=186
Приступимссс... :-)