Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Прошу совета по проектированию хранилища данных / 25 сообщений из 33, страница 1 из 2
28.10.2014, 16:06
    #38789551
Cardagant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Добрый день!

Есть проблема с проектированием хранилища данных, очень прошу направить на путь истинный!

Итак, в OLTP-базе есть 2 таблицы: одна таблица складских транзакций (InventTrans) вторая - таблица с агрегированными данными из первой (InventSum).

InventSum для упрощения содержит набор FK колонок, набор колонок с агрегированными данными по разным условиям (могу быть и сложные) из InventTrans и галочку Closed, которая показывает, что по данной комбинации FK запасов больше нет.

Пользователь хочет анализировать InventSum. Но при этом со временем там может появиться тьма записей с комбинациями FK, где наличие отсутствует.

Я так понимаю здесь подходит только вариант транзакционного факта, при этом перед каждой загрузкой данных требуется очищать эту таблицу от имеющихся записей, дабы не накапливать мусор с галкой Closed

Какой бы способ реализации применили Вы?

Заранее благодарю!
...
Рейтинг: 0 / 0
28.10.2014, 16:11
    #38789555
кириллk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Cardagant,

а работать только с "одна таблица складских транзакций" и агрегировать самому нельзя?
...
Рейтинг: 0 / 0
28.10.2014, 16:24
    #38789568
Cardagant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
кириллk,

Спасибо за ответ.

Там целая плеяда полей, которые собираются OLTP-системой на основе полей первой таблицы. Предложение реализовать на СКЛ всё, что делает OLTP-система?
...
Рейтинг: 0 / 0
28.10.2014, 16:32
    #38789589
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Cardagantкириллk,

Спасибо за ответ.

Там целая плеяда полей, которые собираются OLTP-системой на основе полей первой таблицы. Предложение реализовать на СКЛ всё, что делает OLTP-система?

Вам надо свести данные к схеме звезда или снежинка, то всё хорошо пойдёт в OLAP
...
Рейтинг: 0 / 0
28.10.2014, 16:35
    #38789596
Cardagant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
a_voronin,

Это я понимаю. То есть в данном случае всю логику, которую применяет OLTP для сбора агрегированной таблицы следует переложить таблицу фактов 1 (исходную InventTrans)?
...
Рейтинг: 0 / 0
28.10.2014, 16:57
    #38789636
George Nordic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Cardagant, ага, Axapta Отпиши georgend @ mail.ru

С Уважением,
Георгий
...
Рейтинг: 0 / 0
28.10.2014, 17:01
    #38789649
Cardagant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
George Nordic,

ага, Аксапта) сейчас напишу, спасибо!
...
Рейтинг: 0 / 0
30.10.2014, 14:25
    #38791722
Станислав Клевцов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
CardagantДобрый день!

Есть проблема с проектированием хранилища данных, очень прошу направить на путь истинный!

Итак, в OLTP-базе есть 2 таблицы: одна таблица складских транзакций (InventTrans) вторая - таблица с агрегированными данными из первой (InventSum).

InventSum для упрощения содержит набор FK колонок, набор колонок с агрегированными данными по разным условиям (могу быть и сложные) из InventTrans и галочку Closed, которая показывает, что по данной комбинации FK запасов больше нет.

Пользователь хочет анализировать InventSum. Но при этом со временем там может появиться тьма записей с комбинациями FK, где наличие отсутствует.

Я так понимаю здесь подходит только вариант транзакционного факта, при этом перед каждой загрузкой данных требуется очищать эту таблицу от имеющихся записей, дабы не накапливать мусор с галкой Closed

Какой бы способ реализации применили Вы?

Заранее благодарю!

1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"

1.2. Хранилище планируете развернуть на отдельной машине ?

Тогда необходимо будет решать задачи :
Извлечения данных из разнородных источников;

Преобразования и очистки данных;

Загрузки данных в ХД;

Вы готовы к этому ?
...
Рейтинг: 0 / 0
30.10.2014, 20:08
    #38792237
Apex
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Станислав Клевцов1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"


Это кто ж тебя такой чуши научил...
...
Рейтинг: 0 / 0
30.10.2014, 21:06
    #38792275
Станислав Клевцов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
ApexСтанислав Клевцов1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"


Это кто ж тебя такой чуши научил...

читал где-то ... это для бюджетного ХД пойдет.

Для ХД можно использовать :
https://ru.wikipedia.org/wiki/Greenplum -
https://ru.wikipedia.org/wiki/Teradata - только вот цены кусаются
из того что известно мне...но есть же и другие...

Для построения хранилищ популярны несколько методологий:

http://habrahabr.ru/post/227111/ ...
Во-первых это Кимбэл, и построение хранилища в виде комбинации «звезд». Одна из самых популярных методологий, т.к. ей учат во всех наших институтах, где читают про хранилища.

Во-вторых, это Инмон.… Точнее не просто Инмон, а скорее инерция. Его подход к проектированию хранилищ содержит ряд красивых тезисов, вроде нормализации, но не содержит однозначного алгоритма, как именно преобразовать бизнес-модель в модель данных (в таблицы СУБД). Но всегда есть короткая дорога — можно взять таблицы исходной системы, из которой заполняется хранилище, перенести их AS IS, немного доработать и будет хранилище. Почти по Инмону.

В третьих, это Data Vault. Относительно новая методология, но в России уже более-менее известная, даже статья в википедии на русском есть. Неплохая штука, есть и идеология, и алгоритм построения моделей.

В четвертых, это Anchor Modeling. Совсем новая методология, местами шокирующая, т.к. предполагает хранение данных с соблюдением 6-й нормальной формы.
...
...
Рейтинг: 0 / 0
31.10.2014, 07:04
    #38792486
Apex
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Станислав КлевцовApexпропущено...

Это кто ж тебя такой чуши научил...

читал где-то ... это для бюджетного ХД пойдет.

Давай попробуем еще раз, я на этот раз выделю

Станислав Клевцов 1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"
...
Рейтинг: 0 / 0
31.10.2014, 07:15
    #38792490
Apex
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Станислав Клевцов http://habrahabr.ru/post/227111/ ...
Во-первых это Кимбэл, и построение хранилища в виде комбинации «звезд». Одна из самых популярных методологий, т.к. ей учат во всех наших институтах, где читают про хранилища.

Во-вторых, это Инмон.… Точнее не просто Инмон, а скорее инерция. Его подход к проектированию хранилищ содержит ряд красивых тезисов, вроде нормализации, но не содержит однозначного алгоритма, как именно преобразовать бизнес-модель в модель данных (в таблицы СУБД). Но всегда есть короткая дорога — можно взять таблицы исходной системы, из которой заполняется хранилище, перенести их AS IS, немного доработать и будет хранилище. Почти по Инмону.

В третьих, это Data Vault. Относительно новая методология, но в России уже более-менее известная, даже статья в википедии на русском есть. Неплохая штука, есть и идеология, и алгоритм построения моделей.

В четвертых, это Anchor Modeling. Совсем новая методология, местами шокирующая, т.к. предполагает хранение данных с соблюдением 6-й нормальной формы.
...

Это, кстати, тоже каша какая-то. Data Vault - это не методология, это техника моделирования, нет там методологии. Методология как раз у Инмона и Кимбалла. А у Дэна грубо говоря способ замоделировать что-то для чего-то. Хороший способ, кстати, мне нравится, но на методологию все же не тянет.
...
Рейтинг: 0 / 0
31.10.2014, 11:38
    #38792716
Cardagant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Станислав Клевцов,

автор1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"

ДА, спасибо, теорию знаю :)

автор1.2. Хранилище планируете развернуть на отдельной машине ?

Тогда необходимо будет решать задачи :
Извлечения данных из разнородных источников;
Преобразования и очистки данных;
Загрузки данных в ХД;

Вы готовы к этому ?

Подразумевается наличие хранилища СКЛ, которое будет наполняться посредством ССИС пакета.
...
Рейтинг: 0 / 0
31.10.2014, 19:46
    #38793361
Станислав Клевцов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
ApexСтанислав Клевцовпропущено...


читал где-то ... это для бюджетного ХД пойдет.

Давай попробуем еще раз, я на этот раз выделю

Станислав Клевцов 1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"

'
YouTube Video
...
Рейтинг: 0 / 0
01.11.2014, 02:29
    #38793494
Apex
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Станислав КлевцовApexпропущено...

Давай попробуем еще раз, я на этот раз выделю

пропущено...


'
YouTube Video
...
Рейтинг: 0 / 0
01.11.2014, 05:49
    #38793511
Apex
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
ApexСтанислав Клевцовпропущено...


'
YouTube Video
...
Рейтинг: 0 / 0
01.11.2014, 14:45
    #38793708
Станислав Клевцов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
ApexApexпропущено...

ОК, вечером гляну.

Ну, короче, там сильно поверхностное изложение, пример, приведенный на 43-й минуте - это всего лишь пример, т.е. один из возможных вариантов реалиазции, причем довольно простой, по понятным причинам, т.к. лекция явно расчитана на людей, которые вообще первый раз слушают о хранилищах. Делать вывод на основании этой лекции, что реализация должна быть именно такая и никакая иначе - как минимум неправильно, ибо хранилища данных не ограничиваются витринами.

Спасибо, что посмотрели пример.

Apex...лекция явно рассчитана на людей...
... хранилища данных не ограничиваются витринами...

Согласен с вами.
...
Рейтинг: 0 / 0
01.11.2014, 14:56
    #38793717
Станислав Клевцов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Apex
Клевцов СтаниславДопустим мы проектируем ХД, с помощью техники моделирования Data Vault для 2 сущностей нам необходимо будет наличие двух хабов, двух хаб-сателлитов и связь этих сущностей (линк и линк-сателлит). А как будет в Anchor Modeling ?
На каждый атрибут хаба будет отдельная таблица

... и поверх всех таблиц с атрибутами хаба будет витрина, собирающая все в одну кучу ?

А в остальном все так же или есть какие - нибудь отличия?
...
Рейтинг: 0 / 0
01.11.2014, 22:58
    #38794015
Станислав Клевцов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
ApexСтанислав Клевцовпропущено...

...
На каждый атрибут хаба будет отдельная таблица.

В принципе здесь по шагам все описывается:

http://www.anchormodeling.com/?page_id=186
Приступимссс... :-)
...
Рейтинг: 0 / 0
03.11.2014, 22:36
    #38794886
vmarch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Станислав Клевцов
1.1. Реляционная база данных может быть хранилищем данных, но только в денормализованном виде

Ненормализованные пространственные бд строятся чаще всего из схемы - "Звезда" или "Снежинка"


ну вот почему бедную звезду или там снежинку упорно называют денормализованной...

Денормализация (англ. denormalization) — намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации, обычно проводимое с целью ускорения операций чтения из базы за счет добавления избыточных данных.

https://ru.wikipedia.org/wiki/Денормализация

Идеал денормализованного представления есть одна таблица содержащая буквально все в себе и не требующая джойнов вовсе.
...
Рейтинг: 0 / 0
03.11.2014, 23:04
    #38794899
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
vmarch,

Потому что одним из последних шагов при проектировании модели ХД по звезде является денормализация. Вы об этом не знали?
...
Рейтинг: 0 / 0
03.11.2014, 23:14
    #38794907
vmarch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
CardagantДобрый день!
... в OLTP-базе есть 2 таблицы: одна таблица складских транзакций (InventTrans) вторая - таблица с агрегированными данными из первой (InventSum).

InventSum для упрощения содержит набор FK колонок, набор колонок с агрегированными данными по разным условиям (могу быть и сложные) из InventTrans и галочку Closed, которая показывает, что по данной комбинации FK запасов больше нет.

Пользователь хочет анализировать InventSum. Но при этом со временем там может появиться тьма записей с комбинациями FK, где наличие отсутствует.



pardon, у Вас хранилище проектируется или витрина данных по состоянию на данный момент? подход немного разнится. В хранилище скорее всего надо предусмотреть возможность воспроизвести ситуацию "А что у нас, мнэээ, месяц назад было?" А месяц назад эта вот запись в InventSum не была Closed.


Судя по всему, пользователя интересует только "здесь и сейчас". Тогда смело
Cardagantочищать эту таблицу от имеющихся записей, дабы не накапливать мусор
...
Рейтинг: 0 / 0
03.11.2014, 23:21
    #38794912
vmarch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Полковник.vmarch,

Потому что одним из последних шагов при проектировании модели ХД по звезде является денормализация. Вы об этом не знали?

извините, частичная денормализация - что еще в свою очередь не означает денормализованности звезды как таковой ;).
...
Рейтинг: 0 / 0
04.11.2014, 15:34
    #38795255
Cardagant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
vmarch,

Как раз-таки хранилище проектирую.
...
Рейтинг: 0 / 0
04.11.2014, 17:10
    #38795356
vmarch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Прошу совета по проектированию хранилища данных
Cardagantvmarch,

Как раз-таки хранилище проектирую.

ок, тогда предлагается забыть о флаге "Closed" и перейти на логику "время жизни записи" в аггрегате from to
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Прошу совета по проектированию хранилища данных / 25 сообщений из 33, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]