Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Вопрос проектирования ХД, неизменность данных. / 18 сообщений из 18, страница 1 из 1
28.04.2004, 10:40
    #32499971
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
В литературе по ХД упоминается вопрос неизменности данных с течением времени. Вопрос - о каких данных идет речь ? Пример, если у организации покупателя сменился адрес, к примеру, улица, то надо ли ее менять в ХД, начиная с текущего момента, не затрагивая все предыдущие периоды или в каждом случае вопрос неизменности решается индивидуально ?
...
Рейтинг: 0 / 0
28.04.2004, 10:46
    #32499987
Quark
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Речь идет об историческоих данных.
Если сменился адрес,
то если он исползуется как отдельное измерение
то надеюсь у вас суррогатный ключ?
если просто как реквизит у клиента, то проще.
А дальше в зависимости от ТРЕБОВАНИЙ БИЗНЕСА, то есть конечных пользователей необходимо хранить либо текущие данные либо историю изменений.
...
Рейтинг: 0 / 0
28.04.2004, 11:04
    #32500042
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Понятно, каждый случай рассматривается с учетом требований бизнеса.
...
Рейтинг: 0 / 0
28.04.2004, 11:06
    #32500048
Quark
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Во всяких умных книжках по ХД приводится масса примеров, когда на заре ХД разработчики насоздавали кучу ненужных функциональностей от которых потом эти ХД и умерли(
...
Рейтинг: 0 / 0
29.04.2004, 12:17
    #32502323
Константин Лисянский
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
2 Quark:

А дальше в зависимости от ТРЕБОВАНИЙ БИЗНЕСА, то есть конечных пользователей необходимо хранить либо текущие данные либо историю изменений.

При этом требования бизнеса могут внезапно измениться в сторону хранения истории. Если вы её никогда не хранили, то сможете начать хранить только с момента изменения требований, и помимо этого придётся изменять структуру хранилища (и, скорее всего, приложения).
Несомненно, проектирование хранилища сразу с учётом истории требует дополнительных усилий, но это более гибкий вариант, на мой взгляд.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
29.04.2004, 13:28
    #32502547
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Вопрос к Константину Лисянскому: не могли бы Вы привести примеры известных вам формализованных методолгий проектирования ХД ?
...
Рейтинг: 0 / 0
29.04.2004, 15:29
    #32502900
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Я проанализировал несколько методологий, и оказалось, что своя "методология", выработанная мной "на ощупь", пришла к тому же виду :)
\
примерно так:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
все работы по построению DWH разбить на подготовительную фазу и фазы, соответствующие отдельным бизнес-областям. 
Номер фазы	Наименование фазы
ФАЗА  1 	Подготовка проекта
ФАЗА  2 	Реализация бизнес-области А
…
ФАЗА N	Реализация бизнес-области N

Каждая бизнес-область реализуется в DWH в ходе  5  взаимосвязанных этапов:

Номер этапа	Наименование этапа
ЭТАП  1 	Планирование.
ЭТАП  2 	Проектирование.
ЭТАП  3 	Разработка.
ЭТАП  4 	Подготовка к переходу в эксплуатацию.
ЭТАП  5 	Переход к эксплуатации.


Бизнес-область или витрина определяется как неразбиваемая атомарная совокупность фактических таблиц, необходимых для построения отчета. В терминах MSAS - виртуальный куб на базе нескольких физических.
...
Рейтинг: 0 / 0
29.04.2004, 16:02
    #32503018
Константин Лисянский
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
2 Вжик:

Такие методологии имеются у каждой уважающей себя компании, делающей проекты в области Data Warehousing. Естественно, они формализованы, то есть их формально можно, например оформить в виде модели IDEF0.

Конечно же, в открытом виде они не доступны, если только Вы не работаете в одной из таких компаний.
В своей книге The Data Warehouse Lifecycle Toolkit ральф Кимбал приводит пример своей методологии.
Можно также ознакомиться с трудами от IBM (IBM Redbooks) по этой тематике.

Очень интересно, что вслед за Кимбалом все (в том числе и на этом форуме) называют хранилищем совокупность таблиц фактов и измерений. Это только один из подходов. Например, компания NCR имеет другую методологию - хранилище данных проектируется в третьей нормальной форме для обеспечения возможности хранения исторических данных (в случае звёзд, вы всегда должны решать, какой из видов SCD применять), а также возможности расширения хранилища данных и возможности выполнения сложных запросов.
Витрины данных (звёзды, снежинки) также используются, но могут быть виртуальными (звезда или снежинка делается вьюшками над нормализованным хранилищем).

Надеюсь, что ответил на Ваш вопрос.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
29.04.2004, 16:29
    #32503106
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Честно говоря я ожидал большего, но видимо такова ситуация, какой Вы ее описываете. Я себе представлял, что Вы приведете перечень компаний с названиями методологий, ими применяемых. Видимо, кроме указаных, никто ничего не афиширует, а шуршит себе потихоньку...
...
Рейтинг: 0 / 0
29.04.2004, 18:08
    #32503321
Константин Лисянский
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Ну, давайте добавим сюда методологии таких компаний, как Accenture, Capgemini, PWC (ныне, IBM).
Я думаю, существует много таких методологий, поскольку компаний, которые строят хранилища, довольно много. Однако, компаний, о которых можно серьёзно говорить, весьма немного.
Например, если взять один из отчётов Meta Group, сравнивающий компании, производящие железки, софт и оказывающие услуги по построению ХД, то в сравнении участвуют всего 8 компаний.
Кстати, предлагаю угадать их названия :) Проверим, насколько народ осведомлён о ведущих игроках.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
30.04.2004, 10:18
    #32503868
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Вжик, а давайте обсудим, зачем вам это надо?
Форум-то ведь публичный.
Я знаю методологии есть у IBM и Oracle, книжки вполне доступны коммерчески или в p2p. У Cognos методологии нет в явном виде.
MS-овская методология сделана на базе достижений Symnmetrix и описана в продукте SSABI.
Также очевидно, что никакая методология - не панацея. Отсюда и возвращаемся к моему вопросу - зачем Вам это надо?
...
Рейтинг: 0 / 0
30.04.2004, 10:33
    #32503901
Guest_321
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
У Cognos методологии нет в явном виде.

А вот в неявном виде у Cognos крутая методология :)
...
Рейтинг: 0 / 0
30.04.2004, 11:02
    #32503962
Quark
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
2Константин Лисянский

авторНесомненно, проектирование хранилища сразу с учётом истории требует дополнительных усилий, но это более гибкий вариант, на мой взгляд.

При всем уважении позвольте с Вами не согласиться.

Рассмотрю это на личном примере:
Появилось требование разработки Куба с Измерением по контрагенту и допустим с properties адрес.
Итак, первое что не должен забывать разработчик ХД - это пожелания пользователей.
Что делаю: опрашиваю пользователей ХД(70 чел): аналитиков (10 чел), руководство (5 чел), активных(query tuples>1000/неделю) и прочих кому это понадобится + отдел стратегического планирования, который имеет перед собой план развития компании до 2008 года.
Вопрос один: нужно ли хранить историю адреса клиента?.

Если мне все пользователи отвечают, что НЕТ, а отдел стратегического планирования добавляет, что это не понадобиться до 2008 года. То зачем я буду это делать?
Во-первых, затрата времени (когда же мы его научимся ценить?)(а);
Во-вторых, затрата ресурсов на хранение, обработку
В-третьих, большая вероятность ошибок, так как сложность больше.

По пункту а можно добавить? что необходим будет дальнейший анализ о том где хранить историю, как?(см slowly changing dimension)

Если рассмотреть далее что возникает ситуация когда в связи со сложившимися рыночными условими будет необходим такой анализ и срочно.
Получается что
1) ошиблись 70 человек
2) делаю срочные переработки во времени /ресурсам ХД за которые требую доп. премии.
3) пункт №1 бывает не часто
...
Рейтинг: 0 / 0
30.04.2004, 18:22
    #32505088
Константин Лисянский
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Появилось требование разработки Куба с Измерением по контрагенту и допустим с properties адрес

Вопрос же, всё-таки стоял о проектировании ХД, а не куба. Куб - это частный вопрос. И заранее наперёд довольно трудно предсказать, что будет нужно в следующем кубе. К тому же только кубами хранилище данных не заканчивается. Есть задачи, которые кубами не решаются, и таких задач много.
Хотя в целом соглашусь - совсем безумные идеи лучше обрубать, а то можно запутатся в ненужных деталях.
А по поводу того, что 70 человек могут ошибаться - а зачем тогда люди нанимают бизнес-консультантов, как не для того, чтобы избежать некоторых ошибок? У нас целая страна в течение 70 лет ошибалась, а Вы про 70 человек :)


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
30.04.2004, 20:09
    #32505154
Eldar
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Хранить историю необходимо, но не всегда.
По моему мнению возможны три случая:
1. Когда историю необходимо зранить явно , например, клиент
переехал в другую область. ясно, что при анализе продаж по регионам
за год необходимо, чтобы клиент был и там, и там.
2. Когда необходимо хранить лишь изменение реквизитов объекта (например, поменялось наименование клиента)
3. Когда историю явно хранить не надо. Например, один из руководителей клиента, пусть она будет женщиной, поменялась фамилия (вышла замуж), зачем же здесь лишние данные (если вы конечно не ее поклонник)
В первом случае необходима более сложная обработка данных, что сказывается и на скорости работы. Во-втором, лишь дополнительная табличка с историей, которую можно поссмотреть путем написания простого запроса.
В третьем, простой Update таблички.
...
Рейтинг: 0 / 0
11.05.2004, 11:36
    #32512817
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Как уже было подмечено, вопрос проектирования ХД переместился в сторону проектирования подсистемы OLAP, что на мой взгляд, не совсем верно. Зачем мне это надо - чтобы уметь хорошо проектировать ХД. Что спроектировать ХД можно, опросив пользователей, это понятно, но не всегда достаточно. Поэтому я и заинтересовался наличием формализованных методологий, на основе которых, можно подойти к вопросу в достаточном объеме.
...
Рейтинг: 0 / 0
11.05.2004, 11:52
    #32512855
Константин Лисянский
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
2Вжик:

Рекомендую статью , в которой описывается подход компании NCR к проектированию хранилищ данных.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
11.05.2004, 15:05
    #32513240
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос проектирования ХД, неизменность данных.
Я согласен с Константином. В более-менее серьезном решении надо хранить историю всегда. Это не так сложно, если есть наработки, а плюсов масса.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Вопрос проектирования ХД, неизменность данных. / 18 сообщений из 18, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]