ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Вопрос проектирования ХД, неизменность данных.
18 сообщений из 18, страница 1 из 1
Вопрос проектирования ХД, неизменность данных.
    #32499971
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вжик
Участник
В литературе по ХД упоминается вопрос неизменности данных с течением времени. Вопрос - о каких данных идет речь ? Пример, если у организации покупателя сменился адрес, к примеру, улица, то надо ли ее менять в ХД, начиная с текущего момента, не затрагивая все предыдущие периоды или в каждом случае вопрос неизменности решается индивидуально ?
...
Рейтинг: 0 / 0
28.04.2004, 10:40
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32499987
Фотография Quark
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Quark
Участник
Речь идет об историческоих данных.
Если сменился адрес,
то если он исползуется как отдельное измерение
то надеюсь у вас суррогатный ключ?
если просто как реквизит у клиента, то проще.
А дальше в зависимости от ТРЕБОВАНИЙ БИЗНЕСА, то есть конечных пользователей необходимо хранить либо текущие данные либо историю изменений.
...
Рейтинг: 0 / 0
28.04.2004, 10:46
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32500042
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вжик
Участник
Понятно, каждый случай рассматривается с учетом требований бизнеса.
...
Рейтинг: 0 / 0
28.04.2004, 11:04
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32500048
Фотография Quark
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Quark
Участник
Во всяких умных книжках по ХД приводится масса примеров, когда на заре ХД разработчики насоздавали кучу ненужных функциональностей от которых потом эти ХД и умерли(
...
Рейтинг: 0 / 0
28.04.2004, 11:06
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32502323
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Лисянский
Участник
2 Quark:

А дальше в зависимости от ТРЕБОВАНИЙ БИЗНЕСА, то есть конечных пользователей необходимо хранить либо текущие данные либо историю изменений.

При этом требования бизнеса могут внезапно измениться в сторону хранения истории. Если вы её никогда не хранили, то сможете начать хранить только с момента изменения требований, и помимо этого придётся изменять структуру хранилища (и, скорее всего, приложения).
Несомненно, проектирование хранилища сразу с учётом истории требует дополнительных усилий, но это более гибкий вариант, на мой взгляд.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
29.04.2004, 12:17
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32502547
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вжик
Участник
Вопрос к Константину Лисянскому: не могли бы Вы привести примеры известных вам формализованных методолгий проектирования ХД ?
...
Рейтинг: 0 / 0
29.04.2004, 13:28
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32502900
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
Я проанализировал несколько методологий, и оказалось, что своя "методология", выработанная мной "на ощупь", пришла к тому же виду :)
\
примерно так:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
все работы по построению DWH разбить на подготовительную фазу и фазы, соответствующие отдельным бизнес-областям. 
Номер фазы	Наименование фазы
ФАЗА  1 	Подготовка проекта
ФАЗА  2 	Реализация бизнес-области А
…
ФАЗА N	Реализация бизнес-области N

Каждая бизнес-область реализуется в DWH в ходе  5  взаимосвязанных этапов:

Номер этапа	Наименование этапа
ЭТАП  1 	Планирование.
ЭТАП  2 	Проектирование.
ЭТАП  3 	Разработка.
ЭТАП  4 	Подготовка к переходу в эксплуатацию.
ЭТАП  5 	Переход к эксплуатации.


Бизнес-область или витрина определяется как неразбиваемая атомарная совокупность фактических таблиц, необходимых для построения отчета. В терминах MSAS - виртуальный куб на базе нескольких физических.
...
Рейтинг: 0 / 0
29.04.2004, 15:29
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32503018
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Лисянский
Участник
2 Вжик:

Такие методологии имеются у каждой уважающей себя компании, делающей проекты в области Data Warehousing. Естественно, они формализованы, то есть их формально можно, например оформить в виде модели IDEF0.

Конечно же, в открытом виде они не доступны, если только Вы не работаете в одной из таких компаний.
В своей книге The Data Warehouse Lifecycle Toolkit ральф Кимбал приводит пример своей методологии.
Можно также ознакомиться с трудами от IBM (IBM Redbooks) по этой тематике.

Очень интересно, что вслед за Кимбалом все (в том числе и на этом форуме) называют хранилищем совокупность таблиц фактов и измерений. Это только один из подходов. Например, компания NCR имеет другую методологию - хранилище данных проектируется в третьей нормальной форме для обеспечения возможности хранения исторических данных (в случае звёзд, вы всегда должны решать, какой из видов SCD применять), а также возможности расширения хранилища данных и возможности выполнения сложных запросов.
Витрины данных (звёзды, снежинки) также используются, но могут быть виртуальными (звезда или снежинка делается вьюшками над нормализованным хранилищем).

Надеюсь, что ответил на Ваш вопрос.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
29.04.2004, 16:02
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32503106
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вжик
Участник
Честно говоря я ожидал большего, но видимо такова ситуация, какой Вы ее описываете. Я себе представлял, что Вы приведете перечень компаний с названиями методологий, ими применяемых. Видимо, кроме указаных, никто ничего не афиширует, а шуршит себе потихоньку...
...
Рейтинг: 0 / 0
29.04.2004, 16:29
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32503321
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Лисянский
Участник
Ну, давайте добавим сюда методологии таких компаний, как Accenture, Capgemini, PWC (ныне, IBM).
Я думаю, существует много таких методологий, поскольку компаний, которые строят хранилища, довольно много. Однако, компаний, о которых можно серьёзно говорить, весьма немного.
Например, если взять один из отчётов Meta Group, сравнивающий компании, производящие железки, софт и оказывающие услуги по построению ХД, то в сравнении участвуют всего 8 компаний.
Кстати, предлагаю угадать их названия :) Проверим, насколько народ осведомлён о ведущих игроках.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
29.04.2004, 18:08
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32503868
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
Вжик, а давайте обсудим, зачем вам это надо?
Форум-то ведь публичный.
Я знаю методологии есть у IBM и Oracle, книжки вполне доступны коммерчески или в p2p. У Cognos методологии нет в явном виде.
MS-овская методология сделана на базе достижений Symnmetrix и описана в продукте SSABI.
Также очевидно, что никакая методология - не панацея. Отсюда и возвращаемся к моему вопросу - зачем Вам это надо?
...
Рейтинг: 0 / 0
30.04.2004, 10:18
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32503901
Guest_321
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guest_321
Гость
У Cognos методологии нет в явном виде.

А вот в неявном виде у Cognos крутая методология :)
...
Рейтинг: 0 / 0
30.04.2004, 10:33
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32503962
Фотография Quark
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Quark
Участник
2Константин Лисянский

авторНесомненно, проектирование хранилища сразу с учётом истории требует дополнительных усилий, но это более гибкий вариант, на мой взгляд.

При всем уважении позвольте с Вами не согласиться.

Рассмотрю это на личном примере:
Появилось требование разработки Куба с Измерением по контрагенту и допустим с properties адрес.
Итак, первое что не должен забывать разработчик ХД - это пожелания пользователей.
Что делаю: опрашиваю пользователей ХД(70 чел): аналитиков (10 чел), руководство (5 чел), активных(query tuples>1000/неделю) и прочих кому это понадобится + отдел стратегического планирования, который имеет перед собой план развития компании до 2008 года.
Вопрос один: нужно ли хранить историю адреса клиента?.

Если мне все пользователи отвечают, что НЕТ, а отдел стратегического планирования добавляет, что это не понадобиться до 2008 года. То зачем я буду это делать?
Во-первых, затрата времени (когда же мы его научимся ценить?)(а);
Во-вторых, затрата ресурсов на хранение, обработку
В-третьих, большая вероятность ошибок, так как сложность больше.

По пункту а можно добавить? что необходим будет дальнейший анализ о том где хранить историю, как?(см slowly changing dimension)

Если рассмотреть далее что возникает ситуация когда в связи со сложившимися рыночными условими будет необходим такой анализ и срочно.
Получается что
1) ошиблись 70 человек
2) делаю срочные переработки во времени /ресурсам ХД за которые требую доп. премии.
3) пункт №1 бывает не часто
...
Рейтинг: 0 / 0
30.04.2004, 11:02
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32505088
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Лисянский
Участник
Появилось требование разработки Куба с Измерением по контрагенту и допустим с properties адрес

Вопрос же, всё-таки стоял о проектировании ХД, а не куба. Куб - это частный вопрос. И заранее наперёд довольно трудно предсказать, что будет нужно в следующем кубе. К тому же только кубами хранилище данных не заканчивается. Есть задачи, которые кубами не решаются, и таких задач много.
Хотя в целом соглашусь - совсем безумные идеи лучше обрубать, а то можно запутатся в ненужных деталях.
А по поводу того, что 70 человек могут ошибаться - а зачем тогда люди нанимают бизнес-консультантов, как не для того, чтобы избежать некоторых ошибок? У нас целая страна в течение 70 лет ошибалась, а Вы про 70 человек :)


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
30.04.2004, 18:22
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32505154
Eldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Eldar
Гость
Хранить историю необходимо, но не всегда.
По моему мнению возможны три случая:
1. Когда историю необходимо зранить явно , например, клиент
переехал в другую область. ясно, что при анализе продаж по регионам
за год необходимо, чтобы клиент был и там, и там.
2. Когда необходимо хранить лишь изменение реквизитов объекта (например, поменялось наименование клиента)
3. Когда историю явно хранить не надо. Например, один из руководителей клиента, пусть она будет женщиной, поменялась фамилия (вышла замуж), зачем же здесь лишние данные (если вы конечно не ее поклонник)
В первом случае необходима более сложная обработка данных, что сказывается и на скорости работы. Во-втором, лишь дополнительная табличка с историей, которую можно поссмотреть путем написания простого запроса.
В третьем, простой Update таблички.
...
Рейтинг: 0 / 0
30.04.2004, 20:09
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32512817
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вжик
Участник
Как уже было подмечено, вопрос проектирования ХД переместился в сторону проектирования подсистемы OLAP, что на мой взгляд, не совсем верно. Зачем мне это надо - чтобы уметь хорошо проектировать ХД. Что спроектировать ХД можно, опросив пользователей, это понятно, но не всегда достаточно. Поэтому я и заинтересовался наличием формализованных методологий, на основе которых, можно подойти к вопросу в достаточном объеме.
...
Рейтинг: 0 / 0
11.05.2004, 11:36
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32512855
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Лисянский
Участник
2Вжик:

Рекомендую статью , в которой описывается подход компании NCR к проектированию хранилищ данных.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
11.05.2004, 11:52
| Ответить | Цитировать | Написать  
Вопрос проектирования ХД, неизменность данных.
    #32513240
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Иванов
Участник
Я согласен с Константином. В более-менее серьезном решении надо хранить историю всегда. Это не так сложно, если есть наработки, а плюсов масса.
...
Рейтинг: 0 / 0
11.05.2004, 15:05
| Ответить | Цитировать | Написать  
18 сообщений из 18, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Вопрос проектирования ХД, неизменность данных.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]