Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Скажу сразу - в OLAP я новичок, поэтому прошу сильно не придираться... Планируется проектирование OLAP подсистемы на основе существующей OLTP базы данных (MS SQL Server). OLAP cервер тоже выбран - MS AS. Теоретически, все необходимые данные в OLTP базе присутствуют, но в ненормализованом виде. Вопрос - нужно ли создавать отдельную базу - хранилище данных, в которую переливать данные из OLTP-базы или можно/лучше создать представления (view) для таблиц фактов и измерений и выбрать эти представления в качестве источника данных AS. Мне так больше нравится второй вариант (зачем лишняя БД?), хотя с его реализацией были проблемы. Делал ли так кто-нибудь ? И если такое возможно, какие могут возникнуть с этим проблемы ? И так, на всякий случай - база OLTP выделенная, с ней напрямую никто не работает ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2004, 21:23 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2004, 00:15 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Спасибо за содержательный ответ, но... Можно в двух словах - зачем ? Как я вижу: DW на основе view недостатки : - медленный процессинг куба при его изменении преимущества : - целостность системы (OLTP+OLAP) - нет дублирования данных - нет проблем с перекачкой данных (DTS, и т.д.) Если я не прав, просьба поправить аргументированно. Если я не все учел, просьба добавить (опять же аргументированно) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2004, 10:47 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Пока у вас источник одна OLTP можно 90% ворпросов решить с пом вьюх, но как только у вас источников данных больше 1, а я вам гарантирую, что как только у вас аналитическая сиситема покажет себя успешно на основной оперативной системе - руководство захочет "подсосать" данные еще из какой либо системы - например из Exchange данніе из деловых календарей сотрудников - тут ваши вьюхи вам скажут "оревуарчик". Короче - Читайте классику - делайте выводы и задавайте вопросы. Во вторых - время жизни OLTP как правило меньше чем DWH. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.08.2004, 20:32 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
У нас тож OLAP стоит на реальной базе и ничего хорошего в этом нет когда процессинг кубов попадает на рабочее время, т.е. все висят, так что лучше заморочиться с отдельнолй базой для OLAP ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 10:49 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
2 max_spbti Так я же указал, что база у меня выделенная, с ней никто напрямую не работает (только агент репликации) 2 backfire Так, хорошо, к недостаткам добавляем альтернативные источники данных. Тогда такой вариант: А что если совместить OLTP базу и DWH ? Т.е. на данные, которые вводят пользователи напрямую навесить вьюхи, а альтернативные данные приводить к реляционному виду и сливать в ту же базу. Предвижу возражение - зачем пользователям OLTP эти данные ? Так у них их не будет, поскольку пользователи работают с частичными репликами центральной базы и эти таблицы можно исключить из репликации. Таким образом будет единая система, без дублирующихся данных и без необходимости эти данные согласовывать. Как такой вариант ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 11:49 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Всем привет! To ura: все необходимые данные в OLTP базе присутствуют, но в ненормализованом виде. база OLTP выделенная, с ней напрямую никто не работает На мой взгляд, то что у Вас есть - это по определению - хранилище данных (выделенная денормализованная БД). Это типа есть у меня телевизор, коробка, когда включаю - на телевизоре загружается Windows, далее могу запускать MS Excel. Так вот, могу ли я работать в этом MS Excel, или для работы в Excel надо купить компьютер? To backfire: DWH надо, без него - только идеологи Когнос проповедуют :-) :) Эксперты по Cognos (правда не все) стремятся к тому, чтобы ROI от внедрения Cognos было высоким. А если без причины предлагать делать хранилище данных - то и проект затянется, и стоимость его повысится, а трудоемкость повысится еще больше. В то же время хочу отметить, что я не противник хранилищ данных - сейчас у меня идет несколько проектов, в которых первый этап -это создание DWH... А что касается проблем с низкой производительностью при создании куба на основе OLTP - то видимо это актуально для MS AS, а для Cognos - не актуально. В Cognos делаются простые запросы к OLTP и есть мощный вычислительный инструментарий конструкторов выражений, которые нагружают OLAP-сервер. А если приходится переносить вычисления на уровень реляционного сервера - то используется инкременталка, и делается это по возможности ночью. Так что видимо, г-н ura, у Вас 2 альтернативы - либо читать труды классиков по DWH, либо выбрать более гибкий OLAP-сервер (например Cognos PowerPlay :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 11:56 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
2 Jurii Когда я говорил про денормализованный вид данных, я не совсем правильно выразился. Данные то как раз нормализованы, но не совсем в том виде, который подходит для DWH. Один пример - цены хранятся в разных валютах, а в документе имеется ссылка на таблицу курсов. Для этих преобразований и нужны вьюхи. А что касается проблем с низкой производительностью при создании куба на основе OLTP - то видимо это актуально для MS AS, а для Cognos - не актуально Не думаю, что Cognos сможет преобразовать данные, полученные из MS SQL сервера, главным образом построить таблицу фактов, быстрее чем это сделает сам SQL сервер при помощи грамотного механизма, написанного грамотным разработчиком. И вообще, платфома уже выбрана, поэтому в эту тему углубляться не хочется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 12:28 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
To ura: Данные то как раз нормализованы, но не совсем в том виде, который подходит для DWH. Один пример - цены хранятся в разных валютах, а в документе имеется ссылка на таблицу курсов. Для этих преобразований и нужны вьюхи. Эта типичная задача в Cognos решается через создание виртуальных вьюшек (выбрать таблицу продаж и курсов, сделать связь по идентификатору валюты и по дате - дата документа >= дата курса, ну и наложить фильтр агрегирования для отбора записей из справочников курсов валют с ближайшей меньшей датой) - то есть всего несколько кликов мышкой в конструкторе выражений. У MS AS нет модуля для создания виртуальных вьюшек, и поэтому приходится лезть в базу и создавать там объект - вьюшку... Не думаю, что Cognos сможет преобразовать данные, полученные из MS SQL сервера, главным образом построить таблицу фактов, быстрее чем это сделает сам SQL сервер при помощи грамотного механизма, написанного грамотным разработчиком. Думаю есть задачи, где гибкости Cognos не хватит и придется писать вьюшку, но вышеприведенная задача к ним не относится. Что касается скорости, то оптимально написанная вьюшка имеет все шансы работать быстрее, чем запрос, созданный визуальными средствами, правда чтобы написать оптимально - надо потратить много времени, и нужен грамотный разработчик. А грамотные разработчики иногда уходят в отпуск, или не дай бог - увольняются, и в их кодах мало кто может разобраться... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 13:22 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
2 Jurii: Юр, дело не в Когносе и не в МСе. Дело в том, что запросы при процессинге будут тормозить в СУБД. Одна из причин, почему стоит делать денормализованное хранилище. 2 ura: Без построения хранилища, кроме всего прочего, Вы получаете только довольно удобный генератор отчётов виде OLAP. Ни поддержки историчности, ни возможностей очистки(и повышения производительности) оперативного источника. Решайте сами, что Вам надо:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 13:41 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Дмитрий, Юр, дело не в Когносе и не в МСе. Дело в том, что запросы при процессинге будут тормозить в СУБД. Одна из причин, почему стоит делать денормализованное хранилище. Думаю ты согласишься с тем, что когда настроено инкрементальное обновление - тормоза не возникнут, поскольку даже сложный запрос при наличии фильтра по отбору свежих данных отработает быстро. Так что я останусь при своем мнении, что желание сделать DWH связано с пониманием того, что в MS AS недостаточно функциональности для манипулирования источниками данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 13:52 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Так, еще один недостаток - поддержка историчности. Про возможность очистки не говорю - она присутствует в частичных репликах. В принципе, как заметил Jurii (а я подитожил), речь в этом топике уже идет об объединении OLTP базы и DWH в одной физической БД. IMHO должно получиться. Физически данные лежат в виде, удобном для OLTP, а логически (вьюхи) - в виде, типичном для хранилища. А поддержку историчности, как и альтернативные источники данных можно докрутить к этой базе так же, как и к выделенному хранилищу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 13:58 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Юр, давай без лукавства. Мы оба знаем, что инкременталка возможна не всегда. На OLTP источнике она более затруднительна, чем в хранилище, поскольку много грязных данных, идут удаления и т.д. Кроме того, инкрементально или нет, но большое количество джойнов по извращённым условиям может угробить процессинг на самых небольших объёмах данных. МС гибче в вопросах процессинга, поскольку имеет разделяемые измерения - и мы тоже это знаем оба. Не надо приписывать ASу недостатки, которых у него нет:-) У него своих хватает. Также, как и у Impromptu хватает достоинств помимо прокидывания через него банальных запросов:-))) Да, на небольших объёмах данных, при довольно-таки денормализованной структуре, более-менее чистых данных, отсутствии требований к историчности, можно вешать всё на OLTP. Кто б спорил, что быстрее будет:-) По моим оценкам, разработка хранилища и ETL требует примерно в 4-5 раз больше времени, чем навешивание сверху самых навороченных кубов:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 14:03 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
2 ura: Это как вы их подкрутите? Если у вас факты сыпались на продажу водки по 1000 рублей, которая у вас была в сегменте "Элитный", а потом сбросили цену до 50 - она переехала в "Дешёвый", в OLTP вы просто ссылку перекинете по уму. В протичном случае вы получите свинарник в данных. А в хранилище, старые факты должны в в сегменте "Элитный" остаться? И как Вы подкручивать будете - я не знаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 14:09 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
2 DmitryS Как прикручивать - да точно также, как и в хранилище. Если Сегмент - это отдельное измерение, то он хранится в документе OLTP, если же Сегмент - это иерархия измерения Товар, то решение такое же, как и в DWH. Для OLTP можно оставить ссылку на новое значение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 15:05 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Вы транзакционную систему перепишете? И думаете на трудозатратах сэкономить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 15:42 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Нет, не переписывать. Для истории добавить отдельную табличку, а для работы оставить текущее значение в справочнике товаров. Т.е. это будет база, в которой одновременно будет OLTP составляющая и хранилище данных. У этих составляющих будут общие данные (через view), а будут и раздельные. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 16:25 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Всё граждане, расходитесь, все по домам! Слышали? Задача построения хранилища решается добавлением таблички "для истории" :)) Уважаемые, учите матчасть, читайте классиков, то бишь указанных здесь Ralph Kimball & Bill Inmon ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 17:27 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Всё граждане, расходитесь, все по домам! Не надо всех разгонять по домам, сам можешь свалить, а мнение остальных мне будет интересно послушать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 18:03 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
ura, извините, шутка не кстати но я не первый кто посоветовал отцов-основателей почитать там на Ваш вопрос uraесли такое возможно, какие могут возникнуть с этим проблемы ? очень подробные ответы даны ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.08.2004, 21:43 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
To DmitryS: Мы оба знаем, что инкременталка возможна не всегда И также мы знаем, что инкременталка сложна при маленьких объемах данных (тогда можно хоть каждый час куб перепроцессить), а при больших объемах (например в рознице, телекоме и т.п.) она делается легко, так как там нет исправлений задним числом. МС гибче в вопросах процессинга, поскольку имеет разделяемые измерения - и мы тоже это знаем оба. Мы знаем, что если для каждого измерения в Cognos сделать свою виртуальную вьюшку, то это будет полным аналогом разделяемых измерений. Лично я стараюсь не злоупотреблять разделяемыми измерениями, поскольку при увеличении количества кубов в системе и при возникновении потребности изменить измерение для какого-либо куба - могут поплыть другие кубы, в которые входит это измерение... Не надо приписывать ASу недостатки, которых у него нет OK, пусть у MS AS не будет недостатков :) Только вот функциональности для решения типичных задач в нем тоже маловато, о чем свидетельствуют многочисленные постинги на этом форуме... По моим оценкам, разработка хранилища и ETL требует примерно в 4-5 раз больше времени, чем навешивание сверху самых навороченных кубов:-) Важно чтобы дополнительные затраты (разработка хранилища) не перекрыли дополнительные преимущества, которые получит пользователь... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2004, 10:25 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
2 Dartov Ладно, проехали... Я то знаю, что нужно класиков почитать, но если хелп я еще по английски могу осилить, то с книжкой у сложнее, а на русском я ничего не нашел. Тогда вопрос по литературе - я так понял, в книгах указанных авторов излагается теория построения хранилищ данных, неужели там приводится и их физическая реализация ? Тем более в привязке к нужной мне платформе ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2004, 12:06 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Юр, в оперативных системах практически всегда присутствуют удаления. Причём физические. Как ты их решишь инкременталкой? Недостатки и достоинства есть у всех, у МС и Когноса их меньшая совокупность, чем у остальных - см. объёмы продаж:-) Дело не в этом. Согласись, что PowerPlay (как и AS) преимущественно предназначен не для оперативного репортинга. И потому, если есть возможность и потребность делать качественную аналитику, то надо её делать. В противном случае, прикрываем фиговым листком те же данные, ту же грязь, да ещё с процессинговым лагом. Вертеть кубики удобно, спору нет. Это вопрос не продукта, а идеологии развития ИС, ИМХО. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2004, 12:24 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
Дмитрий, Юр, в оперативных системах практически всегда присутствуют удаления. Причём физические. Как ты их решишь инкременталкой? Всегда есть какой-то закрытый период, в котором ничего не удаляют и не изменяют. Я делаю куб на конец этого закрытого периода и каждый раз подкачиваю инкрементально данные до текущей даты. Согласись, что PowerPlay (как и AS) преимущественно предназначен не для оперативного репортинга. Ну наверное, это все-таки OLAP-продукты, ведь есть еще и продукты класса Query & Reporting (Cognos Impromptu, ReportNet, BusinessObjects, Crystal, Actuate, Oracle Discoverer и т.п.), и они думаю лучше заточены на оперативность. Но супер-оперативность до минуты нужна не руководителям и менеджерам, а рядовым сотрудникам, для которых Business Intelligence внедряется редко. А оперативность до часа - это несложно для OLAP, хотя реально и это мало кому нужно - обычно хватает свежести данных по состоянию на конец вчерашнего дня. И потому, если есть возможность и потребность делать качественную аналитику, то надо её делать Я считаю, что не надо стремиться к 100-процентной максимизации качества аналитики - это и трудоемко, и дорого, и малореально. Пусть будет качество на уровне 99.9% :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2004, 12:56 |
|
||
|
MS AS, MS Sql Server - с чего начать строить DW
|
|||
|---|---|---|---|
|
#18+
JuriiВсегда есть какой-то закрытый период... Да есть закрытый период. Только в один прекрасный момент подойдет/позвонит хАзяин/Учредитель/презитент.... и скажет "... так что милый не хочу я видеть тут эту цифирь. Удали и пересчитай. Ты же спец. Я же те бабки...." и т.д. и т.п. Короче на все, не знаю сколько, согласен с предыдущими. Реалии жизни накладывают свои отпечатки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.08.2004, 20:55 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=384&tid=1872362]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
37ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
59ms |
get tp. blocked users: |
1ms |
| others: | 242ms |
| total: | 380ms |

| 0 / 0 |
