powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MS AS, MS Sql Server - с чего начать строить DW
25 сообщений из 29, страница 1 из 2
MS AS, MS Sql Server - с чего начать строить DW
    #32639354
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Скажу сразу - в OLAP я новичок, поэтому прошу сильно не придираться...
Планируется проектирование OLAP подсистемы на основе существующей OLTP базы данных (MS SQL Server). OLAP cервер тоже выбран - MS AS.
Теоретически, все необходимые данные в OLTP базе присутствуют, но в ненормализованом виде.
Вопрос - нужно ли создавать отдельную базу - хранилище данных, в которую переливать данные из OLTP-базы или можно/лучше создать представления (view) для таблиц фактов и измерений и выбрать эти представления в качестве источника данных AS.
Мне так больше нравится второй вариант (зачем лишняя БД?), хотя с его реализацией были проблемы. Делал ли так кто-нибудь ? И если такое возможно, какие могут возникнуть с этим проблемы ?

И так, на всякий случай - база OLTP выделенная, с ней напрямую никто не работает
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32639733
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DWH надо, без него - только идеологи Когнос проповедуют :-)

читать здесь

ralph kimball
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32639806
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за содержательный ответ, но...
Можно в двух словах - зачем ?
Как я вижу:
DW на основе view
недостатки :
- медленный процессинг куба при его изменении
преимущества :
- целостность системы (OLTP+OLAP)
- нет дублирования данных
- нет проблем с перекачкой данных (DTS, и т.д.)

Если я не прав, просьба поправить аргументированно.
Если я не все учел, просьба добавить (опять же аргументированно)
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640051
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пока у вас источник одна OLTP можно 90% ворпросов решить с пом вьюх, но как только у вас источников данных больше 1, а я вам гарантирую, что как только у вас аналитическая сиситема покажет себя успешно на основной оперативной системе - руководство захочет "подсосать" данные еще из какой либо системы - например из Exchange данніе из деловых календарей сотрудников - тут ваши вьюхи вам скажут "оревуарчик".

Короче - Читайте классику - делайте выводы и задавайте вопросы.

Во вторых - время жизни OLTP как правило меньше чем DWH.
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640425
max_spbti
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У нас тож OLAP стоит на реальной базе и ничего хорошего в этом нет когда процессинг кубов попадает на рабочее время, т.е. все висят, так что лучше заморочиться с отдельнолй базой для OLAP
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640584
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 max_spbti

Так я же указал, что база у меня выделенная, с ней никто напрямую не работает (только агент репликации)

2 backfire
Так, хорошо, к недостаткам добавляем альтернативные источники данных.
Тогда такой вариант: А что если совместить OLTP базу и DWH ? Т.е. на данные, которые вводят пользователи напрямую навесить вьюхи, а альтернативные данные приводить к реляционному виду и сливать в ту же базу. Предвижу возражение - зачем пользователям OLTP эти данные ? Так у них их не будет, поскольку пользователи работают с частичными репликами центральной базы и эти таблицы можно исключить из репликации.
Таким образом будет единая система, без дублирующихся данных и без необходимости эти данные согласовывать. Как такой вариант ?
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640608
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем привет!

To ura:

все необходимые данные в OLTP базе присутствуют, но в ненормализованом виде. база OLTP выделенная, с ней напрямую никто не работает

На мой взгляд, то что у Вас есть - это по определению - хранилище данных (выделенная денормализованная БД).
Это типа есть у меня телевизор, коробка, когда включаю - на телевизоре загружается Windows, далее могу запускать MS Excel. Так вот, могу ли я работать в этом MS Excel, или для работы в Excel надо купить компьютер?

To backfire:

DWH надо, без него - только идеологи Когнос проповедуют :-)

:) Эксперты по Cognos (правда не все) стремятся к тому, чтобы ROI от внедрения Cognos было высоким. А если без причины предлагать делать хранилище данных - то и проект затянется, и стоимость его повысится, а трудоемкость повысится еще больше.
В то же время хочу отметить, что я не противник хранилищ данных - сейчас у меня идет несколько проектов, в которых первый этап -это создание DWH...

А что касается проблем с низкой производительностью при создании куба на основе OLTP - то видимо это актуально для MS AS, а для Cognos - не актуально. В Cognos делаются простые запросы к OLTP и есть мощный вычислительный инструментарий конструкторов выражений, которые нагружают OLAP-сервер. А если приходится переносить вычисления на уровень реляционного сервера - то используется инкременталка, и делается это по возможности ночью.

Так что видимо, г-н ura, у Вас 2 альтернативы - либо читать труды классиков по DWH, либо выбрать более гибкий OLAP-сервер (например Cognos PowerPlay :)
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640688
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Jurii
Когда я говорил про денормализованный вид данных, я не совсем правильно выразился. Данные то как раз нормализованы, но не совсем в том виде, который подходит для DWH. Один пример - цены хранятся в разных валютах, а в документе имеется ссылка на таблицу курсов. Для этих преобразований и нужны вьюхи.
А что касается проблем с низкой производительностью при создании куба на основе OLTP - то видимо это актуально для MS AS, а для Cognos - не актуально
Не думаю, что Cognos сможет преобразовать данные, полученные из MS SQL сервера, главным образом построить таблицу фактов, быстрее чем это сделает сам SQL сервер при помощи грамотного механизма, написанного грамотным разработчиком. И вообще, платфома уже выбрана, поэтому в эту тему углубляться не хочется.
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640813
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To ura:

Данные то как раз нормализованы, но не совсем в том виде, который подходит для DWH. Один пример - цены хранятся в разных валютах, а в документе имеется ссылка на таблицу курсов. Для этих преобразований и нужны вьюхи.

Эта типичная задача в Cognos решается через создание виртуальных вьюшек (выбрать таблицу продаж и курсов, сделать связь по идентификатору валюты и по дате - дата документа >= дата курса, ну и наложить фильтр агрегирования для отбора записей из справочников курсов валют с ближайшей меньшей датой) - то есть всего несколько кликов мышкой в конструкторе выражений. У MS AS нет модуля для создания виртуальных вьюшек, и поэтому приходится лезть в базу и создавать там объект - вьюшку...

Не думаю, что Cognos сможет преобразовать данные, полученные из MS SQL сервера, главным образом построить таблицу фактов, быстрее чем это сделает сам SQL сервер при помощи грамотного механизма, написанного грамотным разработчиком.

Думаю есть задачи, где гибкости Cognos не хватит и придется писать вьюшку, но вышеприведенная задача к ним не относится. Что касается скорости, то оптимально написанная вьюшка имеет все шансы работать быстрее, чем запрос, созданный визуальными средствами, правда чтобы написать оптимально - надо потратить много времени, и нужен грамотный разработчик. А грамотные разработчики иногда уходят в отпуск, или не дай бог - увольняются, и в их кодах мало кто может разобраться...
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640864
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2 Jurii:
Юр, дело не в Когносе и не в МСе. Дело в том, что запросы при процессинге будут тормозить в СУБД. Одна из причин, почему стоит делать денормализованное хранилище.
2 ura:
Без построения хранилища, кроме всего прочего, Вы получаете только довольно удобный генератор отчётов виде OLAP. Ни поддержки историчности, ни возможностей очистки(и повышения производительности) оперативного источника. Решайте сами, что Вам надо:-)
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640895
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий,

Юр, дело не в Когносе и не в МСе. Дело в том, что запросы при процессинге будут тормозить в СУБД. Одна из причин, почему стоит делать денормализованное хранилище.

Думаю ты согласишься с тем, что когда настроено инкрементальное обновление - тормоза не возникнут, поскольку даже сложный запрос при наличии фильтра по отбору свежих данных отработает быстро. Так что я останусь при своем мнении, что желание сделать DWH связано с пониманием того, что в MS AS недостаточно функциональности для манипулирования источниками данных.
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640914
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так, еще один недостаток - поддержка историчности.
Про возможность очистки не говорю - она присутствует в частичных репликах.
В принципе, как заметил Jurii (а я подитожил), речь в этом топике уже идет об объединении OLTP базы и DWH в одной физической БД. IMHO должно получиться. Физически данные лежат в виде, удобном для OLTP, а логически (вьюхи) - в виде, типичном для хранилища. А поддержку историчности, как и альтернативные источники данных можно докрутить к этой базе так же, как и к выделенному хранилищу.
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640929
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Юр, давай без лукавства. Мы оба знаем, что инкременталка возможна не всегда. На OLTP источнике она более затруднительна, чем в хранилище, поскольку много грязных данных, идут удаления и т.д. Кроме того, инкрементально или нет, но большое количество джойнов по извращённым условиям может угробить процессинг на самых небольших объёмах данных. МС гибче в вопросах процессинга, поскольку имеет разделяемые измерения - и мы тоже это знаем оба. Не надо приписывать ASу недостатки, которых у него нет:-) У него своих хватает. Также, как и у Impromptu хватает достоинств помимо прокидывания через него банальных запросов:-)))
Да, на небольших объёмах данных, при довольно-таки денормализованной структуре, более-менее чистых данных, отсутствии требований к историчности, можно вешать всё на OLTP. Кто б спорил, что быстрее будет:-) По моим оценкам, разработка хранилища и ETL требует примерно в 4-5 раз больше времени, чем навешивание сверху самых навороченных кубов:-)
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32640948
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2 ura:
Это как вы их подкрутите? Если у вас факты сыпались на продажу водки по 1000 рублей, которая у вас была в сегменте "Элитный", а потом сбросили цену до 50 - она переехала в "Дешёвый", в OLTP вы просто ссылку перекинете по уму. В протичном случае вы получите свинарник в данных. А в хранилище, старые факты должны в в сегменте "Элитный" остаться? И как Вы подкручивать будете - я не знаю.
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32641112
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 DmitryS
Как прикручивать - да точно также, как и в хранилище.
Если Сегмент - это отдельное измерение, то он хранится в документе OLTP, если же Сегмент - это иерархия измерения Товар, то решение такое же, как и в DWH. Для OLTP можно оставить ссылку на новое значение.
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32641198
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вы транзакционную систему перепишете? И думаете на трудозатратах сэкономить?
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32641302
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нет, не переписывать. Для истории добавить отдельную табличку, а для работы оставить текущее значение в справочнике товаров.
Т.е. это будет база, в которой одновременно будет OLTP составляющая и хранилище данных. У этих составляющих будут общие данные (через view), а будут и раздельные.
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32641441
Dartov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всё граждане, расходитесь, все по домам!
Слышали? Задача построения хранилища решается добавлением таблички "для истории" :))

Уважаемые, учите матчасть, читайте классиков, то бишь указанных здесь Ralph Kimball & Bill Inmon
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32641511
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всё граждане, расходитесь, все по домам!
Не надо всех разгонять по домам, сам можешь свалить, а мнение остальных мне будет интересно послушать
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32641764
Dartov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ura, извините, шутка не кстати
но я не первый кто посоветовал отцов-основателей почитать
там на Ваш вопрос
uraесли такое возможно, какие могут возникнуть с этим проблемы ?
очень подробные ответы даны
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32642130
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To DmitryS:

Мы оба знаем, что инкременталка возможна не всегда

И также мы знаем, что инкременталка сложна при маленьких объемах данных (тогда можно хоть каждый час куб перепроцессить), а при больших объемах (например в рознице, телекоме и т.п.) она делается легко, так как там нет исправлений задним числом.

МС гибче в вопросах процессинга, поскольку имеет разделяемые измерения - и мы тоже это знаем оба.

Мы знаем, что если для каждого измерения в Cognos сделать свою виртуальную вьюшку, то это будет полным аналогом разделяемых измерений. Лично я стараюсь не злоупотреблять разделяемыми измерениями, поскольку при увеличении количества кубов в системе и при возникновении потребности изменить измерение для какого-либо куба - могут поплыть другие кубы, в которые входит это измерение...

Не надо приписывать ASу недостатки, которых у него нет

OK, пусть у MS AS не будет недостатков :) Только вот функциональности для решения типичных задач в нем тоже маловато, о чем свидетельствуют многочисленные постинги на этом форуме...

По моим оценкам, разработка хранилища и ETL требует примерно в 4-5 раз больше времени, чем навешивание сверху самых навороченных кубов:-)

Важно чтобы дополнительные затраты (разработка хранилища) не перекрыли дополнительные преимущества, которые получит пользователь...
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32642381
ura
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Dartov
Ладно, проехали...

Я то знаю, что нужно класиков почитать, но если хелп я еще по английски могу осилить, то с книжкой у сложнее, а на русском я ничего не нашел.
Тогда вопрос по литературе - я так понял, в книгах указанных авторов излагается теория построения хранилищ данных, неужели там приводится и их физическая реализация ? Тем более в привязке к нужной мне платформе ?
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32642430
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Юр, в оперативных системах практически всегда присутствуют удаления. Причём физические. Как ты их решишь инкременталкой?
Недостатки и достоинства есть у всех, у МС и Когноса их меньшая совокупность, чем у остальных - см. объёмы продаж:-) Дело не в этом. Согласись, что PowerPlay (как и AS) преимущественно предназначен не для оперативного репортинга. И потому, если есть возможность и потребность делать качественную аналитику, то надо её делать. В противном случае, прикрываем фиговым листком те же данные, ту же грязь, да ещё с процессинговым лагом. Вертеть кубики удобно, спору нет.
Это вопрос не продукта, а идеологии развития ИС, ИМХО.
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32642503
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий,

Юр, в оперативных системах практически всегда присутствуют удаления. Причём физические. Как ты их решишь инкременталкой?

Всегда есть какой-то закрытый период, в котором ничего не удаляют и не изменяют. Я делаю куб на конец этого закрытого периода и каждый раз подкачиваю инкрементально данные до текущей даты.

Согласись, что PowerPlay (как и AS) преимущественно предназначен не для оперативного репортинга.

Ну наверное, это все-таки OLAP-продукты, ведь есть еще и продукты класса Query & Reporting (Cognos Impromptu, ReportNet, BusinessObjects, Crystal, Actuate, Oracle Discoverer и т.п.), и они думаю лучше заточены на оперативность. Но супер-оперативность до минуты нужна не руководителям и менеджерам, а рядовым сотрудникам, для которых Business Intelligence внедряется редко. А оперативность до часа - это несложно для OLAP, хотя реально и это мало кому нужно - обычно хватает свежести данных по состоянию на конец вчерашнего дня.

И потому, если есть возможность и потребность делать качественную аналитику, то надо её делать

Я считаю, что не надо стремиться к 100-процентной максимизации качества аналитики - это и трудоемко, и дорого, и малореально. Пусть будет качество на уровне 99.9% :)
...
Рейтинг: 0 / 0
MS AS, MS Sql Server - с чего начать строить DW
    #32643483
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiВсегда есть какой-то закрытый период...
Да есть закрытый период. Только в один прекрасный момент подойдет/позвонит хАзяин/Учредитель/презитент.... и скажет "... так что милый не хочу я видеть тут эту цифирь. Удали и пересчитай. Ты же спец. Я же те бабки...." и т.д. и т.п.
Короче на все, не знаю сколько, согласен с предыдущими. Реалии жизни накладывают свои отпечатки
...
Рейтинг: 0 / 0
25 сообщений из 29, страница 1 из 2
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MS AS, MS Sql Server - с чего начать строить DW
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]