Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Коллеги, нужна ваша помощь, в следующей ситуации: имеется приложение(классический 2-х уровневый клиент-сервер), написанное на VB6 и работающее с MS SQL либо с Oracle. Есть необходимость добавить к нему возможность DWH с тем, чтобы пользователи могли легко строить свои самодельные отчеты против наших данных. Посоветуйте, плиз, общий подход к пролеме и с чего имеет смысл начать? Спасибо Mike ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:09 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
С чтения литературы по предмету, описывающей общие (и конкретные) подходы. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:17 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Константин ЛисянскийС чтения литературы по предмету, описывающей общие (и конкретные) подходы. был бы благодарен за соответствующие референсы Mike ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:44 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: Рекомендую начать с многомерного OLAP-сервера Cognos PowerPlay, который в свои OLAP-кубы (многомерные хранилища/витрины данных) по регламенту будет подгружать данные из базы данных Вашей учетной системы. На основе OLAP-кубов пользователи легко смогут строить самодельные отчеты. Для Вас, как для новичка в области DWH, это самый эффективный подход. Если Вы начнете читать литературу по теориям DWH - Вы не скоро получите какие-либо полезные результаты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:51 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo: но знайте, пока Вы лицензию у Cognos не купите, Jurii Вам помогать не станет, в отличии от всех остальных "The CBO without stats is like a morning without coffee." T.Kyte ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:58 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiЕсли Вы начнете читать литературу по теориям DWH - Вы не скоро получите какие-либо полезные результаты.Читать это вообще зло. Все беды в мире от грамотеев. Вспомните Хиросиму! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:02 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiРекомендую начать с многомерного OLAP-сервера Cognos PowerPlay хм.., дело хорошее, но... собственно, ведь вопрос не в этом. Cognos или там BusinessObjects - все это забота кастомеров, чем там они уже пользуются, что им больше нравится.. Наше дело - предоставить им "хорошие" данные - так, чтобы было просто и удобно по ним строить отчеты. Вот тут основная проблема - как организовать сбор и выгрузку этих хороших данных. Наша БД сама по себе заказчиков не устраивает, для непосвященного в ней не так легко найти то, что нужно; кроме того, часть того, что интересует, вообще не хранится в БД, а расчитывается по определенным правилам.. Вот и надо каким-то образом все это расчитать - собрать - сохранить - систематически апдейтить. А дальше уже можно Cognos напускать (но that's not my business, as I already said..) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:14 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
не понял, кто такие кастомеры? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:28 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 hell: но знайте, пока Вы лицензию у Cognos не купите, Jurii Вам помогать не станет, в отличии от всех остальных Почему же, многие специалисты по OLAP/DWH ко мне обращаются, и я им помогаю получить триальную версию Cognos, и помогаю ее настроить в течение 1 часа на их учетную систему. 2 Birkhoff: Читать это вообще зло. Все беды в мире от грамотеев. Вспомните Хиросиму! Мы с Вами - старожилы на этом форуме. Здесь было достаточно примеров, когда человек начинал с чтения теории DWH, и через 1-2 года у него были лишь примитивные аналитические модели. Если уж заниматься DWH - то при помощи таких экспертов как Вы или Константин Лисянский, а если хочется получить практически те же результаты но на порядок дешевле и быстрее - стоит использовать многомерный OLAP, в котором DWH делается не с помощью ручного программирования, а визуальными средствами :) 2 Mike Sikalo: Cognos или там BusinessObjects - все это забота кастомеров, чем там они уже пользуются, что им больше нравится. Наша БД сама по себе заказчиков не устраивает, для непосвященного в ней не так легко найти то, что нужно; кроме того, часть того, что интересует, вообще не хранится в БД, а расчитывается по определенным правилам.. Вот и надо каким-то образом все это расчитать - собрать - сохранить - систематически апдейтить. А дальше уже можно Cognos напускать Я считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. Что касается BusinessObjects, то формулы в нем можно сделать сложные, а вот расчеты свои он не умеет хранить в формате многомерного OLAP, поэтому решение на BO при сложной структуре БД будет притормаживать... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:35 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii: про помощь топик про русский язык есть. Да ладно, эффтоп это "The CBO without stats is like a morning without coffee." T.Kyte ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:42 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 hell: Jurii: про помощь топик про русский язык есть. Да ладно, эффтоп это Да, это оффтоп. Замечу только что автор того топика выступает анонимно, триальную версию не просит, и просит помощи в настройке не каких-то там простеньких конфигураций Cognos, а хочет настроить корпоративный портал Upfront и Enterprise-конфигурацию OLAP-сервера PowerPlay... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:47 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii2 hell: Я считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. а в Cognosе этот процесс проходит автоматом? Jurii Что касается BusinessObjects, то формулы в нем можно сделать сложные, а вот расчеты свои он не умеет хранить в формате многомерного OLAP, поэтому решение на BO при сложной структуре БД будет притормаживать... хм. ну если использовать ВО как генератор отчетов, то сложные расчеты он будет считать на лету, поэтому данные и перекладывают в хранилище ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:51 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiЯ считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. с моей т.з. это как раз менее трудоемко и более consistent, ведь у нас уже есть вся логика - реализованная и работающая. Меньше всего хотелось бы повторять ее в Cognos или где бы то ни было еще... Давайте по порядку. Аналитическую систему надо кормить данными? Надо. Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу. Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными. Как быть? Насколько я понимаю, считается правильным не удалять данные из DWH, а только добавлять? Но мне непонятно, как такое организовать на практике. Посоветуйте, плиз. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:11 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Добрый Эх: а в Cognosе этот процесс проходит автоматом? В Cognosе вычисляемые объекты создаются в конструкторах выражений и/или с помощью кликов мышки, без необходимости написания SQL-запросов. Приведу пример: хотим мы консолидировать данные по продажам и затратам и разнести затраты пропорционально тем или иным базам распределения. В Cognose для этого надо вставить мышкой две таблицы фактов, и для каждого измерения несколько раз кликнуть мышкой, задавая базу распределения. А вот если эту задачу решать на уровне DWH - это будет серьезным и трудоемким проектом... хм. ну если использовать ВО как генератор отчетов, то сложные расчеты он будет считать на лету, поэтому данные и перекладывают в хранилище Правильно. А хранилище еще надо спроектировать и протестировать его работу. И под каждый отчет надо будет создать таблицу с агрегатами, чтобы быстро все работало. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:15 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo, ну допустим вот позиция SAP - из системы ничего не удаляется. Если надо корректировку - сторнируйте). Приведите пример, когда данные у вас удаляются. "The CBO without stats is like a morning without coffee." T.Kyte ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:19 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу Если у Вас все гладко проходит - Вам повезло. Однако не забывайте, что реляционные базы данных не заточены на интегрирование, тотализирование и дорасчитывание данных - они заточены только на инсерт и на апдейт. Рассмотрим задачу вычисления остатков по товарам. Если товаров - много, мест хранения - много, периодов времени - много, то во всех разрезах просчитать остатки и положить их в DWH будет очень ресурсоемко (и долго, и сервер потребуется мощный). В то же время если закачать приходы и расходы товаров в многомерный OLAP, то там остатки будут вычисляться с OLAPовской скоростью. Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными Если Вы имеете в виду проблему медленно меняющихся измерений, то DWH Вам вряд ли поможет, если Ваша учетная система не поддерживает темпоральность (не хранит значения справочников в привязке к интервалам дат). Если же Вы имеете в виду изменения документов задним числом, то в такой ситуации Вы будете закачивать каждый раз данные в OLAP-куб с даты закрытого периода по текущую дату. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:27 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
hellПриведите пример, когда данные у вас удаляются. ну вот к примеру финансовые прогнозы могут удаляться / изменяться. И что делать, если я сохраню консолидированную информацию о прогнозах по состоянию на сегодня, а завтра прогноз изменится/исчезнет? Я, конечно, могу все консолидированное удалить и перегенерировать заново, но ведь это плохо, насколько я понимаю? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:28 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: ну вот к примеру финансовые прогнозы могут удаляться / изменяться На практике я встречал такой подход, когда при создании прогноза ему присваивается номер версии, и если делается новый прогноз - для него присваивается другой номер версии. В итоге можно в OLAP-кубе сравнивать фактические данные с прогнозами из разных версий. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:32 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii ну вот к примеру финансовые прогнозы могут удаляться / изменяться На практике я встречал такой подход, когда при создании прогноза ему присваивается номер версии, и если делается новый прогноз - для него присваивается другой номер версии. В итоге можно в OLAP-кубе сравнивать фактические данные с прогнозами из разных версий. ну в принципе да, но тогда, скорее уж сохранять дату последней модификации, и тогда можно будет строить кубы в разрезе дат, типа состояние прогнозов на начало, средину, конец квартала.. Я правильно понимаю, что, в таком случае, если между адейтами базы данных DWH произойдет несколько модификаций прогноза, то сохраниться только последний? И что, в конечном итоге, это нормально т.к. частота апдейта DWH определяется бизнес-необходимостью и, если его настроили апдейтиться раз в сутки, то, значит, их интересует состояние на "вчерашний вечер" и подробностей о том, как оно изменялось в течение дня и не нужно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:40 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: Я правильно понимаю, что, в таком случае, если между адейтами базы данных DWH произойдет несколько модификаций прогноза, то сохраниться только последний? в конечном итоге, это нормально т.к. частота апдейта DWH определяется бизнес-необходимостью и, если его настроили апдейтиться раз в сутки, то, значит, их интересует состояние на "вчерашний вечер" и подробностей о том, как оно изменялось в течение дня и не нужно? Лично мне подход с фотоснимками базы данных не нравится. Более разумным я считаю правильно проектировать учетную систему, чтобы в ней хранились все версии планов (то есть чтобы в таблицу планов данные только инсертились). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 20:02 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiЛично мне подход с фотоснимками базы данных не нравится. Более разумным я считаю правильно проектировать учетную систему, чтобы в ней хранились все версии планов (то есть чтобы в таблицу планов данные только инсертились). ну, сути дела это не меняет, просто это более трудоемко, т.к. потребует в нашем случае переделок и в "оперативной" системе, а не только добавления DWH... Но вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 20:11 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: просто это более трудоемко, т.к. потребует в нашем случае переделок и в "оперативной" системе, а не только добавления DWH... Добавление DWH лишь частично решит проблему, так как чать данных (причем непредсказуемо каких) не будет сохраняться при фотографировании. Но вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала? Я частенько решаю подобные задачи в Cognos. Cognos - это достаточно гибкий продукт класса OLAP, в нем можно в отчете фильтровать по-разному каждую строку и столбец. Например, перетащить в отчет плановую и фактическую выручку, и плановую выручку раскрыть в несколько версий плана (не раскрывая в какие-либо версии фактическую выручку). Подобной гибкости насколько я знаю в BusinessObjects нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 20:23 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo. Начните с того, что перестаньте слушать сейлов, тусующихся на этом форуме,которые утверждают, что покупкой одного программного средства можно решить любую проблему. Очень полезно ознакомитсья с большинством граблей, на которые наступают разработчики DWH, потратив пару недель на прочтение книжек Кимбалла. Ну и сайт Константина Лисянского обязательно посмотрите - там очень много ссылок на хорошие статьи. Mike Sikalo был бы благодарен за соответствующие референсы Если есть время дождаться доставки книг из америки, то обязательно закажите книжки Кимбалла: The Data Warehouse Lifecycle Toolkit и The Data Warehouse ETL Toolkit. Еще вот здесь посмотрите: http://anatolix.naumen.ru/DataWarehouseToolkit ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 09:42 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo JuriiЯ считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. с моей т.з. это как раз менее трудоемко и более consistent, ведь у нас уже есть вся логика - реализованная и работающая. Меньше всего хотелось бы повторять ее в Cognos или где бы то ни было еще... Давайте по порядку. Аналитическую систему надо кормить данными? Надо. Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу. Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными. Как быть? Насколько я понимаю, считается правильным не удалять данные из DWH, а только добавлять? Но мне непонятно, как такое организовать на практике. Посоветуйте, плиз. То, что в источниках данные могут меняться, это не исключение, а скорее правило. Вы должны учесть эти изменения при проектировании хранилища данных и при скриптов загрузки. Боюсь, что книжки тут не помогут. Самый простой, но и самый трудоёмкий способ это отслеживать - перегружать все данные при каждой загрузке. Иногда так и делают. Более сложный способ - перегружать каждый раз часть данных. Опять же самый простой способ - знать максимальную глубину, на которой данные могут меняться и перегружать незакрытые периоды. При этом конечно Вам придётся сначала часть данных удалить из хранилища. Ничего страшного в этом нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 10:06 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike SikaloНо вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала? для ВО это не проблема и делать это сможет даже пользователь, а не только разработчик DWH, если разработчик перед этим грамотно построит юниверс по вашей оперативной системе. No Pasaran прав, для изучения хранилищ, ответов на форумах не достаточно. Кимбал рулит, еще вот инфа от IBM Data Modeling Techniques for Data Warehousing Виктор Сакович ...Боюсь, что книжки тут не помогут. да, книги за Вас сами ни чего делать не будут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 10:25 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=360&tid=1871408]: |
0ms |
get settings: |
6ms |
get forum list: |
9ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
36ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
| others: | 241ms |
| total: | 349ms |

| 0 / 0 |
