powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Как прикрутить DWH к существующей системе
25 сообщений из 81, страница 1 из 4
Как прикрутить DWH к существующей системе
    #33093206
Mike Sikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллеги,

нужна ваша помощь, в следующей ситуации: имеется приложение(классический 2-х уровневый клиент-сервер), написанное на VB6 и работающее с MS SQL либо с Oracle. Есть необходимость добавить к нему возможность DWH с тем, чтобы пользователи могли легко строить свои самодельные отчеты против наших данных. Посоветуйте, плиз, общий подход к пролеме и с чего имеет смысл начать?

Спасибо
Mike
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093227
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
С чтения литературы по предмету, описывающей общие (и конкретные) подходы.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093305
Mike Sikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Константин ЛисянскийС чтения литературы по предмету, описывающей общие (и конкретные) подходы.

был бы благодарен за соответствующие референсы

Mike
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093320
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Mike Sikalo:

Рекомендую начать с многомерного OLAP-сервера Cognos PowerPlay, который в свои OLAP-кубы (многомерные хранилища/витрины данных) по регламенту будет подгружать данные из базы данных Вашей учетной системы. На основе OLAP-кубов пользователи легко смогут строить самодельные отчеты.
Для Вас, как для новичка в области DWH, это самый эффективный подход. Если Вы начнете читать литературу по теориям DWH - Вы не скоро получите какие-либо полезные результаты.
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093339
Фотография hell
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mike Sikalo: но знайте, пока Вы лицензию у Cognos не купите, Jurii Вам помогать не станет, в отличии от всех остальных

"The CBO without stats is like a morning without coffee." T.Kyte
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093346
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiЕсли Вы начнете читать литературу по теориям DWH - Вы не скоро получите какие-либо полезные результаты.Читать это вообще зло. Все беды в мире от грамотеев. Вспомните Хиросиму!
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093372
Mike Sikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiРекомендую начать с многомерного OLAP-сервера Cognos PowerPlay

хм.., дело хорошее, но... собственно, ведь вопрос не в этом. Cognos или там BusinessObjects - все это забота кастомеров, чем там они уже пользуются, что им больше нравится.. Наше дело - предоставить им "хорошие" данные - так, чтобы было просто и удобно по ним строить отчеты. Вот тут основная проблема - как организовать сбор и выгрузку этих хороших данных. Наша БД сама по себе заказчиков не устраивает, для непосвященного в ней не так легко найти то, что нужно; кроме того, часть того, что интересует, вообще не хранится в БД, а расчитывается по определенным правилам.. Вот и надо каким-то образом все это расчитать - собрать - сохранить - систематически апдейтить. А дальше уже можно Cognos напускать (но that's not my business, as I already said..)
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093391
Фотография Добрый Эх
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
не понял, кто такие кастомеры?
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093406
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 hell:

но знайте, пока Вы лицензию у Cognos не купите, Jurii Вам помогать не станет, в отличии от всех остальных

Почему же, многие специалисты по OLAP/DWH ко мне обращаются, и я им помогаю получить триальную версию Cognos, и помогаю ее настроить в течение 1 часа на их учетную систему.

2 Birkhoff:

Читать это вообще зло. Все беды в мире от грамотеев. Вспомните Хиросиму!

Мы с Вами - старожилы на этом форуме. Здесь было достаточно примеров, когда человек начинал с чтения теории DWH, и через 1-2 года у него были лишь примитивные аналитические модели. Если уж заниматься DWH - то при помощи таких экспертов как Вы или Константин Лисянский, а если хочется получить практически те же результаты но на порядок дешевле и быстрее - стоит использовать многомерный OLAP, в котором DWH делается не с помощью ручного программирования, а визуальными средствами :)

2 Mike Sikalo:

Cognos или там BusinessObjects - все это забота кастомеров, чем там они уже пользуются, что им больше нравится.
Наша БД сама по себе заказчиков не устраивает, для непосвященного в ней не так легко найти то, что нужно; кроме того, часть того, что интересует, вообще не хранится в БД, а расчитывается по определенным правилам.. Вот и надо каким-то образом все это расчитать - собрать - сохранить - систематически апдейтить. А дальше уже можно Cognos напускать


Я считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. Что касается BusinessObjects, то формулы в нем можно сделать сложные, а вот расчеты свои он не умеет хранить в формате многомерного OLAP, поэтому решение на BO при сложной структуре БД будет притормаживать...
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093418
Фотография hell
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii: про помощь топик про русский язык есть. Да ладно, эффтоп это

"The CBO without stats is like a morning without coffee." T.Kyte
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093428
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 hell:

Jurii: про помощь топик про русский язык есть. Да ладно, эффтоп это

Да, это оффтоп. Замечу только что автор того топика выступает анонимно, триальную версию не просит, и просит помощи в настройке не каких-то там простеньких конфигураций Cognos, а хочет настроить корпоративный портал Upfront и Enterprise-конфигурацию OLAP-сервера PowerPlay...
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093442
Фотография Добрый Эх
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii2 hell:
Я считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко.

а в Cognosе этот процесс проходит автоматом?

Jurii
Что касается BusinessObjects, то формулы в нем можно сделать сложные, а вот расчеты свои он не умеет хранить в формате многомерного OLAP, поэтому решение на BO при сложной структуре БД будет притормаживать...

хм. ну если использовать ВО как генератор отчетов, то сложные расчеты он будет считать на лету, поэтому данные и перекладывают в хранилище
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093479
Mike Sikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiЯ считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко.

с моей т.з. это как раз менее трудоемко и более consistent, ведь у нас уже есть вся логика - реализованная и работающая. Меньше всего хотелось бы повторять ее в Cognos или где бы то ни было еще...

Давайте по порядку. Аналитическую систему надо кормить данными? Надо. Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу.

Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными. Как быть? Насколько я понимаю, считается правильным не удалять данные из DWH, а только добавлять? Но мне непонятно, как такое организовать на практике. Посоветуйте, плиз.
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093486
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Добрый Эх:

а в Cognosе этот процесс проходит автоматом?

В Cognosе вычисляемые объекты создаются в конструкторах выражений и/или с помощью кликов мышки, без необходимости написания SQL-запросов. Приведу пример: хотим мы консолидировать данные по продажам и затратам и разнести затраты пропорционально тем или иным базам распределения. В Cognose для этого надо вставить мышкой две таблицы фактов, и для каждого измерения несколько раз кликнуть мышкой, задавая базу распределения. А вот если эту задачу решать на уровне DWH - это будет серьезным и трудоемким проектом...

хм. ну если использовать ВО как генератор отчетов, то сложные расчеты он будет считать на лету, поэтому данные и перекладывают в хранилище

Правильно. А хранилище еще надо спроектировать и протестировать его работу. И под каждый отчет надо будет создать таблицу с агрегатами, чтобы быстро все работало.
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093495
Фотография hell
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mike Sikalo, ну допустим вот позиция SAP - из системы ничего не удаляется. Если надо корректировку - сторнируйте).

Приведите пример, когда данные у вас удаляются.

"The CBO without stats is like a morning without coffee." T.Kyte
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093504
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Mike Sikalo:

Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу

Если у Вас все гладко проходит - Вам повезло. Однако не забывайте, что реляционные базы данных не заточены на интегрирование, тотализирование и дорасчитывание данных - они заточены только на инсерт и на апдейт. Рассмотрим задачу вычисления остатков по товарам. Если товаров - много, мест хранения - много, периодов времени - много, то во всех разрезах просчитать остатки и положить их в DWH будет очень ресурсоемко (и долго, и сервер потребуется мощный). В то же время если закачать приходы и расходы товаров в многомерный OLAP, то там остатки будут вычисляться с OLAPовской скоростью.

Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными

Если Вы имеете в виду проблему медленно меняющихся измерений, то DWH Вам вряд ли поможет, если Ваша учетная система не поддерживает темпоральность (не хранит значения справочников в привязке к интервалам дат). Если же Вы имеете в виду изменения документов задним числом, то в такой ситуации Вы будете закачивать каждый раз данные в OLAP-куб с даты закрытого периода по текущую дату.
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093509
Mike Sikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hellПриведите пример, когда данные у вас удаляются.

ну вот к примеру финансовые прогнозы могут удаляться / изменяться. И что делать, если я сохраню консолидированную информацию о прогнозах по состоянию на сегодня, а завтра прогноз изменится/исчезнет? Я, конечно, могу все консолидированное удалить и перегенерировать заново, но ведь это плохо, насколько я понимаю?
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093515
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Mike Sikalo:

ну вот к примеру финансовые прогнозы могут удаляться / изменяться

На практике я встречал такой подход, когда при создании прогноза ему присваивается номер версии, и если делается новый прогноз - для него присваивается другой номер версии. В итоге можно в OLAP-кубе сравнивать фактические данные с прогнозами из разных версий.
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093525
Mike Sikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii ну вот к примеру финансовые прогнозы могут удаляться / изменяться

На практике я встречал такой подход, когда при создании прогноза ему присваивается номер версии, и если делается новый прогноз - для него присваивается другой номер версии. В итоге можно в OLAP-кубе сравнивать фактические данные с прогнозами из разных версий.

ну в принципе да, но тогда, скорее уж сохранять дату последней модификации, и тогда можно будет строить кубы в разрезе дат, типа состояние прогнозов на начало, средину, конец квартала..

Я правильно понимаю, что, в таком случае, если между адейтами базы данных DWH произойдет несколько модификаций прогноза, то сохраниться только последний? И что, в конечном итоге, это нормально т.к. частота апдейта DWH определяется бизнес-необходимостью и, если его настроили апдейтиться раз в сутки, то, значит, их интересует состояние на "вчерашний вечер" и подробностей о том, как оно изменялось в течение дня и не нужно?
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093553
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Mike Sikalo:

Я правильно понимаю, что, в таком случае, если между адейтами базы данных DWH произойдет несколько модификаций прогноза, то сохраниться только последний?
в конечном итоге, это нормально т.к. частота апдейта DWH определяется бизнес-необходимостью и, если его настроили апдейтиться раз в сутки, то, значит, их интересует состояние на "вчерашний вечер" и подробностей о том, как оно изменялось в течение дня и не нужно?


Лично мне подход с фотоснимками базы данных не нравится. Более разумным я считаю правильно проектировать учетную систему, чтобы в ней хранились все версии планов (то есть чтобы в таблицу планов данные только инсертились).
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093564
Mike Sikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiЛично мне подход с фотоснимками базы данных не нравится. Более разумным я считаю правильно проектировать учетную систему, чтобы в ней хранились все версии планов (то есть чтобы в таблицу планов данные только инсертились).

ну, сути дела это не меняет, просто это более трудоемко, т.к. потребует в нашем случае переделок и в "оперативной" системе, а не только добавления DWH...

Но вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала?
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093581
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Mike Sikalo:

просто это более трудоемко, т.к. потребует в нашем случае переделок и в "оперативной" системе, а не только добавления DWH...

Добавление DWH лишь частично решит проблему, так как чать данных (причем непредсказуемо каких) не будет сохраняться при фотографировании.

Но вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала?

Я частенько решаю подобные задачи в Cognos. Cognos - это достаточно гибкий продукт класса OLAP, в нем можно в отчете фильтровать по-разному каждую строку и столбец. Например, перетащить в отчет плановую и фактическую выручку, и плановую выручку раскрыть в несколько версий плана (не раскрывая в какие-либо версии фактическую выручку). Подобной гибкости насколько я знаю в BusinessObjects нет.
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33093955
No Pasaran
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Mike Sikalo.

Начните с того, что перестаньте слушать сейлов, тусующихся на этом форуме,которые утверждают, что покупкой одного программного средства можно решить любую проблему.

Очень полезно ознакомитсья с большинством граблей, на которые наступают разработчики DWH, потратив пару недель на прочтение книжек Кимбалла. Ну и сайт Константина Лисянского обязательно посмотрите - там очень много ссылок на хорошие статьи.

Mike Sikalo был бы благодарен за соответствующие референсы

Если есть время дождаться доставки книг из америки, то обязательно закажите книжки Кимбалла:
The Data Warehouse Lifecycle Toolkit и
The Data Warehouse ETL Toolkit.

Еще вот здесь посмотрите:
http://anatolix.naumen.ru/DataWarehouseToolkit
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33094012
Виктор Сакович
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mike Sikalo JuriiЯ считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко.

с моей т.з. это как раз менее трудоемко и более consistent, ведь у нас уже есть вся логика - реализованная и работающая. Меньше всего хотелось бы повторять ее в Cognos или где бы то ни было еще...

Давайте по порядку. Аналитическую систему надо кормить данными? Надо. Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу.

Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными. Как быть? Насколько я понимаю, считается правильным не удалять данные из DWH, а только добавлять? Но мне непонятно, как такое организовать на практике. Посоветуйте, плиз.

То, что в источниках данные могут меняться, это не исключение, а скорее правило. Вы должны учесть эти изменения при проектировании хранилища данных и при скриптов загрузки. Боюсь, что книжки тут не помогут.
Самый простой, но и самый трудоёмкий способ это отслеживать - перегружать все данные при каждой загрузке. Иногда так и делают.
Более сложный способ - перегружать каждый раз часть данных. Опять же самый простой способ - знать максимальную глубину, на которой данные могут меняться и перегружать незакрытые периоды. При этом конечно Вам придётся сначала часть данных удалить из хранилища. Ничего страшного в этом нет.
...
Рейтинг: 0 / 0
Как прикрутить DWH к существующей системе
    #33094061
Фотография Добрый Эх
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mike SikaloНо вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала?

для ВО это не проблема и делать это сможет даже пользователь, а не только разработчик DWH, если разработчик перед этим грамотно построит юниверс по вашей оперативной системе.
No Pasaran прав, для изучения хранилищ, ответов на форумах не достаточно. Кимбал рулит, еще вот инфа от IBM
Data Modeling Techniques for Data Warehousing

Виктор Сакович
...Боюсь, что книжки тут не помогут.

да, книги за Вас сами ни чего делать не будут.
...
Рейтинг: 0 / 0
25 сообщений из 81, страница 1 из 4
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Как прикрутить DWH к существующей системе
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]