Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Коллеги, нужна ваша помощь, в следующей ситуации: имеется приложение(классический 2-х уровневый клиент-сервер), написанное на VB6 и работающее с MS SQL либо с Oracle. Есть необходимость добавить к нему возможность DWH с тем, чтобы пользователи могли легко строить свои самодельные отчеты против наших данных. Посоветуйте, плиз, общий подход к пролеме и с чего имеет смысл начать? Спасибо Mike ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:09 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
С чтения литературы по предмету, описывающей общие (и конкретные) подходы. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:17 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Константин ЛисянскийС чтения литературы по предмету, описывающей общие (и конкретные) подходы. был бы благодарен за соответствующие референсы Mike ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:44 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: Рекомендую начать с многомерного OLAP-сервера Cognos PowerPlay, который в свои OLAP-кубы (многомерные хранилища/витрины данных) по регламенту будет подгружать данные из базы данных Вашей учетной системы. На основе OLAP-кубов пользователи легко смогут строить самодельные отчеты. Для Вас, как для новичка в области DWH, это самый эффективный подход. Если Вы начнете читать литературу по теориям DWH - Вы не скоро получите какие-либо полезные результаты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:51 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo: но знайте, пока Вы лицензию у Cognos не купите, Jurii Вам помогать не станет, в отличии от всех остальных "The CBO without stats is like a morning without coffee." T.Kyte ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 17:58 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiЕсли Вы начнете читать литературу по теориям DWH - Вы не скоро получите какие-либо полезные результаты.Читать это вообще зло. Все беды в мире от грамотеев. Вспомните Хиросиму! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:02 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiРекомендую начать с многомерного OLAP-сервера Cognos PowerPlay хм.., дело хорошее, но... собственно, ведь вопрос не в этом. Cognos или там BusinessObjects - все это забота кастомеров, чем там они уже пользуются, что им больше нравится.. Наше дело - предоставить им "хорошие" данные - так, чтобы было просто и удобно по ним строить отчеты. Вот тут основная проблема - как организовать сбор и выгрузку этих хороших данных. Наша БД сама по себе заказчиков не устраивает, для непосвященного в ней не так легко найти то, что нужно; кроме того, часть того, что интересует, вообще не хранится в БД, а расчитывается по определенным правилам.. Вот и надо каким-то образом все это расчитать - собрать - сохранить - систематически апдейтить. А дальше уже можно Cognos напускать (но that's not my business, as I already said..) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:14 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
не понял, кто такие кастомеры? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:28 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 hell: но знайте, пока Вы лицензию у Cognos не купите, Jurii Вам помогать не станет, в отличии от всех остальных Почему же, многие специалисты по OLAP/DWH ко мне обращаются, и я им помогаю получить триальную версию Cognos, и помогаю ее настроить в течение 1 часа на их учетную систему. 2 Birkhoff: Читать это вообще зло. Все беды в мире от грамотеев. Вспомните Хиросиму! Мы с Вами - старожилы на этом форуме. Здесь было достаточно примеров, когда человек начинал с чтения теории DWH, и через 1-2 года у него были лишь примитивные аналитические модели. Если уж заниматься DWH - то при помощи таких экспертов как Вы или Константин Лисянский, а если хочется получить практически те же результаты но на порядок дешевле и быстрее - стоит использовать многомерный OLAP, в котором DWH делается не с помощью ручного программирования, а визуальными средствами :) 2 Mike Sikalo: Cognos или там BusinessObjects - все это забота кастомеров, чем там они уже пользуются, что им больше нравится. Наша БД сама по себе заказчиков не устраивает, для непосвященного в ней не так легко найти то, что нужно; кроме того, часть того, что интересует, вообще не хранится в БД, а расчитывается по определенным правилам.. Вот и надо каким-то образом все это расчитать - собрать - сохранить - систематически апдейтить. А дальше уже можно Cognos напускать Я считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. Что касается BusinessObjects, то формулы в нем можно сделать сложные, а вот расчеты свои он не умеет хранить в формате многомерного OLAP, поэтому решение на BO при сложной структуре БД будет притормаживать... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:35 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii: про помощь топик про русский язык есть. Да ладно, эффтоп это "The CBO without stats is like a morning without coffee." T.Kyte ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:42 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 hell: Jurii: про помощь топик про русский язык есть. Да ладно, эффтоп это Да, это оффтоп. Замечу только что автор того топика выступает анонимно, триальную версию не просит, и просит помощи в настройке не каких-то там простеньких конфигураций Cognos, а хочет настроить корпоративный портал Upfront и Enterprise-конфигурацию OLAP-сервера PowerPlay... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:47 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii2 hell: Я считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. а в Cognosе этот процесс проходит автоматом? Jurii Что касается BusinessObjects, то формулы в нем можно сделать сложные, а вот расчеты свои он не умеет хранить в формате многомерного OLAP, поэтому решение на BO при сложной структуре БД будет притормаживать... хм. ну если использовать ВО как генератор отчетов, то сложные расчеты он будет считать на лету, поэтому данные и перекладывают в хранилище ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 18:51 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiЯ считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. с моей т.з. это как раз менее трудоемко и более consistent, ведь у нас уже есть вся логика - реализованная и работающая. Меньше всего хотелось бы повторять ее в Cognos или где бы то ни было еще... Давайте по порядку. Аналитическую систему надо кормить данными? Надо. Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу. Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными. Как быть? Насколько я понимаю, считается правильным не удалять данные из DWH, а только добавлять? Но мне непонятно, как такое организовать на практике. Посоветуйте, плиз. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:11 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Добрый Эх: а в Cognosе этот процесс проходит автоматом? В Cognosе вычисляемые объекты создаются в конструкторах выражений и/или с помощью кликов мышки, без необходимости написания SQL-запросов. Приведу пример: хотим мы консолидировать данные по продажам и затратам и разнести затраты пропорционально тем или иным базам распределения. В Cognose для этого надо вставить мышкой две таблицы фактов, и для каждого измерения несколько раз кликнуть мышкой, задавая базу распределения. А вот если эту задачу решать на уровне DWH - это будет серьезным и трудоемким проектом... хм. ну если использовать ВО как генератор отчетов, то сложные расчеты он будет считать на лету, поэтому данные и перекладывают в хранилище Правильно. А хранилище еще надо спроектировать и протестировать его работу. И под каждый отчет надо будет создать таблицу с агрегатами, чтобы быстро все работало. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:15 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo, ну допустим вот позиция SAP - из системы ничего не удаляется. Если надо корректировку - сторнируйте). Приведите пример, когда данные у вас удаляются. "The CBO without stats is like a morning without coffee." T.Kyte ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:19 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу Если у Вас все гладко проходит - Вам повезло. Однако не забывайте, что реляционные базы данных не заточены на интегрирование, тотализирование и дорасчитывание данных - они заточены только на инсерт и на апдейт. Рассмотрим задачу вычисления остатков по товарам. Если товаров - много, мест хранения - много, периодов времени - много, то во всех разрезах просчитать остатки и положить их в DWH будет очень ресурсоемко (и долго, и сервер потребуется мощный). В то же время если закачать приходы и расходы товаров в многомерный OLAP, то там остатки будут вычисляться с OLAPовской скоростью. Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными Если Вы имеете в виду проблему медленно меняющихся измерений, то DWH Вам вряд ли поможет, если Ваша учетная система не поддерживает темпоральность (не хранит значения справочников в привязке к интервалам дат). Если же Вы имеете в виду изменения документов задним числом, то в такой ситуации Вы будете закачивать каждый раз данные в OLAP-куб с даты закрытого периода по текущую дату. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:27 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
hellПриведите пример, когда данные у вас удаляются. ну вот к примеру финансовые прогнозы могут удаляться / изменяться. И что делать, если я сохраню консолидированную информацию о прогнозах по состоянию на сегодня, а завтра прогноз изменится/исчезнет? Я, конечно, могу все консолидированное удалить и перегенерировать заново, но ведь это плохо, насколько я понимаю? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:28 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: ну вот к примеру финансовые прогнозы могут удаляться / изменяться На практике я встречал такой подход, когда при создании прогноза ему присваивается номер версии, и если делается новый прогноз - для него присваивается другой номер версии. В итоге можно в OLAP-кубе сравнивать фактические данные с прогнозами из разных версий. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:32 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii ну вот к примеру финансовые прогнозы могут удаляться / изменяться На практике я встречал такой подход, когда при создании прогноза ему присваивается номер версии, и если делается новый прогноз - для него присваивается другой номер версии. В итоге можно в OLAP-кубе сравнивать фактические данные с прогнозами из разных версий. ну в принципе да, но тогда, скорее уж сохранять дату последней модификации, и тогда можно будет строить кубы в разрезе дат, типа состояние прогнозов на начало, средину, конец квартала.. Я правильно понимаю, что, в таком случае, если между адейтами базы данных DWH произойдет несколько модификаций прогноза, то сохраниться только последний? И что, в конечном итоге, это нормально т.к. частота апдейта DWH определяется бизнес-необходимостью и, если его настроили апдейтиться раз в сутки, то, значит, их интересует состояние на "вчерашний вечер" и подробностей о том, как оно изменялось в течение дня и не нужно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 19:40 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: Я правильно понимаю, что, в таком случае, если между адейтами базы данных DWH произойдет несколько модификаций прогноза, то сохраниться только последний? в конечном итоге, это нормально т.к. частота апдейта DWH определяется бизнес-необходимостью и, если его настроили апдейтиться раз в сутки, то, значит, их интересует состояние на "вчерашний вечер" и подробностей о том, как оно изменялось в течение дня и не нужно? Лично мне подход с фотоснимками базы данных не нравится. Более разумным я считаю правильно проектировать учетную систему, чтобы в ней хранились все версии планов (то есть чтобы в таблицу планов данные только инсертились). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 20:02 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiЛично мне подход с фотоснимками базы данных не нравится. Более разумным я считаю правильно проектировать учетную систему, чтобы в ней хранились все версии планов (то есть чтобы в таблицу планов данные только инсертились). ну, сути дела это не меняет, просто это более трудоемко, т.к. потребует в нашем случае переделок и в "оперативной" системе, а не только добавления DWH... Но вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 20:11 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: просто это более трудоемко, т.к. потребует в нашем случае переделок и в "оперативной" системе, а не только добавления DWH... Добавление DWH лишь частично решит проблему, так как чать данных (причем непредсказуемо каких) не будет сохраняться при фотографировании. Но вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала? Я частенько решаю подобные задачи в Cognos. Cognos - это достаточно гибкий продукт класса OLAP, в нем можно в отчете фильтровать по-разному каждую строку и столбец. Например, перетащить в отчет плановую и фактическую выручку, и плановую выручку раскрыть в несколько версий плана (не раскрывая в какие-либо версии фактическую выручку). Подобной гибкости насколько я знаю в BusinessObjects нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.05.2005, 20:23 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo. Начните с того, что перестаньте слушать сейлов, тусующихся на этом форуме,которые утверждают, что покупкой одного программного средства можно решить любую проблему. Очень полезно ознакомитсья с большинством граблей, на которые наступают разработчики DWH, потратив пару недель на прочтение книжек Кимбалла. Ну и сайт Константина Лисянского обязательно посмотрите - там очень много ссылок на хорошие статьи. Mike Sikalo был бы благодарен за соответствующие референсы Если есть время дождаться доставки книг из америки, то обязательно закажите книжки Кимбалла: The Data Warehouse Lifecycle Toolkit и The Data Warehouse ETL Toolkit. Еще вот здесь посмотрите: http://anatolix.naumen.ru/DataWarehouseToolkit ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 09:42 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo JuriiЯ считаю что правильнее переносить расчеты на аналитическую модель Cognos (сделать в ней вычисляемые колонки, измерения, уровни иерархии, показатели, мемберы). Вы же хотите проделать то же самое, но ручками, что будет трудоемко. с моей т.з. это как раз менее трудоемко и более consistent, ведь у нас уже есть вся логика - реализованная и работающая. Меньше всего хотелось бы повторять ее в Cognos или где бы то ни было еще... Давайте по порядку. Аналитическую систему надо кормить данными? Надо. Предположим, что я умею интегрировать, тотализировать, дорасчитывать свои данные. И сохранить результаты всех этих манипуляций в базу данных DWH тоже смогу. Первое, что мне непонятно: а как менеджить изменение данных? Ведь в "оперативной" БД данные могут меняться, т.о. сохраненные расчеты / тотализация могут оказаться неверными. Как быть? Насколько я понимаю, считается правильным не удалять данные из DWH, а только добавлять? Но мне непонятно, как такое организовать на практике. Посоветуйте, плиз. То, что в источниках данные могут меняться, это не исключение, а скорее правило. Вы должны учесть эти изменения при проектировании хранилища данных и при скриптов загрузки. Боюсь, что книжки тут не помогут. Самый простой, но и самый трудоёмкий способ это отслеживать - перегружать все данные при каждой загрузке. Иногда так и делают. Более сложный способ - перегружать каждый раз часть данных. Опять же самый простой способ - знать максимальную глубину, на которой данные могут меняться и перегружать незакрытые периоды. При этом конечно Вам придётся сначала часть данных удалить из хранилища. Ничего страшного в этом нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 10:06 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike SikaloНо вот вопрос родился: а для Cognos, BO и иже с ними это нормальная ситуация, когда в БД, которую им подсовывают, будет храниться по нескольку версий одного и того же? И они потом не затруднятся построить какой-н. совокупный отчет или куб, отражающий, например, "последние" представления о балансах / прогнозах? Или, еще лучше, сравнительный анализ наших текущих "представлений о" с теми же представлениями на начало квартала? для ВО это не проблема и делать это сможет даже пользователь, а не только разработчик DWH, если разработчик перед этим грамотно построит юниверс по вашей оперативной системе. No Pasaran прав, для изучения хранилищ, ответов на форумах не достаточно. Кимбал рулит, еще вот инфа от IBM Data Modeling Techniques for Data Warehousing Виктор Сакович ...Боюсь, что книжки тут не помогут. да, книги за Вас сами ни чего делать не будут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 10:25 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 No Pasaran: Начните с того, что перестаньте слушать сейлов, тусующихся на этом форуме,которые утверждают, что покупкой одного программного средства можно решить любую проблему. Интересно, где Вы на этом форуме видели сэйлов делающих подобные высказывания... Эксперты по аналитическим системам такое иногда говорят, но сэйлы - ни разу :) Чувствуется что Вы все задачи решаете в Excel, не знаете современных аналитических технологий, и поэтому думаете, что продвинутых программных средств не бывает. 2 Добрый Эх: для ВО это не проблема и делать это сможет даже пользователь, а не только разработчик DWH Если я правильно понял автора дискуссии, ему нужен примерно такой тип отчета, который я привожу во вложенном файле. Вы уверены что такие отчеты реально сделать в BO? (про нижнюю часть не спрашиваю, это понятно нельзя сделать, а вот про сложную структуру шапки отчета, когда один показатель раскрывается в элементы измерения, а другой - не раскрывается, хотелось бы узнать, как подобное делается в BO). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 14:08 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Всем спасибо, теперь можно, пожалуй, переформулировать проблему: Интересуют типичные требования к организации данных, выгружаемых из "оперативной" системы в DWH. К чему я, как разработчик, должен стремиться и чего избегать, публикуя данные из своей рабочей системы в DWH? Цель: пользователи моей системы, которые также часто являются и пользователями всяких Cognos, BO и т.п. должны быть счастливы от того, как это все хозяйство у них работает вместе, причем с минимальными телодвижениями с их стороны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 14:14 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
И еще: нет ли у кого соответствующего опыта? Вот жило себе было бизнес приложение и вдруг кастомеры захотели, чтобы данные, которые это приложение менеджит, стали доступны не только в нем самом, но и для внешних аналитических систем. Как решали задачу, с какими проблемами сталкивались? Спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 14:21 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 варианта: 1. создавать хранилище и прикручивать к нему отчетность 2. работать с существующим оперативным источником, из средств позволяющих эффективно это делать мне известно лишь одно cognos reportnet. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 15:08 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
inga2 варианта: 1. создавать хранилище и прикручивать к нему отчетность 2. работать с существующим оперативным источником, из средств позволяющих эффективно это делать мне известно лишь одно cognos reportnet. с оперативным источником работать нехорошо, кроме того, чтобы с ним работать, мне нужно будет в Когносе или где-то еще повторить добрую треть логики существующей системы, что неприемлемо. Потому будет создаваться хранилище, а уж к хранилищу заказчики пусть чем хотят тем и доступаются. Вопрос в том, повторю: меня, любимого К чему я, как разработчик, должен стремиться и чего избегать, публикуя данные из своей рабочей системы в DWH? Действительно, было бы интересно услышать мнение специалистов по когносу и иже с ним - какие данные имеет смысл ему выгружать, так, чтобы ему было хорошо на свете? Чтобы потом в нем поменьше извращаться и на грабли наступать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 15:26 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
что как и куда зависит целиком от специфики области и задач которые призвано решить хранилище )) а насчет оперативных источников - если требуется отчетность, то в вашем случае я бы так сразу этот вариант не откидывал, т.к. достаточно научиться создавать метамодели в reportnete и отчетность у вас в кармане. ваша крутая логика при этом никуда не денется. ну в крайнем случае соберете некоторое количество view и вся любофь. ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:00 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ingaчто как и куда зависит целиком от специфики области и задач которые призвано решить хранилище )) понятно, что есть специфика предметной области;.. интересно как раз узнать, существуют ли какие-н. общие рекомендации. Вероятно, люди, работающие с тем же когносом достаточно плотно, могли бы назвать типичные проблемы/грабли, которых следует избегать.. ingaваша крутая логика при этом никуда не денется. ну в крайнем случае соберете некоторое количество view и вся любофь. ))) эх, голуба!.. кабы вся наша крутая логика в "некоторое количество views" разлеглась, мы б уже давно без работы остались.. А как насчет спецификаций по 30 страниц сплошных формул?.. Гибких правил реконсиляции/коррекции форекастов, настраиваемых каждым заказчиком под себя? Правил начисления комиссионных, разных для каждого банка/счета/операции/котракта?.. Никак нельзя выкрутиться одними оперативными источниками, уверяю Вас! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:10 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ingaа насчет оперативных источников - если требуется отчетность, то в вашем случае я бы так сразу этот вариант не откидывал, т.к. достаточно научиться создавать метамодели в reportnete и отчетность у вас в кармане. ваша крутая логика при этом никуда не денется. ну в крайнем случае соберете некоторое количество view и вся любофь. ))) А как быть, если в отчетах, где нужна поддержка историчности, а система ее не поддерживает ? Распаковавть все архивы за годовой период ? Никакого места на жестких дисках и никакой процессорной мощи тут не хватит. Так что врач сказал ХД, значит ХД. :-) to Mike Sikalo Ну так и выгружайте в ХД все только что можно, а потом уж и закачаете в кубики что нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:20 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo эх, голуба!.. кабы вся наша крутая логика в "некоторое количество views" разлеглась, мы б уже давно без работы остались.. А как насчет спецификаций по 30 страниц сплошных формул?.. Гибких правил реконсиляции/коррекции форекастов, настраиваемых каждым заказчиком под себя? Правил начисления комиссионных, разных для каждого банка/счета/операции/котракта?.. Никак нельзя выкрутиться одними оперативными источниками, уверяю Вас! да меня уверять не надо. раз все у вас так сложно ('30 страниц одних формул') то таком случае мой совет один - ни под каким предлогом не браться за реализацию хранилища самим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:26 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
[quot Tomcat] А как быть, если в отчетах, где нужна поддержка историчности, а система ее не поддерживает ? Распаковавть все архивы за годовой период ? Никакого места на жестких дисках и никакой процессорной мощи тут не хватит. Так что врач сказал ХД, значит ХД. :-) в последнее время я все больше и больше убеждаюсь что внедрение DWH необходимо начинать с внедрения нормальных оперативных источников. вот. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:28 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiВы уверены что такие отчеты реально сделать в BO? да Jurii(про нижнюю часть не спрашиваю, это понятно нельзя сделать, а вот про сложную структуру шапки отчета, когда один показатель раскрывается в элементы измерения, а другой - не раскрывается, что нельзя сделать? ранжирование что ли? или иерархии? Jurii хотелось бы узнать, как подобное делается в BO). все мышкой. Я понимаю, что Вы продвигаете Cognos, но зачем же незаслуженно гнилить БО? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:28 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
TomcatНу так и выгружайте в ХД все только что можно, а потом уж и закачаете в кубики что нужно. это одно из самых распространенных заблуждений "давайте все загрузим, а потом посмотрим что с этим можно сделать" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:31 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ingaраз все у вас так сложно ('30 страниц одних формул') то таком случае мой совет один - ни под каким предлогом не браться за реализацию хранилища самим. да ведь у нас-то все это уже реализовано, нужно только начать результаты этих вычислений сохранять в DWH... Вот только непонятно мне как все-таки лучше поступать в случае изменения / удаления исходных данных? 1) Удалять все, пересчитывать все заново? 2) Пытаться трассировать изменения и апдейтить только то, что изменилось? 3) Ничего не удалять, просто пересчитывать все заново и сохранять очередную версию? Т.е. будет ожидаемый баланс счета 1 на 1.4.2004 $100 (версия от 1.1.2004); ожидаемый баланс счета 1 на 1.4.2004 $110 (версия от 10.3.2004); и т.п. Кто-нибудь видит другие варианты? Кто-нибудь может привести аргументы "за" и "против" каждого варианта? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:39 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Добрый Эх TomcatНу так и выгружайте в ХД все только что можно, а потом уж и закачаете в кубики что нужно. это одно из самых распространенных заблуждений "давайте все загрузим, а потом посмотрим что с этим можно сделать" Я это прекрасно понимаю, но это может быть оправдано в том случае, если не будут гоняться отчеты по всему ХД, и/или ХД не будет слишком большим. А еще бывает и такая ситуация, я спрашиваю, что закачивать в ХД ? Начальство отвечает ВСЕ ! Ну мне и лучше, потренируюсь работе с большими объемами данных :-) inga в последнее время я все больше и больше убеждаюсь что внедрение DWH необходимо начинать с внедрения нормальных оперативных источников. вот. Интересно, а что скажет на это заказчик с кучей различных оперативных систем ? Mike Sikalo ingaраз все у вас так сложно ('30 страниц одних формул') то таком случае мой совет один - ни под каким предлогом не браться за реализацию хранилища самим. да ведь у нас-то все это уже реализовано, нужно только начать результаты этих вычислений сохранять в DWH... Вот только непонятно мне как все-таки лучше поступать в случае изменения / удаления исходных данных? 1) Удалять все, пересчитывать все заново? 2) Пытаться трассировать изменения и апдейтить только то, что изменилось? 3) Ничего не удалять, просто пересчитывать все заново и сохранять очередную версию? Т.е. будет ожидаемый баланс счета 1 на 1.4.2004 $100 (версия от 1.1.2004); ожидаемый баланс счета 1 на 1.4.2004 $110 (версия от 10.3.2004); и т.п. Кто-нибудь видит другие варианты? Кто-нибудь может привести аргументы "за" и "против" каждого варианта? Нужна историчность, делайте по п.3, если ХД небольшое и историчность не нужна, можно п. 1 (мы раньше так и делали), а сейчас перепроектируем по п.3 Думайте сами, что вам надо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:49 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo 1) Удалять все, пересчитывать все заново? 2) Пытаться трассировать изменения и апдейтить только то, что изменилось? 3) Ничего не удалять, просто пересчитывать все заново и сохранять очередную версию? Т.е. будет ожидаемый баланс счета 1 на 1.4.2004 $100 (версия от 1.1.2004); ожидаемый баланс счета 1 на 1.4.2004 $110 (версия от 10.3.2004); и т.п. Кто-нибудь видит другие варианты? Кто-нибудь может привести аргументы "за" и "против" каждого варианта? масса вариантов, но зависит все от вашей оперативной системы и объемов данных но главное все зависит от задач, если аналитикам нужны балансы разных версий, то делать версии, если нет, то незачем их грузить. например, если у Вас определен срок позже которого изменений не будет, то грузите каждый раз данные за этот срок, например, за квартал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:56 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 tomcat: сказать то он может все что угодно, да вот только денег обычно нет у него ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 17:06 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Нужна историчность, делайте по п.3, если ХД небольшое и историчность не нужна, можно п. 1 (мы раньше так и делали) А вот еще вопрос специалистам по cognos и иже с ними: а сами эти ваши тулзы разве не поддерживают "историчность"? Если я буду со своей стороны каждый раз все удалять и перегенерировать заново - в cognosе же сохраняться его ранее построенные кубы, отчеты, или что там у него есть? И я потом все равно смогу сравнить старые кубы с новыми кубами и увидеть историческую перспективу? Или нет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 17:29 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo 1) Удалять все, пересчитывать все заново? 2) Пытаться трассировать изменения и апдейтить только то, что изменилось? 3) Ничего не удалять, просто пересчитывать все заново и сохранять очередную версию? Т.е. будет ожидаемый баланс счета 1 на 1.4.2004 $100 (версия от 1.1.2004); ожидаемый баланс счета 1 на 1.4.2004 $110 (версия от 10.3.2004); и т.п. Кто-нибудь видит другие варианты? Кто-нибудь может привести аргументы "за" и "против" каждого варианта? Как сказал Добрый Эх, все зависит от задач. Хочу только добавить, что пункт 2 скорее относится к CDC и применяется не зависимо от того, нужна история или нет (по крайней мере в наших проектах). Просто иногда - при малых объемах, трудность реализации (обновление строки в многомерном кубе) проще все пересчитать и перегрузить заново. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 17:48 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo Нужна историчность, делайте по п.3, если ХД небольшое и историчность не нужна, можно п. 1 (мы раньше так и делали) А вот еще вопрос специалистам по cognos и иже с ними: а сами эти ваши тулзы разве не поддерживают "историчность"? Если я буду со своей стороны каждый раз все удалять и перегенерировать заново - в cognosе же сохраняться его ранее построенные кубы, отчеты, или что там у него есть? И я потом все равно смогу сравнить старые кубы с новыми кубами и увидеть историческую перспективу? Или нет? Меня тоже интересует поддержка историчности в клиентских тулзах, в частности в оракловых, я даже ветку совсем недавно завел. Похоже историчность надо организовывать, конструируя особым образом измерения или создавать новые специально для этого. Сейчас вот сижу и думаю над этим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 18:01 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Tomcat Меня тоже интересует поддержка историчности в клиентских тулзах.. Во-во! Господа специалисты / сэйлз-пипл - просим! :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 18:54 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
авторМеня тоже интересует поддержка историчности в клиентских тулзах.. В случае ROLAP, создается специальное измерение времени в хранилище данных. Создается один раз на много лет вперед обычно с помощью хранимой процедуры, в соответсвии с бизнесс-процессами заказчика (обычный вопрос - бьется ли месяц на недели), после этого работа со временем ничем не отличается от работы с любым другим измерением. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 19:11 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 inga: работать с существующим оперативным источником, из средств позволяющих эффективно это делать мне известно лишь одно cognos reportnet. А притормаживать ReportNet не будет? Это же все-таки не OLAP-средство, если в нем сделать запрос к 20 связаннм таблицам с агрегациями и группировками, нагрузка пойдет на сервер учетной системы и он, как говорил г-н Иванов, уйдет в даун :) 2 Mike Sikalo: Я не думаю что при сложности Ваших алгоритмов Вы сможете создать коробочное решение для хранилища данных. Но если хотите попробовать - постарайтесь выделить будущие таблицы фактов, справочники, и наполните их хранимыми процедурами. Например, для продаж - свою табличку, для планов - свою, но не пытайтесь на уровне хранилища делать консолидацию плана и факта - эта задача для многомерного OLAP. Меня тоже интересует поддержка историчности в клиентских тулзах.. В Cognos PowerPlay можно с необходимой периодичностью фотографировать учетную систему/хранилище данных. При каждой закачке данных присваивать этим данным уникальный номер версии. Закачку надо делать инкрементально. В итоге можно будет в одном кубе держать всю историю, и накладывая фильтр на измерение ВЕРСИЯ, можно будет переходить к любой версии данных, а также сравнивать версии друг с другом 2 Добрый Эх: что нельзя сделать? ранжирование что ли? или иерархии? Нельзя сделать двух независимых боковиков для одной шапки отчета (когда верхний боковик - несбалансированная иерархия, а нихний боковик является подзапросом). все мышкой. Я понимаю, что Вы продвигаете Cognos, но зачем же незаслуженно гнилить БО? Вы бы не могли привести скриншотик аналогичного отчета в интерфейсе BO? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 20:33 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
авторкак говорил г-н Иванов Даже не знаю, хорошо ли быть живым классиком марксизма-олапизма. :) Если о говорить о самой теме, а это DWH, то тут конечно что-то стоит купить для ускорения процесса внедрения, только это не MSAS, не Cognos, не BO, и даже не тулзы построения DWH от MS и Oracle. Тут нужна опытная и светлая голова внедренца, которая этот DWH спроектирует в виде самых тривиальных табличек SQL-сервера, но с нетривиальными задачами. А OLAP-тут только вершинка над этим DWH и простейший элемент BI-решения. Выбрать можно потом OLAP любой и даже несколько сразу. :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 21:37 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ВладимирТут нужна опытная и светлая голова внедренца, которая этот DWH спроектирует в виде самых тривиальных табличек SQL-сервера, но с нетривиальными задачами. А OLAP-тут только вершинка над этим DWH и простейший элемент BI-решения. Выбрать можно потом OLAP любой и даже несколько сразу. :) Присоединяюсь. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 09:27 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii2 inga: работать с существующим оперативным источником, из средств позволяющих эффективно это делать мне известно лишь одно cognos reportnet. А притормаживать ReportNet не будет? Это же все-таки не OLAP-средство, если в нем сделать запрос к 20 связаннм таблицам с агрегациями и группировками, нагрузка пойдет на сервер учетной системы и он, как говорил г-н Иванов, уйдет в даун :) reportnet не будет. сервер учетной системы возможно будет. тут плясать надо опять же исходя из решаемых задач. нет тут решения на все случаи жизни и даже ваш любимый PP невсегда подходит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 10:44 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii Нельзя сделать двух независимых боковиков для одной шапки отчета (когда верхний боковик - несбалансированная иерархия, а нихний боковик является подзапросом). в БО такой проблемы нет, потому что Report это не результат запроса, он состоит из блоков (таблиц) у блока есть своя шапка, шапку можно скрыть, а можно и не скрывать. в блоки помещать любые иерархии или результаты запросов. в чем проблема? Jurii Вы бы не могли привести скриншотик аналогичного отчета в интерфейсе BO? легко, только, повторюсь, что если смущает шапка, то ее можно убрать одним кликом на чекбоксе "Show Header". Владимир Иванов прав, до отчетной части еще очень далеко, перед этим нужно построить структуру DWH, поэтому считаю данную дискуссию с Вами оффтопом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 11:31 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Владимир Иванов Тут нужна опытная и светлая голова внедренца, которая этот DWH спроектирует в виде самых тривиальных табличек SQL-сервера, но с нетривиальными задачами. А OLAP-тут только вершинка над этим DWH и простейший элемент BI-решения. Выбрать можно потом OLAP любой и даже несколько сразу. :) я того же мнения: - над просветлением головы в требуемом направлении ведется активная работа; существенную помощь здесь оказывают замечания, и, особенно, ссылки на первоисточники, приводимые участниками дискуссии, за что им большое спасибо! :) - OLAP действительно можно выбрать любой, собственно, как я и говорил, это вообще не наше дело, это бизнес наших заказчиков.. Наше дело - поставить им по-максимуму olap-friendly solution. А это, в моем теперешнем понимании означает "с возможностью выгрузки наших данных, предварительно приведенных к некоторой канонической olap-форме в указанное место (DWH)" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 12:03 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
не совсем согласен с утверждением про "любой OLAP" скорее всего DWH придется подтачивать напильником под конкретный front-end ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 13:18 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
олапистне совсем согласен с утверждением про "любой OLAP" скорее всего DWH придется подтачивать напильником под конкретный front-end не скажу про "любой", но нормальный (не будем конкретизировать) OLAP не требует вмешательства напильником в грамотно спроектированную структуру DWH. ИМХО ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 13:36 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Добрый Эх не скажу про "любой", но нормальный (не будем конкретизировать) OLAP не требует вмешательства напильником в грамотно спроектированную структуру DWH. ИМХО Может все-таки попробуем конкретизировать какие из OLAPов у нас нормальные? :) Приведу несколько примеров - соглашения по именованию полей без которого визарды во многих продуктах становятся бесполезны - схема parent-child которую многие продукты недолюбливают - MS:длинющий список ограничений на real-time ROLAP - всякие фенечки типа Unary Operators, Custom Members, etc (MS), Transformations (MSTR) реализуемые непосредственно в DWH - соглашения которые необходимы для поддержки многоязычности (например в CRN) - особенности работы с NULL (MS) - ... Можно конечно сказать что это не DWH, а уже некая дополнительная витрина на основе DWH, но сути это не меняет Хотя если в слово "грамотно" вкладывать знание особенностей конкретных продуктов, тогда согласен ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 14:29 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
олапист - соглашения по именованию полей без которого визарды во многих продуктах становятся бесполезны - схема parent-child которую многие продукты недолюбливают - MS:длинющий список ограничений на real-time ROLAP - всякие фенечки типа Unary Operators, Custom Members, etc (MS), Transformations (MSTR) реализуемые непосредственно в DWH - соглашения которые необходимы для поддержки многоязычности (например в CRN) - особенности работы с NULL (MS) - ... Можно конечно сказать что это не DWH, а уже некая дополнительная витрина на основе DWH, но сути это не меняет Хотя если в слово "грамотно" вкладывать знание особенностей конкретных продуктов, тогда согласен Вот было бы очень интересно, если бы специалисты по тем или иным OLAP-системам перечислили основные моменты, которым должен удовлетворять грамотно спроектированный DWH, чтобы эти OLAP-системы себя комфортно чувствовали. Будем очень благода! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 14:45 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
олапист Приведу несколько примеров - соглашения по именованию полей без которого визарды во многих продуктах становятся бесполезны о каких соглашениях идет речь? зачем менять наименования полей, если структура спроектированна правильно и не требует изменений? олапист - схема parent-child которую многие продукты недолюбливают схема parent-child для DWH не применяется, поэтому это будет уже не DWH. олапист - MS:длинющий список ограничений на real-time ROLAP - всякие фенечки типа Unary Operators, Custom Members, etc (MS), Transformations (MSTR) реализуемые непосредственно в DWH - соглашения которые необходимы для поддержки многоязычности (например в CRN) - особенности работы с NULL (MS) - ... чего не знаю, того не знаю. но чует мое сердце, что это тоже к классической структуре DWH не имеет отношения. Mike Sikalo ... перечислили основные моменты, которым должен удовлетворять грамотно спроектированный DWH... Вы хотите получить ТЗ на проект? Книга лучший друг человека - The Data Wharehouse Toolkit. Practical Techniques for Building Dimentional Data Warehouses. Ralph Kimball. Там ответы на все Ваши вопросы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 15:53 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Добрый ЭхВы хотите получить ТЗ на проект? Книга лучший друг человека - The Data Wharehouse Toolkit. Practical Techniques for Building Dimentional Data Warehouses. Ralph Kimball. Там ответы на все Ваши вопросы. я как раз его читаю. Но там, как ни странно, нет ни слова о влиянии имен полей на работу визардов в cognos и на особенности обработки NULL в MS AS... Из постов коллег я сделал вывод, что они что-то знают о таких нюансах, вот и хотелось бы, так сказать, приобщиться к. Кимбол прекрасен с т.з. общих подходов, но частности не менее важны, если требуется получить действительно юзабельную систему. Увы, пока специалисты упорно хранят молчание :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 16:31 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
специалисты хранят молчание потому что именно за знания которыми вы просите поделиться они получают деньги. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 16:47 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ingaспециалисты хранят молчание потому что именно за знания которыми вы просите поделиться они получают деньги. я подозревал что-то в этом роде :) не понимаю, однако, чего здесь опасаться, деньги-то они получают от конкретных кастомеров olap-system, а не от разработчиков вроде меня. Вряд ли ведь можно всерьез опасаться, что сотрудники какого-н. банка подсмотрят в форуме на sql.ru какой-н. нюанс работы с cognos и на том основании решат, что они теперь в специалистах по cognos не нуждаются, а будут все делать сами? Скорее уж наоборот, увидев тут толкового специалиста, они именно его и пригласят... Впрочем, довольно провокаций :) В дальнейшем буду благодарен за ответы по существу вопроса. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 16:56 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Добрый Эх о каких соглашениях идет речь? зачем менять наименования полей, если структура спроектированна правильно и не требует изменений? в основном речь идет о повсеместном использованиии natural join мелочь, которую почему-то постоянно забывают "грамотные" проектировщики Добрый Эх схема parent-child для DWH не применяется, поэтому это будет уже не DWH. я бы сказал что тут причина перепутана со следствием Добрый Эх чего не знаю, того не знаю. но чует мое сердце, что это тоже к классической структуре DWH не имеет отношения. равно как классические структуры не имеют отношения у реальной жизни это извечный флейм между приверженцами мертвых стандартов и теми кто предпочитает использовать преимущества конкретных инструментов на 100% Добрый Эх Книга лучший друг человека - The Data Wharehouse Toolkit. Practical Techniques for Building Dimentional Data Warehouses. Ralph Kimball. Там ответы на все Ваши вопросы. Меня тоже в свое время впечатлила эта книга. До поры до времени. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 17:33 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
олапистравно как классические структуры не имеют отношения у реальной жизни это извечный флейм между приверженцами мертвых стандартов и теми кто предпочитает использовать преимущества конкретных инструментов на 100% ну флейм, так флейм. только зря Вы стандарты хороните, они еще поживут, может и не в исходной редакции, да и "приверженцам мертвых стандартов" ни что не мешает "использовать преимущества конкретных инструментов на 100%". Предлагаю на этом споры о том кто круче Кимбал или олапист завершить, потому как Кимбала в форуме нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 18:34 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
автор Увы, пока специалисты упорно хранят молчание :) Мы тут как-то уже подзабыли а в чем собственно вопрос? Поставьте задачу, постараемся помочь. Вопрос, вынесенный в название топика "Как прикрутить DWH к существующей системе" слишком общий и ему посвящено уже огромное количество книг, чтобы на него было можно ответить в одном сообщении на форуме. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 19:15 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
No PasaranМы тут как-то уже подзабыли а в чем собственно вопрос? Поставьте задачу, постараемся помочь. нет ничего проще: 1) было бы очень интересно, если бы специалисты по тем или иным OLAP-системам перечислили основные моменты, которым должен удовлетворять грамотно спроектированный DWH, чтобы эти OLAP-системы себя комфортно чувствовали. В данном случае интересует скорее специфика того же cognosa, MS AS, BO, чем общие подходы, описанные у того же Кимбола (хотя всякий практический совет будет ценен) 2) рекомендуемая механика кормления DWH из оперативной системы: scheduled service? разовые запуски.. что-то еще? У нас пользователи оперативной системы как правило сегрегируют данные между собой (Петя работает только со счетом 1, Вася - только со счетом 2 и т.п.; хуже того, Петя - только с транзакциями из банка 1, Вася- только с транзакциями из банка 2, при этом и те и другие транзакции могут ложится на один и тот же счет 3) - имеются ли прецеденты скармливания в DWH не целиком данных предприятия а некоторых вертикальных подмножеств? 3) представим, что у нас есть некоторые изменяющиеся факты (прогнозируемый баланс, к примеру); технически как лучше отслеживать необходимость изменения и отрабатывать это изменение? Первое, что приходит в голову - повесить триггер, регистрирующий изменения прогнозов, затем, при запуске etl-подсистемы перебирать изменения, вносить их в DWH, помечать как отработанные.. Имеет это смысл или есть какие-то более правильные способы? А если у меня несколько DWH будет поддерживаться одновременно, как организовать гарантированную синхронизацию всех DWH ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 19:50 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 Mike Sikalo: было бы очень интересно, если бы специалисты по тем или иным OLAP-системам перечислили основные моменты, которым должен удовлетворять грамотно спроектированный DWH, чтобы эти OLAP-системы себя комфортно чувствовали. В данном случае интересует скорее специфика того же cognosa, MS AS, BO, чем общие подходы, описанные у того же Кимбола (хотя всякий практический совет будет ценен) Если в качестве фронт-энда Вы будете использовать Cognos PowerPlay, Вы можете не задумываться над тем, как заточить структуру DWH под Cognos. Пожалуй нет таких структур, с которыми бы Cognos PowerPlay не мог работать. Делая такую оценку я опираюсь на свой опыт навешивания PowerPlay поверх учетных систем, чья структура достаточно сложна (например 1С, Парус, Axapta, Navision, JD Edwards/PeopleSoft, SAP R/3, Фолио, Супермаг и др.). Независимо от того какая учетная система служит источником данных, PowerPlay стабильно показывает среднее время отклика на аналитический запрос не более 5 секунд. 2 Добрый Эх: в БО такой проблемы нет, потому что Report это не результат запроса, он состоит из блоков (таблиц) у блока есть своя шапка, шапку можно скрыть, а можно и не скрывать. в блоки помещать любые иерархии или результаты запросов. в чем проблема? легко, только, повторюсь, что если смущает шапка, то ее можно убрать одним кликом на чекбоксе "Show Header". Интересный отчет. Но вот что хочется уточнить: можно ли в отчете поделить строку одного блока на строку другого (например вычислить сумму пяти лучших клиентов и поделить ее на строчку Москва, чтобы узнать, сколько процентов от всех московских клиентов составляют эти лучшие 5)? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 20:20 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Добрый ЭхПредлагаю на этом споры о том кто круче Кимбал или олапист завершить, потому как Кимбала в форуме нет. полагаю что Кимбал забесплатно даже не пукнет не то что на форуме выступит а я никакой не крутан, полноте. завязываем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 20:47 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
авторбыло бы очень интересно, если бы специалисты по тем или иным OLAP-системам перечислили основные моменты, которым должен удовлетворять грамотно спроектированный DWH, чтобы эти OLAP-системы себя комфортно чувствовали. В данном случае интересует скорее специфика того же cognosa, MS AS, BO, чем общие подходы, описанные у того же Кимбола (хотя всякий практический совет будет ценен) Про MicroStrategy: Рекомендуется схема снежинка, т.к. позволяет добиться наибольшей гибкости, в остальном (сбор требований, управление проектом,...) стараемся следовать Кимбаллу. автор рекомендуемая механика кормления DWH из оперативной системы: scheduled service? разовые запуски.. что-то еще? У нас пользователи оперативной системы как правило сегрегируют данные между собой (Петя работает только со счетом 1, Вася - только со счетом 2 и т.п.; хуже того, Петя - только с транзакциями из банка 1, Вася- только с транзакциями из банка 2, при этом и те и другие транзакции могут ложится на один и тот же счет 3) - имеются ли прецеденты скармливания в DWH не целиком данных предприятия а некоторых вертикальных подмножеств? Самая распространенная практика регламента загрузки данных - раз в сутки по расписанию, но варианты возможны... Насчет сегрегации данных - как-то не могу уловить в чем проблема. Если есть такая информация, что разные пользователи используют различные части общего массива информации, то можно благодаря этому неплохо повысить производительность с помощью партишенинга. автор представим, что у нас есть некоторые изменяющиеся факты (прогнозируемый баланс, к примеру); технически как лучше отслеживать необходимость изменения и отрабатывать это изменение? Первое, что приходит в голову - повесить триггер, регистрирующий изменения прогнозов, затем, при запуске etl-подсистемы перебирать изменения, вносить их в DWH, помечать как отработанные.. Имеет это смысл или есть какие-то более правильные способы? Подобного рода задачи очень часто встречаются, и решения обычно очень разные. Надо исследовать особенности учетной системы, в которой это происходит, и самое главное задачу которую хочет решить бизнес. Если напишете бизнес-задачу, то постараюсь написать что-то более подробное. автор А если у меня несколько DWH будет поддерживаться одновременно, как организовать гарантированную синхронизацию всех DWH Это вас куда-то нетуда потянуло. Может быть несколько витрин данных, а не DWH? У Кимбалла много про это написано, в одном ответе не поместишь %). Вы планируете сами разрабатывать систему или отдавать на аутсорсинг? Если сами, то форумом точно не обойдетесь, придется штудировать литературу. Если аутсорсинг, то проведите тендер и во время встреч, на которых можно уже обсудить бизнес-задачи, узнаете от различных внедренцев различные варианты решения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 21:17 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiДелая такую оценку я опираюсь на свой опыт навешивания PowerPlay поверх учетных систем, чья структура достаточно сложна (например 1С, Парус, Axapta, Navision, JD Edwards/PeopleSoft, SAP R/3, Фолио, Супермаг и др.). Независимо от того какая учетная система служит источником данных, PowerPlay стабильно показывает среднее время отклика на аналитический запрос не более 5 секунд. Я думаю обитатели этого форума многое отдали бы чтобы посмотреть, как Юрий сходу за несколько часов склепает приличный проектик поверх JD Edwards или SAP R/3. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 21:26 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 No Pasaran: Про MicroStrategy: Рекомендуется схема снежинка, т.к. позволяет добиться наибольшей гибкости, в остальном (сбор требований, управление проектом,...) стараемся следовать Кимбаллу. А что бы Вы посоветовали в случае если в учетной системе справочник товаров хранится в виде несбалансированной иерархии, по некоторым веткам которой - 5 уровней вложенности, а по другим - до 10 уровней? Сделать из этого снежинку? В чьем-то постинге говорилось, что parent-child и ХД - несовместимые понятия. Но все же, может ли МСТР переварить такие структуры данных? Я думаю обитатели этого форума многое отдали бы чтобы посмотреть, как Юрий сходу за несколько часов склепает приличный проектик поверх JD Edwards или SAP R/3. Ну что, начнем аукцион :) Помню как то делал проектик на основе JD Edwards, и мне потребовалось меньше часа... Хотя мышкой пришлось покликать с высокой скоростью (это была фармацевтическая компания, а у них - много аналитических разрезов). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 21:54 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
авторА что бы Вы посоветовали в случае если в учетной системе справочник товаров хранится в виде несбалансированной иерархии, по некоторым веткам которой - 5 уровней вложенности, а по другим - до 10 уровней? Сделать из этого снежинку? В чьем-то постинге говорилось, что parent-child и ХД - несовместимые понятия. Но все же, может ли МСТР переварить такие структуры данных? Юрий, Вы же наверняка помните недавний тендер в которым мы с Вами сталкивались, и Вы прекрасно знаете, что описываемая задача была решена. А насчет того, чего бы мы посоветовали - читать Кимбалла %). авторНу что, начнем аукцион :) Помню как то делал проектик на основе JD Edwards, и мне потребовалось меньше часа... Хотя мышкой пришлось покликать с высокой скоростью (это была фармацевтическая компания, а у них - много аналитических разрезов). Начинаю копить деньги %). У меня есть простенькая структурка из JD Edwards - всего 7 табличек. Во сколько времени оцените проектик - пол-дня хватит? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 22:24 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiВ чьем-то постинге говорилось, что parent-child и ХД - несовместимые понятия. Сильно сказано. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2005, 09:48 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Андрей Прохоров Jurii В чьем-то постинге говорилось, что parent-child и ХД - несовместимые понятия. Сильно сказано. Если я правильно понял, то в первоначальном сообщении речь шла о parent-child dimension в MS AS. MSDN Проектировать DWH, используя такие таблички, естественно не стоит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2005, 11:43 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii 2 Добрый Эх: Интересный отчет. Но вот что хочется уточнить: можно ли в отчете поделить строку одного блока на строку другого (например вычислить сумму пяти лучших клиентов и поделить ее на строчку Москва, чтобы узнать, сколько процентов от всех московских клиентов составляют эти лучшие 5)? У Всех прошу прощения за оффтоп. В ячейку, в блоке, в котором делается ранжирование пишем такую формулу - Код: plaintext Москвы у меня в тестовой базе нет. В БО есть достаточно слабых мест, но Вы, Jurii, их не знаете, потому как с БО не работали. Это видно по вопросам. 2 All смешались в кучу кони, люди, parent-child schema, parent-child dimensions, parent-child relationships.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2005, 12:13 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
No Pasaran Насчет сегрегации данных - как-то не могу уловить в чем проблема. Если есть такая информация, что разные пользователи используют различные части общего массива информации, то можно благодаря этому неплохо повысить производительность с помощью партишенинга. - меня смущает то, что в случае, когда Петя работает только с банком 1, а Вася только с банком 2, при этом те и другие транзакции ложатся на счет Х, при сегрегированном кормлении DWH (т.е. если за сеанс etl будут синхронизироваться только Петины или только Васины изменения) может произойти так, что результирующие данные по счету Х неверны, т.к. чьи-то изменения туда не попали.. С одной стороны - это проблема пользователя, он же сам это настроил.. С другой стороны - вопрос, имеет ли смысл предоставлять пользователю такую "возможность ошибаться"? С третьей стороны - сейчас пользователи привыкли к возможности сегрегирования данных во всех имеющихся ф-циях системы, т.е. при отсутствии такой возможности у них может возникнуть синдром лишения.. Короче, аргументы "против" понятны. Приведите, если можно, аргументы "за" ... "раздельное питание" DWH ... - а где можно прочитать про партишенинг? No Pasaran Если напишете бизнес-задачу, то постараюсь написать что-то более подробное. Фокус в том, что конкретной бизнес-задачи я не знаю. Я - разработчик некоторой финансово-аналитической системы. У этой системы есть на сегодняшний день несколько сотен заказчиков на нескольких континентах.. Все они занимаются финансовым анализом но в разных, естественно, вертикальных сегментах индустрии. Большинство этих заказчиков помимо нашей узко-финансовой системы используют другие системы, в т.ч. BI -системы типа того же cognos, BO и иже с ними. И большинство хочет данные из нашей системы поиметь в своих BI-системах. Просто так взять нашу БД и перегружать из нее данные - не катит, т.к. огромного к-ва интересующих пользователей данных в БД вообще не хранится, а расчитывается (прогнозируемые балансы, оперативный контроль контрактов, комиссионные) - и показывается в соотв. отчетах/гридах в самой системе. Т.е. для того, чтобы наши заказчики стали еще более счастливы, чем они есть сейчас, наша система должна стать olap-frienly, т.е. иметь возможность результаты своей работы выгружать в некоторое внешнее хранилище DWH. А дальше уже наши заказчики будут натравливать на это DWH свои BI-tools... Потому наша задача - грамотно спроектировать DWH, чтобы большинство распространенных BI tools с ним хорошо дружило; и второе - реализовать etl-сервисы для аккуратного кормления этого DWH на основании данных и логики, имеющихся в оперативной системе... Такие дела.. No Pasaran автор А если у меня несколько DWH будет поддерживаться одновременно, как организовать гарантированную синхронизацию всех DWH Это вас куда-то нетуда потянуло. туда.. у любимого клиента стоит наша система в Лондоне, а филиалы у них по всей Европе, в Штатах и в Южной Америке... Каждый филиал, естественно, совершенно самостоятельная организация со своей инфраструктурой, IT и т.п. Вот и получается, что, вероятнее всего, из одной и той же системы бразильцы захотят кормить свой cognos, а французы - свои BO... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2005, 13:38 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 No Pasaran: А что бы Вы посоветовали в случае если в учетной системе справочник товаров хранится в виде несбалансированной иерархии, по некоторым веткам которой - 5 уровней вложенности, а по другим - до 10 уровней? Юрий, Вы же наверняка помните недавний тендер в которым мы с Вами сталкивались, и Вы прекрасно знаете, что описываемая задача была решена. Если не секрет, Вы и г-н Сакович - один и тот же человек, или Вы - коллеги (слишком уж похожая у Вас риторика :) ? Недавно один мой знакомый из крупной розницы выяснял в Вашей компании как MSTR борется с глубокой несбалансированногй иерархией, и в итоге он сделал вывод, что на приличных объемах (десятки-сотни миллионов записей) MSTR слабовато. Что касается тендера, то как Вы помните, там было всего лишь 4 уровня иерархии товаров, и они лежали отдельными полями в одной табличке (сбалансированная иерархия). При этом в таблице фактов в тестовом примере было всего лишь 17 миллионов записей, а на практике будет в десятки раз больше. Так что не знаю, поздравлять Вас или нет... Поживем-увидим. Начинаю копить деньги %). У меня есть простенькая структурка из JD Edwards - всего 7 табличек. Во сколько времени оцените проектик - пол-дня хватит? Правильно ли я понимаю, что Вы имеете в виду денормализованные таблички JDE, а не таблицы с первичными документами? Приведите названия этих таблиц, и я подумаю, сколько уйдет времени на создание на их основе аналитической модели. Если я правильно понял, то в первоначальном сообщении речь шла о parent-child dimension в MS AS. Проектировать DWH, используя такие таблички, естественно не стоит. Так все таки, если в учетной системе есть таблицы parent-child (это актуально и для 1С, и для Паруса, и для многих других учетных систем), к какому виду/структуре их стоит приводить проектируя ХД? Разнести уровни иерархии по отдельным таблицам? 2 Добрый Эх: В ячейку, в блоке, в котором делается ранжирование пишем такую формулу Делая отчеты в PowerPlay я привык сделать два блока, выделить нужные строчки в первом и через пункт меню сложить их, этот результат поделить на строчку из другого блока. Есть ли в BO подобная визуальность, или надо писать формулы, непривычные для массовых пользователей? В БО есть достаточно слабых мест, но Вы, Jurii, их не знаете, потому как с БО не работали. Это видно по вопросам Поверьте, со слабыми местами BO я знаком (у меня много знакомых тестировали BO и некоторые из них работают в лицензионном BO). Слабое место которое самое главное и на виду - отсутствие многомерного OLAP, а также то что из этого вытекает (например невысокая производительность на приличных объемах данных) - об этом все знают. Про скрытые слабые стороны я не говорю по причине политкорректности. 2 Mike Sikalo: у любимого клиента стоит наша система в Лондоне, а филиалы у них по всей Европе, в Штатах и в Южной Америке... Каждый филиал, естественно, совершенно самостоятельная организация со своей инфраструктурой, IT и т.п. Вот и получается, что, вероятнее всего, из одной и той же системы бразильцы захотят кормить свой cognos, а французы - свои BO... А где физически будет лежать ХД? В Лондоне или в каждой стране - по кусочку хранилища? Я понимаю если в Лондоне есть ХД, там же стоит PowerPlay Enterprise Server, и пользователи из разных стран через веб-браузер крутят кубики и отчеты. Но мне не очень понятно, как можно из ROLAP-продукта (такого как например BO) работать удаленно - он ведь качает на себя большие объемы реляционных записей (например для того чтобы сгенерировать микрокуб)... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2005, 20:00 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiЕсли в качестве фронт-энда Вы будете использовать Cognos PowerPlay, Вы можете не задумываться над тем, как заточить структуру DWH под Cognos. Пожалуй нет таких структур, с которыми бы Cognos PowerPlay не мог работать. Делая такую оценку я опираюсь на свой опыт навешивания PowerPlay поверх учетных систем, чья структура достаточно сложна (например 1С, Парус, Axapta, Navision, JD Edwards/PeopleSoft, SAP R/3, Фолио, Супермаг и др.). Независимо от того какая учетная система служит источником данных, PowerPlay стабильно показывает среднее время отклика на аналитический запрос не более 5 секунд. Господа, кто, кроме Юрия, скажет, что это не оголтелая реклама? А рекламе не место на форуме. стабильно показывает среднее время отклика на аналитический запрос не более 5 секунд Юра, под такими репликами даже Когнос не подпишется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2005, 21:07 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
если этот отклик на запрос гласит "Catastrophic failure" то я охотно верю ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2005, 22:17 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiНедавно один мой знакомый из крупной розницы выяснял в Вашей компании как MSTR борется с глубокой несбалансированногй иерархией, и в итоге он сделал вывод, что на приличных объемах (десятки-сотни миллионов записей) MSTR слабовато. Прошу прощения за оффтопик, но может быть Юрий, Вы расскажите, чего конкретно не хватает в MSTR в смысле работы с иерархиями? Если не сложно, на примере. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.06.2005, 22:36 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiЕсли не секрет, Вы и г-н Сакович - один и тот же человек, или Вы - коллеги Не секрет - коллеги. JuriiНедавно один мой знакомый из крупной розницы выяснял в Вашей компании как MSTR борется с глубокой несбалансированногй иерархией, и в итоге он сделал вывод, что на приличных объемах (десятки-сотни миллионов записей) MSTR слабовато. Разрешите, я не буду комментировать Ваши домыслы. Ни один из мои коллег не в курсе, о чем в принципе может идти речь %). JuriiЧто касается тендера, то как Вы помните, там было всего лишь 4 уровня иерархии товаров, и они лежали отдельными полями в одной табличке (сбалансированная иерархия). Юрий, возможно, Вы пользовались уже базой, подготовленной мной, а не первоначальным ее вариантом, который представлял собой зацикленный справочник, причем несбалансированный. Насчет того, что там было всего 4 уровня иерархии. Будь там 2 уровня, 4, 10 или даже 40, алгоритм решения задачи остался бы соверешнно тем же самым. Ни я, ни моя компания, ни МСТР не претендуют на изобретение велосипеда при решении этой задачи - используется проверенный способ, который описывается в многих книгах, в частности даже тренингах по МСТР. JuriiПравильно ли я понимаю, что Вы имеете в виду денормализованные таблички JDE, а не таблицы с первичными документами? Приведите названия этих таблиц, и я подумаю, сколько уйдет времени на создание на их основе аналитической модели. Юрий, на сайте Вашей компании висит реклама о пилотном проекте на любои источнике за 2 часа, а на всяких конференциях Вы расссказываете о вреде DWH и о том, что Вы можете сделать любой проект в Powerplay за 3 дня. Зачем что-либо оценивать, если я на одну маленькую витринку предлагаю Вам вместо обещанных 2 часов целых 4?!! Но раз Вы все-таки просите, пара самых больших таблиц: F4211 и F42119. Чтобы не мучать Вас поиском информации, что же это такое - это таблицы текущих заказов и истории продаж. Каждая из них содержит 300-400 колонок. Ну и еще один небольшой ньюанс: логика необходимых преобразований, а также контроля того, чтобы информация не дублировалась, описана на императивном языке программирования, и листинг занимает десятки, если не сотни страниц. Меня больше всего инетерсует вопрос, как Вы с помощью мышки реализуете все необходимые преобразования %). Ну так хватит 4 часов? %). JuriiТак все таки, если в учетной системе есть таблицы parent-child (это актуально и для 1С, и для Паруса, и для многих других учетных систем), к какому виду/структуре их стоит приводить проектируя ХД? Разнести уровни иерархии по отдельным таблицам? В зависимости от используемой схемы хранилища данных, архитектор хранилища может разнести по отедльным таблицам, а может и не разносить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.06.2005, 09:04 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
backfireГоспода, кто, кроме Юрия, скажет, что это не оголтелая реклама? Это не только реклама, но распространение заведомо вымышленной информации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.06.2005, 09:09 |
|
||
|
|

start [/forum/topic.php?all=1&fid=49&tid=1871408]: |
0ms |
get settings: |
6ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
47ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
126ms |
get tp. blocked users: |
1ms |
| others: | 251ms |
| total: | 458ms |

| 0 / 0 |
