Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 No Pasaran: Начните с того, что перестаньте слушать сейлов, тусующихся на этом форуме,которые утверждают, что покупкой одного программного средства можно решить любую проблему. Интересно, где Вы на этом форуме видели сэйлов делающих подобные высказывания... Эксперты по аналитическим системам такое иногда говорят, но сэйлы - ни разу :) Чувствуется что Вы все задачи решаете в Excel, не знаете современных аналитических технологий, и поэтому думаете, что продвинутых программных средств не бывает. 2 Добрый Эх: для ВО это не проблема и делать это сможет даже пользователь, а не только разработчик DWH Если я правильно понял автора дискуссии, ему нужен примерно такой тип отчета, который я привожу во вложенном файле. Вы уверены что такие отчеты реально сделать в BO? (про нижнюю часть не спрашиваю, это понятно нельзя сделать, а вот про сложную структуру шапки отчета, когда один показатель раскрывается в элементы измерения, а другой - не раскрывается, хотелось бы узнать, как подобное делается в BO). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 14:08 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Всем спасибо, теперь можно, пожалуй, переформулировать проблему: Интересуют типичные требования к организации данных, выгружаемых из "оперативной" системы в DWH. К чему я, как разработчик, должен стремиться и чего избегать, публикуя данные из своей рабочей системы в DWH? Цель: пользователи моей системы, которые также часто являются и пользователями всяких Cognos, BO и т.п. должны быть счастливы от того, как это все хозяйство у них работает вместе, причем с минимальными телодвижениями с их стороны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 14:14 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
И еще: нет ли у кого соответствующего опыта? Вот жило себе было бизнес приложение и вдруг кастомеры захотели, чтобы данные, которые это приложение менеджит, стали доступны не только в нем самом, но и для внешних аналитических систем. Как решали задачу, с какими проблемами сталкивались? Спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 14:21 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 варианта: 1. создавать хранилище и прикручивать к нему отчетность 2. работать с существующим оперативным источником, из средств позволяющих эффективно это делать мне известно лишь одно cognos reportnet. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 15:08 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
inga2 варианта: 1. создавать хранилище и прикручивать к нему отчетность 2. работать с существующим оперативным источником, из средств позволяющих эффективно это делать мне известно лишь одно cognos reportnet. с оперативным источником работать нехорошо, кроме того, чтобы с ним работать, мне нужно будет в Когносе или где-то еще повторить добрую треть логики существующей системы, что неприемлемо. Потому будет создаваться хранилище, а уж к хранилищу заказчики пусть чем хотят тем и доступаются. Вопрос в том, повторю: меня, любимого К чему я, как разработчик, должен стремиться и чего избегать, публикуя данные из своей рабочей системы в DWH? Действительно, было бы интересно услышать мнение специалистов по когносу и иже с ним - какие данные имеет смысл ему выгружать, так, чтобы ему было хорошо на свете? Чтобы потом в нем поменьше извращаться и на грабли наступать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 15:26 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
что как и куда зависит целиком от специфики области и задач которые призвано решить хранилище )) а насчет оперативных источников - если требуется отчетность, то в вашем случае я бы так сразу этот вариант не откидывал, т.к. достаточно научиться создавать метамодели в reportnete и отчетность у вас в кармане. ваша крутая логика при этом никуда не денется. ну в крайнем случае соберете некоторое количество view и вся любофь. ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:00 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ingaчто как и куда зависит целиком от специфики области и задач которые призвано решить хранилище )) понятно, что есть специфика предметной области;.. интересно как раз узнать, существуют ли какие-н. общие рекомендации. Вероятно, люди, работающие с тем же когносом достаточно плотно, могли бы назвать типичные проблемы/грабли, которых следует избегать.. ingaваша крутая логика при этом никуда не денется. ну в крайнем случае соберете некоторое количество view и вся любофь. ))) эх, голуба!.. кабы вся наша крутая логика в "некоторое количество views" разлеглась, мы б уже давно без работы остались.. А как насчет спецификаций по 30 страниц сплошных формул?.. Гибких правил реконсиляции/коррекции форекастов, настраиваемых каждым заказчиком под себя? Правил начисления комиссионных, разных для каждого банка/счета/операции/котракта?.. Никак нельзя выкрутиться одними оперативными источниками, уверяю Вас! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:10 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ingaа насчет оперативных источников - если требуется отчетность, то в вашем случае я бы так сразу этот вариант не откидывал, т.к. достаточно научиться создавать метамодели в reportnete и отчетность у вас в кармане. ваша крутая логика при этом никуда не денется. ну в крайнем случае соберете некоторое количество view и вся любофь. ))) А как быть, если в отчетах, где нужна поддержка историчности, а система ее не поддерживает ? Распаковавть все архивы за годовой период ? Никакого места на жестких дисках и никакой процессорной мощи тут не хватит. Так что врач сказал ХД, значит ХД. :-) to Mike Sikalo Ну так и выгружайте в ХД все только что можно, а потом уж и закачаете в кубики что нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:20 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo эх, голуба!.. кабы вся наша крутая логика в "некоторое количество views" разлеглась, мы б уже давно без работы остались.. А как насчет спецификаций по 30 страниц сплошных формул?.. Гибких правил реконсиляции/коррекции форекастов, настраиваемых каждым заказчиком под себя? Правил начисления комиссионных, разных для каждого банка/счета/операции/котракта?.. Никак нельзя выкрутиться одними оперативными источниками, уверяю Вас! да меня уверять не надо. раз все у вас так сложно ('30 страниц одних формул') то таком случае мой совет один - ни под каким предлогом не браться за реализацию хранилища самим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:26 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
[quot Tomcat] А как быть, если в отчетах, где нужна поддержка историчности, а система ее не поддерживает ? Распаковавть все архивы за годовой период ? Никакого места на жестких дисках и никакой процессорной мощи тут не хватит. Так что врач сказал ХД, значит ХД. :-) в последнее время я все больше и больше убеждаюсь что внедрение DWH необходимо начинать с внедрения нормальных оперативных источников. вот. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:28 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
JuriiВы уверены что такие отчеты реально сделать в BO? да Jurii(про нижнюю часть не спрашиваю, это понятно нельзя сделать, а вот про сложную структуру шапки отчета, когда один показатель раскрывается в элементы измерения, а другой - не раскрывается, что нельзя сделать? ранжирование что ли? или иерархии? Jurii хотелось бы узнать, как подобное делается в BO). все мышкой. Я понимаю, что Вы продвигаете Cognos, но зачем же незаслуженно гнилить БО? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:28 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
TomcatНу так и выгружайте в ХД все только что можно, а потом уж и закачаете в кубики что нужно. это одно из самых распространенных заблуждений "давайте все загрузим, а потом посмотрим что с этим можно сделать" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:31 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ingaраз все у вас так сложно ('30 страниц одних формул') то таком случае мой совет один - ни под каким предлогом не браться за реализацию хранилища самим. да ведь у нас-то все это уже реализовано, нужно только начать результаты этих вычислений сохранять в DWH... Вот только непонятно мне как все-таки лучше поступать в случае изменения / удаления исходных данных? 1) Удалять все, пересчитывать все заново? 2) Пытаться трассировать изменения и апдейтить только то, что изменилось? 3) Ничего не удалять, просто пересчитывать все заново и сохранять очередную версию? Т.е. будет ожидаемый баланс счета 1 на 1.4.2004 $100 (версия от 1.1.2004); ожидаемый баланс счета 1 на 1.4.2004 $110 (версия от 10.3.2004); и т.п. Кто-нибудь видит другие варианты? Кто-нибудь может привести аргументы "за" и "против" каждого варианта? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:39 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Добрый Эх TomcatНу так и выгружайте в ХД все только что можно, а потом уж и закачаете в кубики что нужно. это одно из самых распространенных заблуждений "давайте все загрузим, а потом посмотрим что с этим можно сделать" Я это прекрасно понимаю, но это может быть оправдано в том случае, если не будут гоняться отчеты по всему ХД, и/или ХД не будет слишком большим. А еще бывает и такая ситуация, я спрашиваю, что закачивать в ХД ? Начальство отвечает ВСЕ ! Ну мне и лучше, потренируюсь работе с большими объемами данных :-) inga в последнее время я все больше и больше убеждаюсь что внедрение DWH необходимо начинать с внедрения нормальных оперативных источников. вот. Интересно, а что скажет на это заказчик с кучей различных оперативных систем ? Mike Sikalo ingaраз все у вас так сложно ('30 страниц одних формул') то таком случае мой совет один - ни под каким предлогом не браться за реализацию хранилища самим. да ведь у нас-то все это уже реализовано, нужно только начать результаты этих вычислений сохранять в DWH... Вот только непонятно мне как все-таки лучше поступать в случае изменения / удаления исходных данных? 1) Удалять все, пересчитывать все заново? 2) Пытаться трассировать изменения и апдейтить только то, что изменилось? 3) Ничего не удалять, просто пересчитывать все заново и сохранять очередную версию? Т.е. будет ожидаемый баланс счета 1 на 1.4.2004 $100 (версия от 1.1.2004); ожидаемый баланс счета 1 на 1.4.2004 $110 (версия от 10.3.2004); и т.п. Кто-нибудь видит другие варианты? Кто-нибудь может привести аргументы "за" и "против" каждого варианта? Нужна историчность, делайте по п.3, если ХД небольшое и историчность не нужна, можно п. 1 (мы раньше так и делали), а сейчас перепроектируем по п.3 Думайте сами, что вам надо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:49 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo 1) Удалять все, пересчитывать все заново? 2) Пытаться трассировать изменения и апдейтить только то, что изменилось? 3) Ничего не удалять, просто пересчитывать все заново и сохранять очередную версию? Т.е. будет ожидаемый баланс счета 1 на 1.4.2004 $100 (версия от 1.1.2004); ожидаемый баланс счета 1 на 1.4.2004 $110 (версия от 10.3.2004); и т.п. Кто-нибудь видит другие варианты? Кто-нибудь может привести аргументы "за" и "против" каждого варианта? масса вариантов, но зависит все от вашей оперативной системы и объемов данных но главное все зависит от задач, если аналитикам нужны балансы разных версий, то делать версии, если нет, то незачем их грузить. например, если у Вас определен срок позже которого изменений не будет, то грузите каждый раз данные за этот срок, например, за квартал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 16:56 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 tomcat: сказать то он может все что угодно, да вот только денег обычно нет у него ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 17:06 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Нужна историчность, делайте по п.3, если ХД небольшое и историчность не нужна, можно п. 1 (мы раньше так и делали) А вот еще вопрос специалистам по cognos и иже с ними: а сами эти ваши тулзы разве не поддерживают "историчность"? Если я буду со своей стороны каждый раз все удалять и перегенерировать заново - в cognosе же сохраняться его ранее построенные кубы, отчеты, или что там у него есть? И я потом все равно смогу сравнить старые кубы с новыми кубами и увидеть историческую перспективу? Или нет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 17:29 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo 1) Удалять все, пересчитывать все заново? 2) Пытаться трассировать изменения и апдейтить только то, что изменилось? 3) Ничего не удалять, просто пересчитывать все заново и сохранять очередную версию? Т.е. будет ожидаемый баланс счета 1 на 1.4.2004 $100 (версия от 1.1.2004); ожидаемый баланс счета 1 на 1.4.2004 $110 (версия от 10.3.2004); и т.п. Кто-нибудь видит другие варианты? Кто-нибудь может привести аргументы "за" и "против" каждого варианта? Как сказал Добрый Эх, все зависит от задач. Хочу только добавить, что пункт 2 скорее относится к CDC и применяется не зависимо от того, нужна история или нет (по крайней мере в наших проектах). Просто иногда - при малых объемах, трудность реализации (обновление строки в многомерном кубе) проще все пересчитать и перегрузить заново. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 17:48 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Mike Sikalo Нужна историчность, делайте по п.3, если ХД небольшое и историчность не нужна, можно п. 1 (мы раньше так и делали) А вот еще вопрос специалистам по cognos и иже с ними: а сами эти ваши тулзы разве не поддерживают "историчность"? Если я буду со своей стороны каждый раз все удалять и перегенерировать заново - в cognosе же сохраняться его ранее построенные кубы, отчеты, или что там у него есть? И я потом все равно смогу сравнить старые кубы с новыми кубами и увидеть историческую перспективу? Или нет? Меня тоже интересует поддержка историчности в клиентских тулзах, в частности в оракловых, я даже ветку совсем недавно завел. Похоже историчность надо организовывать, конструируя особым образом измерения или создавать новые специально для этого. Сейчас вот сижу и думаю над этим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 18:01 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Tomcat Меня тоже интересует поддержка историчности в клиентских тулзах.. Во-во! Господа специалисты / сэйлз-пипл - просим! :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 18:54 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
авторМеня тоже интересует поддержка историчности в клиентских тулзах.. В случае ROLAP, создается специальное измерение времени в хранилище данных. Создается один раз на много лет вперед обычно с помощью хранимой процедуры, в соответсвии с бизнесс-процессами заказчика (обычный вопрос - бьется ли месяц на недели), после этого работа со временем ничем не отличается от работы с любым другим измерением. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 19:11 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
2 inga: работать с существующим оперативным источником, из средств позволяющих эффективно это делать мне известно лишь одно cognos reportnet. А притормаживать ReportNet не будет? Это же все-таки не OLAP-средство, если в нем сделать запрос к 20 связаннм таблицам с агрегациями и группировками, нагрузка пойдет на сервер учетной системы и он, как говорил г-н Иванов, уйдет в даун :) 2 Mike Sikalo: Я не думаю что при сложности Ваших алгоритмов Вы сможете создать коробочное решение для хранилища данных. Но если хотите попробовать - постарайтесь выделить будущие таблицы фактов, справочники, и наполните их хранимыми процедурами. Например, для продаж - свою табличку, для планов - свою, но не пытайтесь на уровне хранилища делать консолидацию плана и факта - эта задача для многомерного OLAP. Меня тоже интересует поддержка историчности в клиентских тулзах.. В Cognos PowerPlay можно с необходимой периодичностью фотографировать учетную систему/хранилище данных. При каждой закачке данных присваивать этим данным уникальный номер версии. Закачку надо делать инкрементально. В итоге можно будет в одном кубе держать всю историю, и накладывая фильтр на измерение ВЕРСИЯ, можно будет переходить к любой версии данных, а также сравнивать версии друг с другом 2 Добрый Эх: что нельзя сделать? ранжирование что ли? или иерархии? Нельзя сделать двух независимых боковиков для одной шапки отчета (когда верхний боковик - несбалансированная иерархия, а нихний боковик является подзапросом). все мышкой. Я понимаю, что Вы продвигаете Cognos, но зачем же незаслуженно гнилить БО? Вы бы не могли привести скриншотик аналогичного отчета в интерфейсе BO? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 20:33 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
авторкак говорил г-н Иванов Даже не знаю, хорошо ли быть живым классиком марксизма-олапизма. :) Если о говорить о самой теме, а это DWH, то тут конечно что-то стоит купить для ускорения процесса внедрения, только это не MSAS, не Cognos, не BO, и даже не тулзы построения DWH от MS и Oracle. Тут нужна опытная и светлая голова внедренца, которая этот DWH спроектирует в виде самых тривиальных табличек SQL-сервера, но с нетривиальными задачами. А OLAP-тут только вершинка над этим DWH и простейший элемент BI-решения. Выбрать можно потом OLAP любой и даже несколько сразу. :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.06.2005, 21:37 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
ВладимирТут нужна опытная и светлая голова внедренца, которая этот DWH спроектирует в виде самых тривиальных табличек SQL-сервера, но с нетривиальными задачами. А OLAP-тут только вершинка над этим DWH и простейший элемент BI-решения. Выбрать можно потом OLAP любой и даже несколько сразу. :) Присоединяюсь. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 09:27 |
|
||
|
Как прикрутить DWH к существующей системе
|
|||
|---|---|---|---|
|
#18+
Jurii2 inga: работать с существующим оперативным источником, из средств позволяющих эффективно это делать мне известно лишь одно cognos reportnet. А притормаживать ReportNet не будет? Это же все-таки не OLAP-средство, если в нем сделать запрос к 20 связаннм таблицам с агрегациями и группировками, нагрузка пойдет на сервер учетной системы и он, как говорил г-н Иванов, уйдет в даун :) reportnet не будет. сервер учетной системы возможно будет. тут плясать надо опять же исходя из решаемых задач. нет тут решения на все случаи жизни и даже ваш любимый PP невсегда подходит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.06.2005, 10:44 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=33095205&tid=1871408]: |
0ms |
get settings: |
9ms |
get forum list: |
19ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
49ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
84ms |
get tp. blocked users: |
1ms |
| others: | 259ms |
| total: | 440ms |

| 0 / 0 |
