powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Статистика по проектам DWH
25 сообщений из 37, страница 1 из 2
Статистика по проектам DWH
    #32527461
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллеги,

Не подскажете, где можно посмотреть сводный отчет (на основе общемировой практики, или USA) такого плана:
-- длительность проектов по внедерению ХД
-- типовые задачи, решаемые в проекте
-- доля от общего времени проекта, отводимая на каждую задачу.

Спасибо.

ЗЫ Смотрел на datawarehouse.com - нашел только фрагменты, без упоминания источника.

------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32527508
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Такие отчеты денег стоят. $3-5K.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32528084
Фотография brahew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как вариант, походить по конференциям. Sybase у себя стуча пяткой в грудь называл и деньги и цифры, когда IQ нахваливал. Но продукт видимо классный
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32528431
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОК.
Попробую по другому задать вопрос:

Коллеги,
На собственном опыте не могли бы дать приближенные оценки относительной доля ресурсоемкости задач к ресурсоемкости всего проекта:
а. информационное исследование и разработка ТЗ
б. разработка ETL процедур

Для нашего проекта:
а. ~20%
б. ~55%


------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32528460
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Jimmi

IMHO это сильно зависит от проекта.
Может быть и 90 на 10 и 10 на 90.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32528586
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
и от инструментария.... :)
если писать ETL как sql-скрипты - это одно, а если использовать хранилище-ориентированный генератор ETL типа OWB, SSABI или DS - совсем-совсем другое :)
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32528645
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллеги,

Здесь более важный фактор - количество ответов, который может быть отрезюмирован словом "тенденция".

ЗЫ К тому-же, я не думаю, что применение ETL инструмента даст прирост производительности более чем на 15% по сравнению с ручным кодированием.
Так что - только факты, пожалуйста.


------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32528691
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
90-10
10-90
50-50

Какая тут тенденция? :)

А если серьезно, если у вас проект, скажем, создания хранилища на основе данных из одной биллинговой системы. То на лицо то, что фаза обследования будет гораздо меньше, чем разработка ETL, которая будет завязана на копание в структуре этого биллинга.

А если у вас задача слить данные из множества простых источников, типа таблиц Access, текстовых файлов и проч, то обследовать что за источники, что в них лежит и т.д. займет времени гораздо больше чем собственно написание ETL, который в этом случае довольно прост.

Бывают и промежуточные варианты.
Как тут выделить тенденцию?
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32530055
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
На основе 3-х ответов дейсствительно глупо говорить о тенденции.
Если же их будет 15-20 - уже можно.

Я так понимаю, что 5-20 не будет.
Жаль.
Считаю вопрос исчерпаным.


------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32530117
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Birkhoff

....То на лицо то, что фаза обследования будет гораздо меньше, чем разработка ETL, которая будет завязана на копание в структуре этого биллинга...

А разве копание в структуре биллинга не относится к обследованию?

А если у вас задача слить данные из множества простых источников, типа таблиц Access, текстовых файлов и проч, то обследовать что за источники, что в них лежит и т.д. займет времени гораздо больше чем собственно написание ETL, который в этом случае довольно прост.

В ообщем в обоих случаях упомянуты 2 совершенно одинаковые проблемы - "копание-обследование" исходных систем (источникав данных).

И "долгая и нежная любовь" с этими источниками вам обеспечена. Тут заключен главный риск DWH проекта со всеми вытекающими последствиями.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32530148
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Jimmy:

Существуют разные типы проектов по созданию ХД (когда есть один осточник данных, или несколько одинаковых источников данных, или несколько источников данных с рассинхронизированными справочниками). Также проекты по созданию ХД различаются в зависимости от выбранного аналитического инструментария (если ROLAP - то ХД спроектировать сложнее, чем при наличии MOLAP).

Так что если играться со статистикой, то будет примерно то же, что производить арифметические операции над данными в разных валютах...

Приведите лучше описания Ваших проектов и поточнее сформулируйте, для чего Вам подобная статистика по проектам ХД?
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32530232
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 backfire

Чаще всего бывает так, что к обследованию относятся обследование бизнес функций и сущностей, а копание в структуре относится уже к фазе ETL.
Так что вопрос в том, в какой момент ставится водораздел между обследованием и имплементацией.
IMHO, о том где обычно ставится этот водораздел Jimmy и спрашивал.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32531017
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Jurii

Также проекты по созданию ХД различаются в зависимости от выбранного аналитического инструментария (если ROLAP - то ХД спроектировать сложнее, чем при наличии MOLAP).

Я хоть и являюсь приверженцем MOLAP, но ваше мнение о том, что DWH для MOLAP проектировать проще не разделяю. DWH он и в Африке DWH. Просто на хреновом DWH, или в его отстутствие, вам еще удасться слабать что то недолгоживущее в MOLAP, то с ROLAP вы вообще ни чего не достигнете.

Так что кажущаяся простота создания решений в MOLAP продуктах не должна провоцировать экономию на DWH.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32531307
Alexander Stoulov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
JuriiТакже проекты по созданию ХД различаются в зависимости от выбранного аналитического инструментария (если ROLAP - то ХД спроектировать сложнее, чем при наличии MOLAP).

Юрий, может все-таки многое зависит от опыта проектирования и от опыта работы с конкретным инструментарием?
Объясните мне, чем проектирование многомерной модели для MOLAP отличается от проектирования многомерной модели для ROLAP. Технические вопросы конретной реализации в PowerPlay, MS AS, MS SQL или Oracle давайте опустим.

Адександр Стулов
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32531319
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Александр,

Объясните мне, чем проектирование многомерной модели для MOLAP отличается от проектирования многомерной модели для ROLAP.

Я имел в виду различие в проектировании реляционного ХД в зависимости от использования MOLAP или ROLAP как аналитической надстройки.
Если ХД делать ради ХД - то разницы разумеется нет. Но если мы хотим, чтобы пользователи могли получать отчеты и проводить анализ, для успешного функционирования ROLAP потребуется дополнительная работа (которую не надо делать для MOLAP) - создание и подкачка вспомогательных таблиц с агрегированными значениями, индексирование полей ХД, по которым будут строиться отчеты в ROLAP или накладываться фильтры и т.п.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32531401
Alexander Stoulov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Юрий,

Все так, но для успешного функционирования MOLAP потребуется разбивать кубы, решать задачу обновления/удаления данных уже загруженных в куб, думать как реализовать задачу получения остатков на каждый день и т.д.

С уважением, Александр
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32531457
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Александр, персональное ИМХО, что объём трудозатрат для ROLAP - решения выше, чем для MOLAP. Есть примеры практики реализации одного и того же функционала. А вообще, сей спор бессмысленен. Очевидно, что есть задачи, для которых MOLAP выигрыша не даёт и всё сводится к тому же проектированию ХД и реализации ETL.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32531782
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Александр,

думать как реализовать задачу получения остатков на каждый день

Вам приходилось решать эту задачу с помощью ROLAP?
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32531978
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Jurii

Если ХД делать ради ХД - то разницы разумеется нет.

А только так и надо делать. Инструментарий MOLAP - молодая и динамично развивающаяся отрасль. Сегодня вы сделали MOLAP-центричное решение на СPP 7.1 или MS AS 2K - а через год надо переходить на СPP x.x или Yukon - и что тогда?


To Alexander
Вам приходилось решать эту задачу с помощью ROLAP?


А что тут такого удивительного?
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32532433
Alexander Stoulov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
JuriiВам приходилось решать эту задачу с помощью ROLAP?

Конечно приходилось, и удивительного ничего нет. Кстати, вопрос к знатокам MOLAP, возможно ли в принципе решить следующую задачу в кубе:

Анализируем дебиторскую/кредиторскую задолженность - фактически это остаток денег на счету. Есть измерение, характеризующее просроченность задолженности, например менее 3 дней, <30, 30-60, 60-90, > 90. Можно ли корректно связать остаток с этим измерением? Во внимание следует принять то, что даже если по счету транзакций не проходило, то со временем факт должен относится к разным категориям задолженности.

С уважением, Стулов Александр
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32532811
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Alexander


Анализируем дебиторскую/кредиторскую задолженность - фактически это остаток денег на счету. Есть измерение, характеризующее просроченность задолженности, например менее 3 дней, <30, 30-60, 60-90, > 90. Можно ли корректно связать остаток с этим измерением? Во внимание следует принять то, что даже если по счету транзакций не проходило, то со временем факт должен относится к разным категориям задолженности.

Да, я такое делаю в MS AS. Куб строится не на прямо на таблице фактов, а на Вьюхе, в которой соединяю Таблицу фактов и Таблицу измерения.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32533212
Alexander Stoulov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
To backfire

Да, я такое делаю в MS AS. Куб строится не на прямо на таблице фактов, а на Вьюхе, в которой соединяю Таблицу фактов и Таблицу измерения.

Уважаемый Backfire, можно немного подробнее. Я с MS AS практически не знаком, с Cognos немного лучше.

Если смотреть на задачу с точки зрения SQL, то в запрос надо вставлять как параметр отчетную дату, в зависимости от которой задолженность будет попадать в ту или иную категорию, чтобы считать задолженность на любую дату. У Вас это тоже реализовано?

С уважением, Стулов Александр
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32533359
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Alexander

Уважаемый Backfire, можно немного подробнее. Я с MS AS практически не знаком, с Cognos немного лучше.

О чем подробнее, как лепить вьюхи на T-SQL, как Join организовать?

Поставьте вопрос конкретнее.

Если смотреть на задачу с точки зрения SQL, то в запрос надо вставлять как параметр отчетную дату, в зависимости от которой задолженность будет попадать в ту или иную категорию, чтобы считать задолженность на любую дату. У Вас это тоже реализовано?

Конечно.
Отчетную дату, вы можете писать в какую нибудь табличку, а вьюхой цеплять ее.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32533364
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Александру.

На тяжелых вьюхах, когда данных немеряно или joins мрачные и SQL оптимизатор стонет от перенапряга, стоит переходить на временные (промежуточные) таблицы - в итого быстрее получается.
...
Рейтинг: 0 / 0
Статистика по проектам DWH
    #32533810
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Александр, backfire:

думать как реализовать задачу получения остатков на каждый день
Вам приходилось решать эту задачу с помощью ROLAP?
А что тут такого удивительного?


Для примера рассмотрим остатки по товарам.
В целом все просто, но сложности начинаются тогда, когда велико произведение количества товаров на количество мест хранения на количество дней (или часов, если интересует динамика остатков с точностью до часа). Например, 30 тысяч товаров, 30 мест хранения и 1000 дней. Если перемножить эти три числа, получим 900 миллионов записей. Хранить эти записи в БД - малореально из-за большого объема, да и каждый документ по товародвижению, введенный задним числом, приведет к необходимости огромного пересчета остатков, что увеличивает нагрузку на реляционный сервер. Если не хранить заранее просчитанные остатки в БД - надо вычислять их налету. ROLAP конечно позволит это сделать, но работать это будет медленно.
Сталкивались ли вы с подобными ситуациями? Как я понимаю, оптимальный вариант для ROLAP - хранить остатки на начало каждого месяца, чтобы меньше вычислять налету, но это тоже вроде не должно быстро работать...

В свою очередь MOLAP предлагает очень удобный подход - закачать в куб разность между приходами и расходами товаров, и налету в OLAP-клиенте брать нарастающий итог от этого показателя. При этом будет производиться минимальное количество вычислительных операций, и этот подход работает с высокой скоростью, я проверял это на практике.
...
Рейтинг: 0 / 0
25 сообщений из 37, страница 1 из 2
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Статистика по проектам DWH
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]