Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Коллеги, Не подскажете, где можно посмотреть сводный отчет (на основе общемировой практики, или USA) такого плана: -- длительность проектов по внедерению ХД -- типовые задачи, решаемые в проекте -- доля от общего времени проекта, отводимая на каждую задачу. Спасибо. ЗЫ Смотрел на datawarehouse.com - нашел только фрагменты, без упоминания источника. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 10:03 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Такие отчеты денег стоят. $3-5K. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 10:21 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Как вариант, походить по конференциям. Sybase у себя стуча пяткой в грудь называл и деньги и цифры, когда IQ нахваливал. Но продукт видимо классный ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 13:39 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
ОК. Попробую по другому задать вопрос: Коллеги, На собственном опыте не могли бы дать приближенные оценки относительной доля ресурсоемкости задач к ресурсоемкости всего проекта: а. информационное исследование и разработка ТЗ б. разработка ETL процедур Для нашего проекта: а. ~20% б. ~55% ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 15:25 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
2 Jimmi IMHO это сильно зависит от проекта. Может быть и 90 на 10 и 10 на 90. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 15:33 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
и от инструментария.... :) если писать ETL как sql-скрипты - это одно, а если использовать хранилище-ориентированный генератор ETL типа OWB, SSABI или DS - совсем-совсем другое :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 16:04 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Коллеги, Здесь более важный фактор - количество ответов, который может быть отрезюмирован словом "тенденция". ЗЫ К тому-же, я не думаю, что применение ETL инструмента даст прирост производительности более чем на 15% по сравнению с ручным кодированием. Так что - только факты, пожалуйста. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 16:27 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
90-10 10-90 50-50 Какая тут тенденция? :) А если серьезно, если у вас проект, скажем, создания хранилища на основе данных из одной биллинговой системы. То на лицо то, что фаза обследования будет гораздо меньше, чем разработка ETL, которая будет завязана на копание в структуре этого биллинга. А если у вас задача слить данные из множества простых источников, типа таблиц Access, текстовых файлов и проч, то обследовать что за источники, что в них лежит и т.д. займет времени гораздо больше чем собственно написание ETL, который в этом случае довольно прост. Бывают и промежуточные варианты. Как тут выделить тенденцию? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 16:46 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
На основе 3-х ответов дейсствительно глупо говорить о тенденции. Если же их будет 15-20 - уже можно. Я так понимаю, что 5-20 не будет. Жаль. Считаю вопрос исчерпаным. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 10:10 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
To Birkhoff ....То на лицо то, что фаза обследования будет гораздо меньше, чем разработка ETL, которая будет завязана на копание в структуре этого биллинга... А разве копание в структуре биллинга не относится к обследованию? А если у вас задача слить данные из множества простых источников, типа таблиц Access, текстовых файлов и проч, то обследовать что за источники, что в них лежит и т.д. займет времени гораздо больше чем собственно написание ETL, который в этом случае довольно прост. В ообщем в обоих случаях упомянуты 2 совершенно одинаковые проблемы - "копание-обследование" исходных систем (источникав данных). И "долгая и нежная любовь" с этими источниками вам обеспечена. Тут заключен главный риск DWH проекта со всеми вытекающими последствиями. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 10:30 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
To Jimmy: Существуют разные типы проектов по созданию ХД (когда есть один осточник данных, или несколько одинаковых источников данных, или несколько источников данных с рассинхронизированными справочниками). Также проекты по созданию ХД различаются в зависимости от выбранного аналитического инструментария (если ROLAP - то ХД спроектировать сложнее, чем при наличии MOLAP). Так что если играться со статистикой, то будет примерно то же, что производить арифметические операции над данными в разных валютах... Приведите лучше описания Ваших проектов и поточнее сформулируйте, для чего Вам подобная статистика по проектам ХД? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 10:41 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
2 backfire Чаще всего бывает так, что к обследованию относятся обследование бизнес функций и сущностей, а копание в структуре относится уже к фазе ETL. Так что вопрос в том, в какой момент ставится водораздел между обследованием и имплементацией. IMHO, о том где обычно ставится этот водораздел Jimmy и спрашивал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 11:13 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
To Jurii Также проекты по созданию ХД различаются в зависимости от выбранного аналитического инструментария (если ROLAP - то ХД спроектировать сложнее, чем при наличии MOLAP). Я хоть и являюсь приверженцем MOLAP, но ваше мнение о том, что DWH для MOLAP проектировать проще не разделяю. DWH он и в Африке DWH. Просто на хреновом DWH, или в его отстутствие, вам еще удасться слабать что то недолгоживущее в MOLAP, то с ROLAP вы вообще ни чего не достигнете. Так что кажущаяся простота создания решений в MOLAP продуктах не должна провоцировать экономию на DWH. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 16:12 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
JuriiТакже проекты по созданию ХД различаются в зависимости от выбранного аналитического инструментария (если ROLAP - то ХД спроектировать сложнее, чем при наличии MOLAP). Юрий, может все-таки многое зависит от опыта проектирования и от опыта работы с конкретным инструментарием? Объясните мне, чем проектирование многомерной модели для MOLAP отличается от проектирования многомерной модели для ROLAP. Технические вопросы конретной реализации в PowerPlay, MS AS, MS SQL или Oracle давайте опустим. Адександр Стулов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 18:11 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Александр, Объясните мне, чем проектирование многомерной модели для MOLAP отличается от проектирования многомерной модели для ROLAP. Я имел в виду различие в проектировании реляционного ХД в зависимости от использования MOLAP или ROLAP как аналитической надстройки. Если ХД делать ради ХД - то разницы разумеется нет. Но если мы хотим, чтобы пользователи могли получать отчеты и проводить анализ, для успешного функционирования ROLAP потребуется дополнительная работа (которую не надо делать для MOLAP) - создание и подкачка вспомогательных таблиц с агрегированными значениями, индексирование полей ХД, по которым будут строиться отчеты в ROLAP или накладываться фильтры и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 18:20 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Юрий, Все так, но для успешного функционирования MOLAP потребуется разбивать кубы, решать задачу обновления/удаления данных уже загруженных в куб, думать как реализовать задачу получения остатков на каждый день и т.д. С уважением, Александр ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 19:04 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Александр, персональное ИМХО, что объём трудозатрат для ROLAP - решения выше, чем для MOLAP. Есть примеры практики реализации одного и того же функционала. А вообще, сей спор бессмысленен. Очевидно, что есть задачи, для которых MOLAP выигрыша не даёт и всё сводится к тому же проектированию ХД и реализации ETL. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.05.2004, 19:58 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Александр, думать как реализовать задачу получения остатков на каждый день Вам приходилось решать эту задачу с помощью ROLAP? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2004, 10:28 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
To Jurii Если ХД делать ради ХД - то разницы разумеется нет. А только так и надо делать. Инструментарий MOLAP - молодая и динамично развивающаяся отрасль. Сегодня вы сделали MOLAP-центричное решение на СPP 7.1 или MS AS 2K - а через год надо переходить на СPP x.x или Yukon - и что тогда? To Alexander Вам приходилось решать эту задачу с помощью ROLAP? А что тут такого удивительного? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2004, 11:33 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
JuriiВам приходилось решать эту задачу с помощью ROLAP? Конечно приходилось, и удивительного ничего нет. Кстати, вопрос к знатокам MOLAP, возможно ли в принципе решить следующую задачу в кубе: Анализируем дебиторскую/кредиторскую задолженность - фактически это остаток денег на счету. Есть измерение, характеризующее просроченность задолженности, например менее 3 дней, <30, 30-60, 60-90, > 90. Можно ли корректно связать остаток с этим измерением? Во внимание следует принять то, что даже если по счету транзакций не проходило, то со временем факт должен относится к разным категориям задолженности. С уважением, Стулов Александр ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2004, 14:02 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
To Alexander Анализируем дебиторскую/кредиторскую задолженность - фактически это остаток денег на счету. Есть измерение, характеризующее просроченность задолженности, например менее 3 дней, <30, 30-60, 60-90, > 90. Можно ли корректно связать остаток с этим измерением? Во внимание следует принять то, что даже если по счету транзакций не проходило, то со временем факт должен относится к разным категориям задолженности. Да, я такое делаю в MS AS. Куб строится не на прямо на таблице фактов, а на Вьюхе, в которой соединяю Таблицу фактов и Таблицу измерения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2004, 15:56 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
To backfire Да, я такое делаю в MS AS. Куб строится не на прямо на таблице фактов, а на Вьюхе, в которой соединяю Таблицу фактов и Таблицу измерения. Уважаемый Backfire, можно немного подробнее. Я с MS AS практически не знаком, с Cognos немного лучше. Если смотреть на задачу с точки зрения SQL, то в запрос надо вставлять как параметр отчетную дату, в зависимости от которой задолженность будет попадать в ту или иную категорию, чтобы считать задолженность на любую дату. У Вас это тоже реализовано? С уважением, Стулов Александр ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2004, 18:02 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
To Alexander Уважаемый Backfire, можно немного подробнее. Я с MS AS практически не знаком, с Cognos немного лучше. О чем подробнее, как лепить вьюхи на T-SQL, как Join организовать? Поставьте вопрос конкретнее. Если смотреть на задачу с точки зрения SQL, то в запрос надо вставлять как параметр отчетную дату, в зависимости от которой задолженность будет попадать в ту или иную категорию, чтобы считать задолженность на любую дату. У Вас это тоже реализовано? Конечно. Отчетную дату, вы можете писать в какую нибудь табличку, а вьюхой цеплять ее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2004, 19:28 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
Александру. На тяжелых вьюхах, когда данных немеряно или joins мрачные и SQL оптимизатор стонет от перенапряга, стоит переходить на временные (промежуточные) таблицы - в итого быстрее получается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2004, 19:32 |
|
||
|
Статистика по проектам DWH
|
|||
|---|---|---|---|
|
#18+
To Александр, backfire: думать как реализовать задачу получения остатков на каждый день Вам приходилось решать эту задачу с помощью ROLAP? А что тут такого удивительного? Для примера рассмотрим остатки по товарам. В целом все просто, но сложности начинаются тогда, когда велико произведение количества товаров на количество мест хранения на количество дней (или часов, если интересует динамика остатков с точностью до часа). Например, 30 тысяч товаров, 30 мест хранения и 1000 дней. Если перемножить эти три числа, получим 900 миллионов записей. Хранить эти записи в БД - малореально из-за большого объема, да и каждый документ по товародвижению, введенный задним числом, приведет к необходимости огромного пересчета остатков, что увеличивает нагрузку на реляционный сервер. Если не хранить заранее просчитанные остатки в БД - надо вычислять их налету. ROLAP конечно позволит это сделать, но работать это будет медленно. Сталкивались ли вы с подобными ситуациями? Как я понимаю, оптимальный вариант для ROLAP - хранить остатки на начало каждого месяца, чтобы меньше вычислять налету, но это тоже вроде не должно быстро работать... В свою очередь MOLAP предлагает очень удобный подход - закачать в куб разность между приходами и расходами товаров, и налету в OLAP-клиенте брать нарастающий итог от этого показателя. При этом будет производиться минимальное количество вычислительных операций, и этот подход работает с высокой скоростью, я проверял это на практике. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.05.2004, 09:37 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=390&tid=1872592]: |
0ms |
get settings: |
9ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
51ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
| others: | 224ms |
| total: | 372ms |

| 0 / 0 |
