2 Jimmy:

какие действительно крупные решения на основе DWH были реализованы у нас в Росии.

Я недавно завершил проект по созданию хранилища данных для энергетической компании. Длительность проекта была около 5 месяцев. В качестве СУБД - MS SQL Server. Задача состояла в том чтобы закачать в единую базу данных большое количество неструктурированных файлов Excel, отслеживать при закачке имеются ли в справочниках НСИ закачиваемые значения их полей Excel - если не имеются - позволять добавлять новые значения или создавать синонимы (например к городу Санкт-Петербург привязать синонимы Спб, СПб, Петербург, Питер и т.п.). Также нужно было поддерживать версионность данных, позволять редактировать закаченные данные Excel в первоначальном виде (закачали неструктурированный файл - положили в структурированную таблицу данные - но корректируем опять таки неструктурированный файл к которому привык пользователь и потом пересохраняем в текущую или в новую версию данных).
Далее поверх хранилища был настроен Cognos OLAP/BI для создания отчетов и проведения анализа данных.

2 Jimmy:

А можно ТТХ проекта расписать подробнее:
-- Компания
-- Цели создания ХД
-- Количество источников
-- Количество витрин (кубиков)
-- Размеры кубиков (кол. фактов/членов измерений)
-- Время загрузки/пересчета кубиков
-- Размер команды проектной
и т.п.

Все подробности я рассказать не могу, в том числе в открытую на форуме не могу озвучить название компании, для которой это делалось. Но некоторая информация не является секретной.

Цель создания ХД - это по большому счету создание очень гибкой системы бюджетирования/финансового планирования/бизнес-планирования, а также системы отчетности для контролирующих органов. Потребность в этом возникла из-за того, что специалистам экономического отдела, в который стекалось множество файлов Excel из других подразделений, было трудно оперативно консолидировать эту информацию, проводить анализ что-если (например как повлияет на ключевые показатели изменение расходов по таким-то статьям, изменение цен на топливо, изменение штатной численности сотрудников и т.п.). Стоит отметить, что большинство отчетов для контролирующих органов содержат не только данные одного финансового периода, но и данные из предыдущих периодов, и чтобы эти отчеты легко создавать нужно чтобы исторические данные были доступны.

Количество источников - несколько десятков файлов Excel в первые месяцы промышленной эксплуатации, но в течение этого года количество файлов по моим оценкам составит около 200. Причем 200 файлов не всего, а каждый финансовый период (месяц, квартал или год, в зависимости от типа данных). Каждый файл имеет свою структуру (эта структура не является структурированной :) На эту тему в середине прошлого года на форуме была дискуссия:
/topic/101037&pg=-1&hl=

Для каждого файла (формы) Excel в хранилище создается таблица (визуальными средствами, путем регистрации формы через интерфейс работы с хранилищем). Для каждой формы указывается макрос, который приводит форму Excel к структурированному виду, производится мэппинг полей Excel с полями таблицы хранилища, и для каждого поля указывается принадлежность к тому или иному измерению или показателю. Формы объединяются в интерфейсе системы в источники (например в источник могут входить формы по расходу топлива, по ценам на топливо и по железнодорожному тарифу). Источники в свою очередь объединяются в кубы. Кубы хранилища - это большие широкие таблицы. Всего кубов примерно столько, сколько бизнес-процессов (несколько штук). Каждому кубу хранилища соответствует OLAP-куб Cognos PowerPlay.

Количество фактов в 200 формах невелико, не более 25 тысяч за финансовый период, но так как факты прибавляются каждый месяц, плодятся версии данных, поддерживается план и факт - то число фактов будет быстро расти - в разы, на порядки. Членов измерений - несколько тысяч, до 10 тысяч.

Время загрузки, пока фактов меньше миллиона - в среднем пара минут.

Проектная команда - руководитель проекта, 2 постановщика задачи, 1 специалист по ХД, 1 программист Delphi и 1 тестировщик системы.

2 backfire & Злобный ныпэрс:

Позвольте полюбопытствовать, а зачем в команде 1 программист Delphi? Вы не упомянули ничего, для чего бы он мог понадобится
Зачем Delphi?
А по быстячку навоять импортёр из EXCEL и обозвать его PowerPlay.exe, или клиента людского сделать

Ну как же, из моего постинга можно было понять, что в моем проекте создавалась не только реляционная БД (Хранилище данных), но и интерфейс для работы с ней, цитирую:
это по большому счету создание очень гибкой системы бюджетирования/финансового планирования/бизнес-планирования, а также системы отчетности для контролирующих органов
Для каждого файла (формы) Excel в хранилище создается таблица (визуальными средствами, путем регистрации формы через интерфейс работы с хранилищем). Для каждой формы указывается макрос

Приведу перечень основных интерфейсов:
1) Интерфейс для сбора файлов Excel (отслеживается какие файлы собраны, какие не собраны)
2) Интерфейс закачки данных из Excel в ХД (с режимом как пакетной, так и выборочной загрузки файлов)
3) Интерфейс корректировки форм (в котором в модальном окне открывается неструктурированный привычный пользователю файл Excel с возможностью редактирования ячеек и сохранения изменений либо в текущую, либо в новую версию)
4) Интерфейс управления версиями (создание новых версий, копирование форм с версии на версию)
5) Интерфейс регистрации форм (с указанием для формы названия ее файла Excel, физической таблицы, макроса преобразования данных, перечня полей формы, и т.д.)
6) Интерфейсы регистрации источников данных (совокупность форм Excel) и кубов хранилища (совокупность источников данных)
7) Интерфейс регистрации кубов Cognos, которые ставятся в соответствие кубам хранилища
8) Интерфейс администрирования прав доступа пользователей к объектам системы (модули, пункты меню, кнопки, формы, типы версий данных)
9) Интерфейсы работы со справочниками бизнес-процессов, финансовых периодов, макросов, параметров макросов, системных настроек и т.д.

В качестве средства разработки был выбран Delphi...

2 backfire:

И сколько человекомесяцев потребовала разработка всех этих интерфейсов?

Разработка интерфейса на Delphi заняла примерно три человеко-месяца. За это время было написано более 10 тысяч строк кода :)

2 backfire:

три человеко-месяца даже только для тех интерфейсов что вы указали - маловато будет.
Либо туда не включена работа дизайнера, а только кодера

Программист Delphi, который это разрабатывал, обладает очень высокой квалификацией, и не только в области кодинга, но и в области проектирования ХД.
В эти три человеко-месяца действительно не включена работа по разработке дизайна интерфейса (0.5 человеко-месяца) и создание навороченного универсального макроса для преобразования форм Excel (1 человеко-месяц).

Либо все ужасно quick and dirty (но DWH это не та область где можно этим методом проскочить)

Разработка действительно велась быстрыми темпами, так как у проекта были сжатые сроки, но на качество это не повлияло. А красота интерфейса была одним из важных приоритетов (для этого пришлось помучаться при создании системы семафоров, динамическое обновление цветовых подсказок серьезно усложнило алгоритм работы программы).

Впрочем, если принять во внимание ваши ваши предыдущие посты о "OLAP решениях" на базе всего чего угодно, кроме хранилищ, да еще за пять дней с помощью Drag&Drop, то можно представть что наваял под вашим архитекторско-дизайнерским руководством поклонник NILL

OLAP-решение (на основе Cognos) - это другой вопрос. Cognos был настроен на структуру этого ХД действительно с помощью Drag & Drop, и не более чем за 5 дней.

А хранилище наверное построенно было на Interbase?

Всю жизнь мечтал создать ХД на основе СУБД Interbase или DBase... :) Но в данном случае корпоративным стандартом заказчика был MS SQL Server, да и мои разработчики имели опыт только с Oracle и MS SQL. Так что ХД построено на MS SQL Server.