powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Внедрения DWH
25 сообщений из 39, страница 1 из 2
Внедрения DWH
    #32867054
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллеги,

Наверное, не одному мне интересно узнать, какие действительно крупные решения на основе DWH были реализованы у нас в Росии.
Поэтому, если вам известны ссылки на подобного рода материалы ( типа такой ) - поделитесь пожалуйста.
Спасибо.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32867509
Мне кажется, по приведенной ссылке попадаешь не на описание ХД, а на описание старта ХД - использована только одна предметная область. В-общем это витрина. Не более.

Мы делали проект в Юнилевер. По решаемым задачам, источникам данных и охвату предметных областей - это ХД. Кстати, этап от витрины для финансистов до ХД занял около года.

Вот линк (с ТТХ ХД): www.bipartner.ru/projects/uni.html
Внизу страницы есть еще ссылка на статью по проекту в Intelligent Enterprise/RE.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32867758
Виктор Сакович
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JimmyКоллеги,

Наверное, не одному мне интересно узнать, какие действительно крупные решения на основе DWH были реализованы у нас в Росии.
Поэтому, если вам известны ссылки на подобного рода материалы ( типа такой ) - поделитесь пожалуйста.
Спасибо.

Господа, а что вы называете крупным проектом. По какому параметру крупный? Объём данных, количество источников, количество измерений, метрик...?
...
Рейтинг: 0 / 0
Внедрения DWH
    #32867972
Измеряеться в k$ or M$...
...
Рейтинг: 0 / 0
Внедрения DWH
    #32868542
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Виктор Сакович
Господа, а что вы называете крупным проектом. По какому параметру крупный? Объём данных, количество источников, количество измерений, метрик...?

Правильный вопрос!
Крупный - более одного источника данных, несколько витрин на базе интегрированных данных, объемы данных от 10Gb.

Наверное - более-менее объективный критерий.

2 Шурыгин Сергей
Спасибо
...
Рейтинг: 0 / 0
Внедрения DWH
    #32868563
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Шурыгин Сергей
А 15 источников - это 15 OLTP систем, или 15 таблиц?
...
Рейтинг: 0 / 0
Внедрения DWH
    #32868730
Alexander Stoulov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Jimmy, за что же вы нас так?
...
Рейтинг: 0 / 0
Внедрения DWH
    #32868758
Пашка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что-то странно ;)
У меня десяток источников данных, есть витрины (на основе единого хранилища), объем хранилища приближается к 30 Гб (и, поверьте, не потому что DW спроектировано неправильно:), порядка 40 кубов, но я совсем не считаю это хранилище крупным. И поддерживаю я все это в гордом одиночестве.
Че ж тут крупного? :-))
Неее, 10 Гб - это несерьезно!
...
Рейтинг: 0 / 0
Внедрения DWH
    #32868880
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот здесь есть подборка проектов по DWH
http://www.olap.ru/best/home.asp
...
Рейтинг: 0 / 0
Внедрения DWH
    #32868897
О-о-о... olap.ru уже почини - das ist gut.
Особенно умиляет "новость" за май 2003...
...
Рейтинг: 0 / 0
Внедрения DWH
    #32868975
Гык
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Умиляет и Sybase и BIpartner.
Первый тем что ничего не говорит о проекте, а Sybase как база в Пробизнесбанке давным-давно, наверно почти бесплатно, а о том что говорилось людьми из Sybase на конференции о своих решения готовых - тоже ни слова. А значится у нас не востребовано !!! Клевый был доклад ... Второй - маленькое получилось хранилище и кто там кем руководил не понятно а кто же собственно делал ХД непонятно. Типа все руководили и KPMG и BIpartner.
Гык
...
Рейтинг: 0 / 0
Внедрения DWH
    #32869092
DeafLeopard
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Шургин СергейВот линк (с ТТХ ХД): www.bipartner.ru/projects/uni.html
Внизу страницы есть еще ссылка на статью по проекту в Intelligent Enterprise/RE.

Порадовала в статье самая последняя фраза
Время ежедневной загрузки – 4.5 часа, из которых 3 часа - выгрузка данных.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32869930
ГыкУмиляет и Sybase и BIpartner.
Второй - маленькое получилось хранилище и кто там кем руководил не понятно а кто же собственно делал ХД непонятно. Типа все руководили и KPMG и BIpartner.


Да, хранилище по объему невелико. Но это именно ХД по охвату задач и функционалу. Так что, ИМХО, ничего умилительного здесь нет.

Умилительным было бы хранилище в 1Тб, состоящее из 3 таблиц, построенное на одном источнике, без отслеживания SCD, и, самое главное, не приносящее никакой пользы :)
...
Рейтинг: 0 / 0
Внедрения DWH
    #32869981
по всей видимости большие по объему данных ХД могут у нас иметь только телекоммуникационные компании и крупные ритейлеры (сюда можно отнести торговые сети, страховщиков, банки наверное нет). В Билайне сейчас только идет проект. Это ведущая компания отрасли, которая всегда впереди. Поэтому разумно предположить, что действительно групных ХД пока просто нет.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32870064
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander StoulovJimmy, за что же вы нас так?

Александр, не корысти ради, токмо во имя истины! :0))
Серьезно - просто хотел однозначности.

PS Коллеги, прошу не "мериться пиписьками", типа "у кого ХД больше". Вопрос был задан потому, что есть необходимость понять состояние рынка ХД в России, именно в плане достаточно масштабных коммерческих проектов.
Это - один из аспектов, формирующих представление. Ни больше, ни меньше.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32871066
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Jimmy:

какие действительно крупные решения на основе DWH были реализованы у нас в Росии.

Я недавно завершил проект по созданию хранилища данных для энергетической компании. Длительность проекта была около 5 месяцев. В качестве СУБД - MS SQL Server. Задача состояла в том чтобы закачать в единую базу данных большое количество неструктурированных файлов Excel, отслеживать при закачке имеются ли в справочниках НСИ закачиваемые значения их полей Excel - если не имеются - позволять добавлять новые значения или создавать синонимы (например к городу Санкт-Петербург привязать синонимы Спб, СПб, Петербург, Питер и т.п.). Также нужно было поддерживать версионность данных, позволять редактировать закаченные данные Excel в первоначальном виде (закачали неструктурированный файл - положили в структурированную таблицу данные - но корректируем опять таки неструктурированный файл к которому привык пользователь и потом пересохраняем в текущую или в новую версию данных).
Далее поверх хранилища был настроен Cognos OLAP/BI для создания отчетов и проведения анализа данных.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32871122
just_me
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Шургин Сергейпо всей видимости большие по объему данных ХД могут у нас иметь только телекоммуникационные компании и крупные ритейлеры (сюда можно отнести торговые сети, страховщиков, банки наверное нет). В Билайне сейчас только идет проект. Это ведущая компания отрасли, которая всегда впереди. Поэтому разумно предположить, что действительно групных ХД пока просто нет.

Не знаю как в России а у нас на Украине как раз банки и идут впереди.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32871204
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
just_me Не знаю как в России а у нас на Украине как раз банки и идут впереди

В это достаточно трудно поверить. Банки в наших странах довольно консервативны. В розницу идут слабо. А основная задача для хранилища в банке - это работа с розничными клиентами (CRM и прочие интересные вещи).
Вы бы рассказали немного об успешных проектах в банках.
Про банк Аваль, например. Это, вроде бы, довольно большой банк.

А в телекоме и у вас на Украине тоже проекты идут (по крайней мере, мне известно о паре таковых).

Кстати, это не Вы, случайно, на моей презентации в Киеве в конце прошлого года присутствовали?


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
Внедрения DWH
    #32871565
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii2 Jimmy:

какие действительно крупные решения на основе DWH были реализованы у нас в Росии.

Я недавно завершил проект по созданию хранилища данных для энергетической компании. Длительность проекта была около 5 месяцев. В качестве СУБД - MS SQL Server. Задача состояла в том чтобы закачать в единую базу данных большое количество неструктурированных файлов Excel, отслеживать при закачке имеются ли в справочниках НСИ закачиваемые значения их полей Excel - если не имеются - позволять добавлять новые значения или создавать синонимы (например к городу Санкт-Петербург привязать синонимы Спб, СПб, Петербург, Питер и т.п.). Также нужно было поддерживать версионность данных, позволять редактировать закаченные данные Excel в первоначальном виде (закачали неструктурированный файл - положили в структурированную таблицу данные - но корректируем опять таки неструктурированный файл к которому привык пользователь и потом пересохраняем в текущую или в новую версию данных).
Далее поверх хранилища был настроен Cognos OLAP/BI для создания отчетов и проведения анализа данных.

А можно ТТХ проекта расписать подробнее:
-- Компания
-- Цели создания ХД
-- Количество источников
-- Количество витрин (кубиков)
-- Размеры кубиков (кол. фактов/членов измерений)
-- Время загрузки/пересчета кубиков
-- Размер команды проектной
и т.п.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32872294
DmitryS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я вот думаю, что крупные в той или иной степени решения были у многих участников форума. у нас в том числе:-) Скажем так, в одной FMCG компании - лидере рынка. Границы проекта постепенно расширяются уже 4ый год. Так и наращиваем. О многом нельзя говорить:-) Вообще, с точки зрения очень больших проектов - тут могут быть телеком, банки, розничные сети (продуктовые в первую очередь), транспорт и госсектор. В первую очередь. Но госсектор - явление вообще специфичное, а телеком у нас во многом государственный. Вот так:-)
...
Рейтинг: 0 / 0
Внедрения DWH
    #32872914
Maxim Lvov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Коллеги, вот ссылка на описание проекта на СИТНОЛе (Мерлони): http://]www.osp.ru/os/2002/09/065.htm
...
Рейтинг: 0 / 0
Внедрения DWH
    #32872970
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, я видел эту ссылку, спасибо.

В принципе, достаточно понятно описано, что за решение, есть интересные моменты, типа интернационализации понятий, вернее - реализация двух разных методик учета (Merloni и традиционной для РФ) в рамках одного решения.

Но все-же несколько напрягают заявления: "система "задышала" через пол-года", при этом выше по тексту "разработка заняла 6 месяцев".
Не понятно, разработку признали законченной, когда система "задышала"?
И что это вообще значит - "задышала".
Трактуй как угодно, например "были загружены данные" или "получены отчеты" или "в полном объеме выполнены все работы согласно ТЗ и Заказчик принял систему". Тогда так и надо писать.

Кроме того, нельзя возводить инструмент (в данном случае DataStage) в ранг панацеи. Молоток - это всего-лишь молоток, а не "благодаря применению МОЛОТКА был построен дом". Т.е. PR составляющая присутствует, причем явно. Хотя - а где ее нет?

А в общем - нормально все, раз заказчик доволен.

ЗЫ Что-то меня понесло - извините :0)
...
Рейтинг: 0 / 0
Внедрения DWH
    #32873140
Maxim Lvov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
JimmyДа, я видел эту ссылку, спасибо.

Но все-же несколько напрягают заявления: "система "задышала" через пол-года", при этом выше по тексту "разработка заняла 6 месяцев".
Не понятно, разработку признали законченной, когда система "задышала"?
И что это вообще значит - "задышала".


Jimmy, "задышала" - это значит, что проект был сдан, хранилище загружалось согласно регламенту и отчетность доставлялась пользователям. Так уж журналисты пишут :)

JimmyКроме того, нельзя возводить инструмент (в данном случае DataStage) в ранг панацеи. Молоток - это всего-лишь молоток, а не "благодаря применению МОЛОТКА был построен дом". Т.е. PR составляющая присутствует, причем явно. Хотя - а где ее нет?

Да, верно, дом строится не только при помощи молотка, но и других инструментов. Но есть просто молоток и клещи со строительной ярмарки, а есть промышленные инструменты таких компаний как DeWalt, Black&Decker и т.п.Так вот вторыми гораздо удобнее, быстрее и профессиональнее строить дом. Так и здесь говорится о преимуществах и возможностях применения DataStage. Хотя опять же журналист, который об этом писал, может быть не очень внятно и не очень подробно это объяснила.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32873221
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Maxim Lvov

Ладно, я не пытался умалить достоинства DataStage или молотка от B&D :0))
DS - отличный инструмент, никто не спорит.

Просто выигрыш по времени от его (ETL инструмента) применения достаточно спорный.

Почему?
Потому-что разработка ETL (чистая - т.е. только создание процессов) - это не более 50%, по самым оптимистичным оценкам, затрат времени/ресурсов.
Львиная доля времени/ресурсов при разработке ETL - решение "сопутствующих проблем", как то:
-- анализ источника данных
-- отладка процессов (устранение логических ошибок)
-- работа над качеством данных, т.е. изменение правил захвата данных или правил контроля (т.к. заказчик с удивлением узнал, что у него 5000 счетов не имеют владельца, например, и что это допускает его бизнес-процесс, в то время, как при форпмировании ТЗ утверждалось обратное)
-- т.п.
Кроме того, число разаработчиков (ETL программистов) вряд-ли уменьшит.

Взглянув на разработку ETL с этой позиции выигрыш от собственно разработки поцесса не так уж и велик, а затраты на сам инструмент и его поддержку - возрастают существенно.

ИМХО, конечно.
...
Рейтинг: 0 / 0
Внедрения DWH
    #32874019
Maxim Lvov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2 Jimmy

Согласен, процесс создания непосредственно ETL-процедур занимает где-то 50% вермени, а если требования пользователей не учтены и хранилище неправильно спроектировано, то этот процесс вообще бесполезен :)

Ваш вопрос был по поводу больших проектов по созданию аналитических систем на основе хранилища данных. Так вот в этом случае, когда много источников, разнородные платформы, большие объемы данных, различные варианты загрузки (массивы и инкрементально), работает команда разработчиков (совместная разработка) и т.п. использование промышленных средств, таких как DataStage, дает значительные преимущества, как технологические и временные, так и финансовые (конечно не такие как на западе, поскольку там стоимость специалистов сильно отличается от нашей).

Не стоит так же забывать о том, что хранилище - это "живая" постоянно развивающияся система. В процессе его функицонирования появляются новые источники, меняются существующие, уходят разработчники и приходят новые, добавляются функциональные области анализа и т.п. Поэтому не только в процессе разработки, но и в процессе сопровождения применение промышленных средств дает компании значительные преимущества.

Если говорить о задачах анализа источников или профилирования, очистки и обеспечения качества данных, то здесь у Ascential есть также средства, которые входят в платформу Ascential Enterpeise Integration Suite, тесно интегрированы с DataStage на уровне метаданных, и которые также преназначены для автоматизации и ускорения этих процессов. www.tern.ru/products/ascential/eis.html
...
Рейтинг: 0 / 0
25 сообщений из 39, страница 1 из 2
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Внедрения DWH
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]