Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Коллеги, Наверное, не одному мне интересно узнать, какие действительно крупные решения на основе DWH были реализованы у нас в Росии. Поэтому, если вам известны ссылки на подобного рода материалы ( типа такой ) - поделитесь пожалуйста. Спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 09:34 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Мне кажется, по приведенной ссылке попадаешь не на описание ХД, а на описание старта ХД - использована только одна предметная область. В-общем это витрина. Не более. Мы делали проект в Юнилевер. По решаемым задачам, источникам данных и охвату предметных областей - это ХД. Кстати, этап от витрины для финансистов до ХД занял около года. Вот линк (с ТТХ ХД): www.bipartner.ru/projects/uni.html Внизу страницы есть еще ссылка на статью по проекту в Intelligent Enterprise/RE. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 12:28 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
JimmyКоллеги, Наверное, не одному мне интересно узнать, какие действительно крупные решения на основе DWH были реализованы у нас в Росии. Поэтому, если вам известны ссылки на подобного рода материалы ( типа такой ) - поделитесь пожалуйста. Спасибо. Господа, а что вы называете крупным проектом. По какому параметру крупный? Объём данных, количество источников, количество измерений, метрик...? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 13:47 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Измеряеться в k$ or M$... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 14:47 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Виктор Сакович Господа, а что вы называете крупным проектом. По какому параметру крупный? Объём данных, количество источников, количество измерений, метрик...? Правильный вопрос! Крупный - более одного источника данных, несколько витрин на базе интегрированных данных, объемы данных от 10Gb. Наверное - более-менее объективный критерий. 2 Шурыгин Сергей Спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 17:22 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
2 Шурыгин Сергей А 15 источников - это 15 OLTP систем, или 15 таблиц? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 17:29 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Jimmy, за что же вы нас так? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 18:32 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Что-то странно ;) У меня десяток источников данных, есть витрины (на основе единого хранилища), объем хранилища приближается к 30 Гб (и, поверьте, не потому что DW спроектировано неправильно:), порядка 40 кубов, но я совсем не считаю это хранилище крупным. И поддерживаю я все это в гордом одиночестве. Че ж тут крупного? :-)) Неее, 10 Гб - это несерьезно! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 18:48 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Вот здесь есть подборка проектов по DWH http://www.olap.ru/best/home.asp ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 20:57 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
О-о-о... olap.ru уже почини - das ist gut. Особенно умиляет "новость" за май 2003... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2005, 21:19 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Умиляет и Sybase и BIpartner. Первый тем что ничего не говорит о проекте, а Sybase как база в Пробизнесбанке давным-давно, наверно почти бесплатно, а о том что говорилось людьми из Sybase на конференции о своих решения готовых - тоже ни слова. А значится у нас не востребовано !!! Клевый был доклад ... Второй - маленькое получилось хранилище и кто там кем руководил не понятно а кто же собственно делал ХД непонятно. Типа все руководили и KPMG и BIpartner. Гык ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 00:21 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Шургин СергейВот линк (с ТТХ ХД): www.bipartner.ru/projects/uni.html Внизу страницы есть еще ссылка на статью по проекту в Intelligent Enterprise/RE. Порадовала в статье самая последняя фраза Время ежедневной загрузки – 4.5 часа, из которых 3 часа - выгрузка данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 08:06 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
ГыкУмиляет и Sybase и BIpartner. Второй - маленькое получилось хранилище и кто там кем руководил не понятно а кто же собственно делал ХД непонятно. Типа все руководили и KPMG и BIpartner. Да, хранилище по объему невелико. Но это именно ХД по охвату задач и функционалу. Так что, ИМХО, ничего умилительного здесь нет. Умилительным было бы хранилище в 1Тб, состоящее из 3 таблиц, построенное на одном источнике, без отслеживания SCD, и, самое главное, не приносящее никакой пользы :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 13:10 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
по всей видимости большие по объему данных ХД могут у нас иметь только телекоммуникационные компании и крупные ритейлеры (сюда можно отнести торговые сети, страховщиков, банки наверное нет). В Билайне сейчас только идет проект. Это ведущая компания отрасли, которая всегда впереди. Поэтому разумно предположить, что действительно групных ХД пока просто нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 13:21 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Alexander StoulovJimmy, за что же вы нас так? Александр, не корысти ради, токмо во имя истины! :0)) Серьезно - просто хотел однозначности. PS Коллеги, прошу не "мериться пиписьками", типа "у кого ХД больше". Вопрос был задан потому, что есть необходимость понять состояние рынка ХД в России, именно в плане достаточно масштабных коммерческих проектов. Это - один из аспектов, формирующих представление. Ни больше, ни меньше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 13:46 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
2 Jimmy: какие действительно крупные решения на основе DWH были реализованы у нас в Росии. Я недавно завершил проект по созданию хранилища данных для энергетической компании. Длительность проекта была около 5 месяцев. В качестве СУБД - MS SQL Server. Задача состояла в том чтобы закачать в единую базу данных большое количество неструктурированных файлов Excel, отслеживать при закачке имеются ли в справочниках НСИ закачиваемые значения их полей Excel - если не имеются - позволять добавлять новые значения или создавать синонимы (например к городу Санкт-Петербург привязать синонимы Спб, СПб, Петербург, Питер и т.п.). Также нужно было поддерживать версионность данных, позволять редактировать закаченные данные Excel в первоначальном виде (закачали неструктурированный файл - положили в структурированную таблицу данные - но корректируем опять таки неструктурированный файл к которому привык пользователь и потом пересохраняем в текущую или в новую версию данных). Далее поверх хранилища был настроен Cognos OLAP/BI для создания отчетов и проведения анализа данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 19:55 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Шургин Сергейпо всей видимости большие по объему данных ХД могут у нас иметь только телекоммуникационные компании и крупные ритейлеры (сюда можно отнести торговые сети, страховщиков, банки наверное нет). В Билайне сейчас только идет проект. Это ведущая компания отрасли, которая всегда впереди. Поэтому разумно предположить, что действительно групных ХД пока просто нет. Не знаю как в России а у нас на Украине как раз банки и идут впереди. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 21:13 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
just_me Не знаю как в России а у нас на Украине как раз банки и идут впереди В это достаточно трудно поверить. Банки в наших странах довольно консервативны. В розницу идут слабо. А основная задача для хранилища в банке - это работа с розничными клиентами (CRM и прочие интересные вещи). Вы бы рассказали немного об успешных проектах в банках. Про банк Аваль, например. Это, вроде бы, довольно большой банк. А в телекоме и у вас на Украине тоже проекты идут (по крайней мере, мне известно о паре таковых). Кстати, это не Вы, случайно, на моей презентации в Киеве в конце прошлого года присутствовали? С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2005, 23:48 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Jurii2 Jimmy: какие действительно крупные решения на основе DWH были реализованы у нас в Росии. Я недавно завершил проект по созданию хранилища данных для энергетической компании. Длительность проекта была около 5 месяцев. В качестве СУБД - MS SQL Server. Задача состояла в том чтобы закачать в единую базу данных большое количество неструктурированных файлов Excel, отслеживать при закачке имеются ли в справочниках НСИ закачиваемые значения их полей Excel - если не имеются - позволять добавлять новые значения или создавать синонимы (например к городу Санкт-Петербург привязать синонимы Спб, СПб, Петербург, Питер и т.п.). Также нужно было поддерживать версионность данных, позволять редактировать закаченные данные Excel в первоначальном виде (закачали неструктурированный файл - положили в структурированную таблицу данные - но корректируем опять таки неструктурированный файл к которому привык пользователь и потом пересохраняем в текущую или в новую версию данных). Далее поверх хранилища был настроен Cognos OLAP/BI для создания отчетов и проведения анализа данных. А можно ТТХ проекта расписать подробнее: -- Компания -- Цели создания ХД -- Количество источников -- Количество витрин (кубиков) -- Размеры кубиков (кол. фактов/членов измерений) -- Время загрузки/пересчета кубиков -- Размер команды проектной и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2005, 10:02 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Я вот думаю, что крупные в той или иной степени решения были у многих участников форума. у нас в том числе:-) Скажем так, в одной FMCG компании - лидере рынка. Границы проекта постепенно расширяются уже 4ый год. Так и наращиваем. О многом нельзя говорить:-) Вообще, с точки зрения очень больших проектов - тут могут быть телеком, банки, розничные сети (продуктовые в первую очередь), транспорт и госсектор. В первую очередь. Но госсектор - явление вообще специфичное, а телеком у нас во многом государственный. Вот так:-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2005, 13:39 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Коллеги, вот ссылка на описание проекта на СИТНОЛе (Мерлони): http://]www.osp.ru/os/2002/09/065.htm ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2005, 16:41 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
Да, я видел эту ссылку, спасибо. В принципе, достаточно понятно описано, что за решение, есть интересные моменты, типа интернационализации понятий, вернее - реализация двух разных методик учета (Merloni и традиционной для РФ) в рамках одного решения. Но все-же несколько напрягают заявления: "система "задышала" через пол-года", при этом выше по тексту "разработка заняла 6 месяцев". Не понятно, разработку признали законченной, когда система "задышала"? И что это вообще значит - "задышала". Трактуй как угодно, например "были загружены данные" или "получены отчеты" или "в полном объеме выполнены все работы согласно ТЗ и Заказчик принял систему". Тогда так и надо писать. Кроме того, нельзя возводить инструмент (в данном случае DataStage) в ранг панацеи. Молоток - это всего-лишь молоток, а не "благодаря применению МОЛОТКА был построен дом". Т.е. PR составляющая присутствует, причем явно. Хотя - а где ее нет? А в общем - нормально все, раз заказчик доволен. ЗЫ Что-то меня понесло - извините :0) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2005, 16:59 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
JimmyДа, я видел эту ссылку, спасибо. Но все-же несколько напрягают заявления: "система "задышала" через пол-года", при этом выше по тексту "разработка заняла 6 месяцев". Не понятно, разработку признали законченной, когда система "задышала"? И что это вообще значит - "задышала". Jimmy, "задышала" - это значит, что проект был сдан, хранилище загружалось согласно регламенту и отчетность доставлялась пользователям. Так уж журналисты пишут :) JimmyКроме того, нельзя возводить инструмент (в данном случае DataStage) в ранг панацеи. Молоток - это всего-лишь молоток, а не "благодаря применению МОЛОТКА был построен дом". Т.е. PR составляющая присутствует, причем явно. Хотя - а где ее нет? Да, верно, дом строится не только при помощи молотка, но и других инструментов. Но есть просто молоток и клещи со строительной ярмарки, а есть промышленные инструменты таких компаний как DeWalt, Black&Decker и т.п.Так вот вторыми гораздо удобнее, быстрее и профессиональнее строить дом. Так и здесь говорится о преимуществах и возможностях применения DataStage. Хотя опять же журналист, который об этом писал, может быть не очень внятно и не очень подробно это объяснила. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2005, 18:01 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
2 Maxim Lvov Ладно, я не пытался умалить достоинства DataStage или молотка от B&D :0)) DS - отличный инструмент, никто не спорит. Просто выигрыш по времени от его (ETL инструмента) применения достаточно спорный. Почему? Потому-что разработка ETL (чистая - т.е. только создание процессов) - это не более 50%, по самым оптимистичным оценкам, затрат времени/ресурсов. Львиная доля времени/ресурсов при разработке ETL - решение "сопутствующих проблем", как то: -- анализ источника данных -- отладка процессов (устранение логических ошибок) -- работа над качеством данных, т.е. изменение правил захвата данных или правил контроля (т.к. заказчик с удивлением узнал, что у него 5000 счетов не имеют владельца, например, и что это допускает его бизнес-процесс, в то время, как при форпмировании ТЗ утверждалось обратное) -- т.п. Кроме того, число разаработчиков (ETL программистов) вряд-ли уменьшит. Взглянув на разработку ETL с этой позиции выигрыш от собственно разработки поцесса не так уж и велик, а затраты на сам инструмент и его поддержку - возрастают существенно. ИМХО, конечно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2005, 18:29 |
|
||
|
Внедрения DWH
|
|||
|---|---|---|---|
|
#18+
2 Jimmy Согласен, процесс создания непосредственно ETL-процедур занимает где-то 50% вермени, а если требования пользователей не учтены и хранилище неправильно спроектировано, то этот процесс вообще бесполезен :) Ваш вопрос был по поводу больших проектов по созданию аналитических систем на основе хранилища данных. Так вот в этом случае, когда много источников, разнородные платформы, большие объемы данных, различные варианты загрузки (массивы и инкрементально), работает команда разработчиков (совместная разработка) и т.п. использование промышленных средств, таких как DataStage, дает значительные преимущества, как технологические и временные, так и финансовые (конечно не такие как на западе, поскольку там стоимость специалистов сильно отличается от нашей). Не стоит так же забывать о том, что хранилище - это "живая" постоянно развивающияся система. В процессе его функицонирования появляются новые источники, меняются существующие, уходят разработчники и приходят новые, добавляются функциональные области анализа и т.п. Поэтому не только в процессе разработки, но и в процессе сопровождения применение промышленных средств дает компании значительные преимущества. Если говорить о задачах анализа источников или профилирования, очистки и обеспечения качества данных, то здесь у Ascential есть также средства, которые входят в платформу Ascential Enterpeise Integration Suite, тесно интегрированы с DataStage на уровне метаданных, и которые также преназначены для автоматизации и ускорения этих процессов. www.tern.ru/products/ascential/eis.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.01.2005, 11:04 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=32869930&tid=1871644]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
54ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
1ms |
| others: | 236ms |
| total: | 381ms |

| 0 / 0 |
