Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
Здравствуйте ! для нашей задачи планируется создать аналитический центральный сервер куда будут собираться данных с нижних уровней. Данные будут собираться где-то раз в 15 минут (у нас свой механизм репликации на XML) по 2000 строк с 10 серверов (приблизительно). Возникла идея использовать OLAP на центральном сервере (число измерений будет довольно большое > 10), но есть ряд вопросов: 1) можно ли вставлять данные програмно из JAVA. Я так понимаю для этого нужно использовать OLAP API. 2) не будет ли тормозить вставка данных в кубы, и сколько она приблизительно займет. 3) есть ли какието подводные камни, может вообще не связываться :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 12:30 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
Смущает большое число измерений. Для таких OLAP-серверов как Cognos PowerPlay или MS AS это копейки, но для Oracle 10g (реально это Oracle Express) зто многовато. Так что надо тестировать... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 14:04 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
JuriiСмущает большое число измерений. хорошо , а если мы например разобьем куб на несколько ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 14:37 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
хорошо , а если мы например разобьем куб на несколько ? Разбивать кубы хорошо, и надо стремиться, чтобы в кубе было не более 1 измерения и 1 показателя :) Только вот качество анализа от этого пострадает, и неудобно будет создавать сложные отчеты... В любом случае надо использовать OLAP не ради использования OLAP, а для решения реальных задач. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 14:46 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
Как все мы уже знаем, Oracle OLAP внедряется именно ради самого факта. Потому что Oracle - Это Круто, Unbeatable и проч! :D ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 15:04 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
2Денис Лучше именно так не делать. А зачем раз в 15 минут обновлять OLAP кубы? Нужно ведь будет и раз в 15 минут пересчитывать агрегаты, а при больших объемах это может тормозить само по себе. Из каких соображений возникла именно такая архитектура? Что вообще нужно сделать? По вопросам. 1. Можно, из явы можно запустить процедуру, написанную на DML, которая загрузит данные. 2. Будет тормозить :) Насколько будет зависит от многих факторов. 3. Есть. Их много :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 15:22 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
ГликогенКак все мы уже знаем, Oracle OLAP внедряется именно ради самого факта. Потому что Oracle - Это Круто, Unbeatable и проч! :D Ага а еще потому что унас база Oracle 9i в связке с Oracle Internet Application Server а в кластере мы используем Oracel Fail Safe . И пользуемся этой связкой уже лет 7 (начинали с Oracle 7). А в остальном , да ,конечно из-за крутизны. Партнер Oracle это же так круто звучит! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 15:48 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
Birkhoff А зачем раз в 15 минут обновлять OLAP кубы? Нужно ведь будет и раз в 15 минут пересчитывать агрегаты, а при больших объемах это может тормозить само по себе. Из каких соображений возникла именно такая архитектура? Что вообще нужно сделать? ну просто нужны отчеты с точностью до 15 минут. Наша предметная обл - работа сортировочных станций (ЖД). те всякие там вагоны , грузоперевозки итд. Плюс нужно объединять данные с разных станций и давать анализ уже по ним. У нас есть уже некоторые аналитические программы (на оперативной базе), работающие по материализованным View, но время выполнения неприемлимо - (10-15 мин). Ну вот и появилась идея выделить отдельный сервер на верху ,и собирать там данные а для хранения использовать OLAP. правда теперь появляются опасения что будет тормозить вставка...;-) читая этот форум сложилось впечатление что OLAP использовать не стоит, но с другой стороны его почему-то используют ;-) По вопросам. 1. Можно, из явы можно запустить процедуру, написанную на DML, которая загрузит данные. Сорри за мой безграмотный вопрос : 1)а при загрузке нужно ли как-то перобразовывать данные, или можно написать что то типа insert into (<изменение 1>,<изменение 2>) values (10,'12.05.04 11:00:00') ; и OLAP сам определит куда вставлять ? или нужно преобразовавыть и определять место куда вставлять данные ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 16:11 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
Denis_TST ну просто нужны отчеты с точностью до 15 минут. Наша предметная обл - работа сортировочных станций (ЖД). те всякие там вагоны , грузоперевозки итд. Плюс нужно объединять данные с разных станций и давать анализ уже по ним. У нас есть уже некоторые аналитические программы (на оперативной базе), работающие по материализованным View, но время выполнения неприемлимо - (10-15 мин). Ну вот и появилась идея выделить отдельный сервер на верху ,и собирать там данные а для хранения использовать OLAP. правда теперь появляются опасения что будет тормозить вставка...;-) Думаю, OLAP будет еще больше тормозить, так как OLAP системы строятся в основном для "отложенного во времени" анализа. А время выполнения чего неприемлимо, время рефреша мат.вью или время выполнения запроса по мат.вью? Конечно сервер выделить можно и даже наверное нужно. Возможно вам попробовать сделать решение по апдейту на основе Advanced Queing функциональности в Oracle? Когда в случае изменеие послыаются сообщения... Denis_TSTчитая этот форум сложилось впечатление что OLAP использовать не стоит, но с другой стороны его почему-то используют ;-) Все используют с разными целями и вразных условиях Denis_TSTСорри за мой безграмотный вопрос : 1)а при загрузке нужно ли как-то перобразовывать данные, или можно написать что то типа insert into (<изменение 1>,<изменение 2>) values (10,'12.05.04 11:00:00') ; и OLAP сам определит куда вставлять ? или нужно преобразовавыть и определять место куда вставлять данные ? Там достаточно развитый язык, можно сделать и так и так. Но мне кажется, что для такого Real-Time анализа OLAP это не то, что вам нужно. Может быть оптимизировать структуру мат.вью? Или еще как-то. Это сложный вопрос, навскидку не решить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 16:23 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
Думаю, OLAP будет еще больше тормозить, так как OLAP системы строятся в основном для "отложенного во времени" анализа. А время выполнения чего неприемлимо, время рефреша мат.вью или время выполнения запроса по мат.вью? время выполнения запроса . Конечно сервер выделить можно и даже наверное нужно. Возможно вам попробовать сделать решение по апдейту на основе Advanced Queing функциональности в Oracle? Когда в случае изменеие послыаются сообщения... Это мы смотрели , есть такая штука как Oracle Stream которая читает изменеия из логов Oracle и умеет передавать их через очереди. Так можно построить свою репликацию итд. Но эта технология пока сырая, собственно поэтому мы написали свою репликацию на JAVA. поэтому проблем с передачей данных на центральный сервер нет. Но мне кажется, что для такого Real-Time анализа OLAP это не то, что вам нужно. Может быть оптимизировать структуру мат.вью? Или еще как-то. Это сложный вопрос, навскидку не решить. спасибо , похоже что то проясняется... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 16:42 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
Думаю, OLAP будет еще больше тормозить, так как OLAP системы строятся в основном для "отложенного во времени" анализа. хорошо , 15 минут это часто, а какие тогда используются обычно времнные интревалы для обновления данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 16:51 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
2Денис А пример запроса можете показать, того что тормозит? Может быть можно мат.вью разбить на несколько, например? Если чтение по матвью долгое? Сложно сказать какой период оптимальный - у всех свой опыт. Но обычно, это хотя бы несколько часов или даже дней. Либо вообще апдейт по требованию. Хотя если использовать ROLAP, то ему в общем все равно как часто обновляются таблицы, но это практически то, что вы сейчас имеете. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 17:16 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
To Denis_TST: Ага а еще потому что унас база Oracle 9i в связке с Oracle Internet Application Server а в кластере мы используем Oracel Fail Safe . И пользуемся этой связкой уже лет 7 (начинали с Oracle 7). Думаю, OLAP будет еще больше тормозить, так как OLAP системы строятся в основном для "отложенного во времени" анализа читая этот форум сложилось впечатление что OLAP использовать не стоит, но с другой стороны его почему-то используют ;-) Я бы Вам посоветовал не зацикливаться на брэнде Oracle. Например, хорошая ли идея не только построить коттедж из кирпича, но и мебель сделать из кирпича, и сантехнику иметь кирпичную, и посуду, и клавиатуру для компьютера из маленьких кирпичиков? :) Я например считаю, что лучшая операционная система - MS Windows, лучшие электронные таблицы - MS Excel, лучшая СУБД - Oracle, лучший OLAP - Cognos PowerPlay. Очень многие компании, у которых хранилище или учетная система многие годы работает на Оракле, используют OLAP-решение от Cognos. Поскольку Cognos имеет прямой драйвер к СУБД Oracle, подкачивать каждые 15 минут новые данные - вполне реально. Если есть желание - можно провести тест на Ваших реальных данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 17:36 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
2Jurii Что-то мне подсказывает, что все у них не так просто... :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 17:46 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
JuriiОчень многие компании, у которых хранилище или учетная система многие годы работает на Оракле, используют OLAP-решение от Cognos. Многие это сколько? А списочек можно увидеть хотя бы десяточек? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 17:48 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
To Birkhoff: Что-то мне подсказывает, что все у них не так просто... :) Если почитать этот постинг, то становится обидно за OLAP. Объемы данных то совсем маленькие. Получается что мы судим обо всех OLAP-серверах исходя из функциональности далеко не самого мощного OLAP-сервера Oracle 10g... Это как если посмотреть, как школьники бегают 100-метровую дистанцию и сделать вывод, что чемпионы России тоже медленно бегают. Многие это сколько? А списочек можно увидеть хотя бы десяточек? Списочек увидеть можно, но не в открытом доступе. Если интересно - пишите мне на мыло. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 17:58 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
JuriiСмущает большое число измерений. Для таких OLAP-серверов как Cognos PowerPlay или MS AS это копейки, но для Oracle 10g (реально это Oracle Express) зто многовато. Так что надо тестировать... А у Oracle с этим проблемы ? С чем это связано ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 18:06 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
JuriiЕсли почитать этот постинг, то становится обидно за OLAP. Объемы данных то совсем маленькие. Получается что мы судим обо всех OLAP-серверах исходя из функциональности далеко не самого мощного OLAP-сервера Oracle 10g... Это как если посмотреть, как школьники бегают 100-метровую дистанцию и сделать вывод, что чемпионы России тоже медленно бегают. Если почитать этот постинг, становится ничего не ясно. Судя по постингу у них прирост 2000х10х96=1920000 записей в сутки, что не так уж и мало. С другой стороны непонятно, какие именно запросы тормозят и может ли им помочь в этом OLAP вообще и 10g в частности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 18:10 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
to Jurii Вы в каждом топике утверждаете, что Cognos PowerPlay - лучший продукт, а все остальные продукты это дворовый уровень (уровень школьников по сравнению с чемпионом). Объяните мне пожайлуста, тогда почему у вас сайт http://cognos.narod.ru а не www.cognos.ru? А понял - Бесплатный хостинг - более сотвествует мировому уровню Вашего продукта. На мой взгляд Вы оказываете своему продукту медвежию услугу ... Так как хороший товар в рекламе не нуждается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2004, 19:03 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
To Осирис: А у Oracle с этим проблемы ? С чем это связано ? Думаю это связано с тем, что OLAP-движок Oracle (Oracle Express) был разработан очень давно, и многое в нем принципиально не изменилось. Поэтому по мощности он отстал от более современных Cognos PowerPlay и MS AS. Другая причина - в том что Oracle Express позволяет создавать с помощью программирования модели со сложной внутренней логикой, а за это надо платить - количество ячеек куба не должно быть слишком большим (отсюда и ограничение по числу измерений). Так же точно ситуация обстоит и с OLAP-сервером Cognos Planning (аналог Oracle Express). To Birkhoff: Если почитать этот постинг, становится ничего не ясно. Судя по постингу у них прирост 2000х10х96=1920000 записей в сутки, что не так уж и мало. раз в 15 минут по 2000 строк с 10 серверов Думаю надо это уточнить у автора дискуссии - 2000 строк за 15 минут, или 2000 строк с каждого сервера. Ну даже если 20 тысяч строк каждые 15 минут - то инкрементальная подкачка должна делаться за секунды (по крайней мере в PowerPlay это можно сделать, в MS AS тоже наверняка можно). С другой стороны непонятно, какие именно запросы тормозят и может ли им помочь в этом OLAP вообще Это тоже интересный вопрос. Но думаю если у автора дискуссии такой большой опыт с РСУБД, и ему не удается оптимизировать SQL-запросы, то OLAP - это его последняя надежда :) To НЕТ РЕКЛАМЕ!!!: Вы в каждом топике утверждаете, что Cognos PowerPlay - лучший продукт, а все остальные продукты это дворовый уровень Не приведете ссылочки на эти топики, что-то не припомню за собой такого... Что касается очевидного превосходства PowerPlay над некоторыми другими продуктами для решения некоторых задач - это да, есть такие реальные факты. По интегрированному показателю эксперты ставят PowerPlay на первое место. Но есть и области, где PowerPlay не самый сильный. Объяните мне пожайлуста, тогда почему у вас сайт http://cognos.narod.ru а не www.cognos.ru? А понял - Бесплатный хостинг Мой сайт не является корпоративным, я создал его как независимый профессионал, чтобы сделать Cognos ближе к народу. Любой человек может туда зайти, задать любой вопрос. А что касается сайта www.cognos.ru - то этот сайт принадлежал одному из нескольких российских партнеров корпорации Cognos, этот партнер недавно объявил о прекращении своей деятельности, так что сейчас вопрос насчет этого сайта пока не решен. На мой взгляд Вы оказываете своему продукту медвежию услугу ... Так как хороший товар в рекламе не нуждается. Я согласен, Cognos в рекламе не нуждается, поэтому его почти не рекламируют (я только 1 раз в жизни видел рекламу Cognos в одном из журналов). На этом форуме Cognos не рекламируется, я просто упоминаю этот OLAP-продукт чтобы обсудить его плюсы и минусы, иногда мои постинги немного провокационны :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2004, 10:03 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
2НЕТ РЕКЛАМЕ Да, от постингов Юрия уже тошнит... Пусть даже Когнос - неплохой продукт, но благодаря Юрию, у меня лично он вызывает стойкое отвращение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2004, 10:05 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
To Guestt & НЕТ РЕКЛАМЕ: Господа, если уж хотите сохранить анонимность, берите пример с г-на Гликогена - он хоть не скрывает, в какой компании работает :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2004, 10:11 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
Как же так? JuriiНо есть и области, где PowerPlay не самый сильный. Юрий, если не секрет, какие? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2004, 11:11 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
2Jurii А у Oracle с этим проблемы ? С чем это связано ? Думаю это связано с тем, что OLAP-движок Oracle (Oracle Express) был разработан очень давно, и многое в нем принципиально не изменилось. Поэтому по мощности он отстал от более современных Cognos PowerPlay и MS AS. Другая причина - в том что Oracle Express позволяет создавать с помощью программирования модели со сложной внутренней логикой, а за это надо платить - количество ячеек куба не должно быть слишком большим (отсюда и ограничение по числу измерений). Так же точно ситуация обстоит и с OLAP-сервером Cognos Planning (аналог Oracle Express). Ну с первой причиной еще можно согласиться. И то далеко не вовсех случаях, а только там где много измерений (больше 10) и одновременно большое количество агрегатов. А вторая причина - ерунда, так как если куб в Экспрессе обсчитан и работает, то обсчет любых моделей или формул по нему тормозить не будет. Плюс добавлю, что в 10g появилось партиционирование кубов (я правда не проверял пока как оно работает), но в по идее, если разбить на партиции по дням, то обновляться будет только микроскопический кубик за один день. Инкрментальная загрузка в Express проходит тоже быстро, тем более что в Express возможно обновить конкретную точечную ячейку куба, а не обновлять весь куб. Поэтому если у вас нет после обновления пересчетов агрегатов, то работать будет все очень быстро. А если пересчет есть - то все зависит от дизайна. В общем надо смотреть на то, что за проблемы и что тормозит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2004, 11:25 |
|
||
|
программная загрузка данных в кубы Oracle 10g
|
|||
|---|---|---|---|
|
#18+
To Birkhoff: а только там где много измерений (больше 10) и одновременно большое количество агрегатов При большом количестве измерений, да еще если учитывать специфику железнодорожников, агрегатов не может быть мало... но в по идее, если разбить на партиции по дням, то обновляться будет только микроскопический кубик за один день. Думаю не все так просто - данные будут писаться в маленький кубик, но агрегаты будут пересчитываться с учетом всех партиций. Поэтому если у вас нет после обновления пересчетов агрегатов, то работать будет все очень быстро. А если пересчет есть - то все зависит от дизайна. После обновления куба агрегаты должны пересчитываться, иначе это будет не куб, а таблица РСУБД, в которую заинсертили новые записи. To WTF: Но есть и области, где PowerPlay не самый сильный. Юрий, если не секрет, какие? Ну например PowerPlay не позволяет вводить данные в ячейку куба, чтобы динамически все распределялось и пересчитывались производные кубы. К счастью, для этих задач у Cognos есть второй OLAP-сервер - Cognos Planning... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.08.2004, 11:47 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=32647505&tid=1872331]: |
0ms |
get settings: |
6ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
31ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
36ms |
get tp. blocked users: |
1ms |
| others: | 249ms |
| total: | 342ms |

| 0 / 0 |
