powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / программная загрузка данных в кубы Oracle 10g
50 сообщений из 50, показаны все 2 страниц
программная загрузка данных в кубы Oracle 10g
    #32646333
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Здравствуйте !

для нашей задачи планируется создать аналитический центральный сервер
куда будут собираться данных с нижних уровней. Данные будут собираться
где-то раз в 15 минут (у нас свой механизм репликации на XML) по 2000 строк с 10 серверов (приблизительно).

Возникла идея использовать OLAP на центральном сервере (число измерений будет довольно большое > 10), но есть ряд вопросов:

1) можно ли вставлять данные програмно из JAVA. Я так понимаю для этого нужно использовать OLAP API.

2) не будет ли тормозить вставка данных в кубы, и сколько она приблизительно займет.

3) есть ли какието подводные камни, может вообще не связываться :-)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32646667
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Смущает большое число измерений. Для таких OLAP-серверов как Cognos PowerPlay или MS AS это копейки, но для Oracle 10g (реально это Oracle Express) зто многовато. Так что надо тестировать...
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32646794
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiСмущает большое число измерений.
хорошо , а если мы например разобьем куб на несколько ?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32646826
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо , а если мы например разобьем куб на несколько ?

Разбивать кубы хорошо, и надо стремиться, чтобы в кубе было не более 1 измерения и 1 показателя :) Только вот качество анализа от этого пострадает, и неудобно будет создавать сложные отчеты...
В любом случае надо использовать OLAP не ради использования OLAP, а для решения реальных задач.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32646910
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как все мы уже знаем, Oracle OLAP внедряется именно ради самого факта. Потому что Oracle - Это Круто, Unbeatable и проч! :D
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32646965
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Денис

Лучше именно так не делать.
А зачем раз в 15 минут обновлять OLAP кубы?
Нужно ведь будет и раз в 15 минут пересчитывать агрегаты, а при больших объемах это может тормозить само по себе.
Из каких соображений возникла именно такая архитектура?
Что вообще нужно сделать?

По вопросам.
1. Можно, из явы можно запустить процедуру, написанную на DML, которая загрузит данные.
2. Будет тормозить :) Насколько будет зависит от многих факторов.
3. Есть. Их много :)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647064
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ГликогенКак все мы уже знаем, Oracle OLAP внедряется именно ради самого факта. Потому что Oracle - Это Круто, Unbeatable и проч! :D

Ага а еще потому что унас база Oracle 9i в связке с Oracle Internet Application Server а в кластере мы используем Oracel Fail Safe . И пользуемся этой связкой уже лет 7 (начинали с Oracle 7).

А в остальном , да ,конечно из-за крутизны. Партнер Oracle это же так круто звучит!
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647148
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Birkhoff
А зачем раз в 15 минут обновлять OLAP кубы?
Нужно ведь будет и раз в 15 минут пересчитывать агрегаты, а при больших объемах
это может тормозить само по себе.
Из каких соображений возникла именно такая архитектура?
Что вообще нужно сделать?



ну просто нужны отчеты с точностью до 15 минут. Наша предметная обл - работа сортировочных станций (ЖД). те всякие там вагоны , грузоперевозки итд. Плюс нужно объединять данные с разных станций и давать анализ уже по ним.
У нас есть уже некоторые аналитические программы (на оперативной базе), работающие по материализованным View, но время выполнения неприемлимо -
(10-15 мин). Ну вот и появилась идея выделить отдельный сервер на верху ,и собирать там данные а для хранения использовать OLAP. правда теперь появляются опасения что будет тормозить вставка...;-)


читая этот форум сложилось впечатление что OLAP использовать не стоит, но
с другой стороны его почему-то используют ;-)


По вопросам.
1. Можно, из явы можно запустить процедуру, написанную на DML, которая загрузит данные.

Сорри за мой безграмотный вопрос :
1)а при загрузке нужно ли как-то перобразовывать данные, или можно написать
что то типа

insert into (<изменение 1>,<изменение 2>)
values (10,'12.05.04 11:00:00') ;


и OLAP сам определит куда вставлять ? или нужно преобразовавыть и определять место куда вставлять данные ?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647187
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Denis_TST ну просто нужны отчеты с точностью до 15 минут. Наша предметная обл - работа сортировочных станций (ЖД). те всякие там вагоны , грузоперевозки итд. Плюс нужно объединять данные с разных станций и давать анализ уже по ним.
У нас есть уже некоторые аналитические программы (на оперативной базе), работающие по материализованным View, но время выполнения неприемлимо -
(10-15 мин). Ну вот и появилась идея выделить отдельный сервер на верху ,и собирать там данные а для хранения использовать OLAP. правда теперь появляются опасения что будет тормозить вставка...;-)

Думаю, OLAP будет еще больше тормозить, так как OLAP системы строятся в основном для "отложенного во времени" анализа.
А время выполнения чего неприемлимо, время рефреша мат.вью или время выполнения запроса по мат.вью?
Конечно сервер выделить можно и даже наверное нужно. Возможно вам попробовать сделать решение по апдейту на основе Advanced Queing функциональности в Oracle? Когда в случае изменеие послыаются сообщения...

Denis_TSTчитая этот форум сложилось впечатление что OLAP использовать не стоит, но
с другой стороны его почему-то используют ;-)

Все используют с разными целями и вразных условиях

Denis_TSTСорри за мой безграмотный вопрос :
1)а при загрузке нужно ли как-то перобразовывать данные, или можно написать
что то типа

insert into (<изменение 1>,<изменение 2>)
values (10,'12.05.04 11:00:00') ;


и OLAP сам определит куда вставлять ? или нужно преобразовавыть и определять место куда вставлять данные ?
Там достаточно развитый язык, можно сделать и так и так.
Но мне кажется, что для такого Real-Time анализа OLAP это не то, что вам нужно. Может быть оптимизировать структуру мат.вью? Или еще как-то.
Это сложный вопрос, навскидку не решить.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647261
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Думаю, OLAP будет еще больше тормозить, так как OLAP системы строятся в основном для "отложенного во времени" анализа.
А время выполнения чего неприемлимо, время рефреша мат.вью или время выполнения запроса по мат.вью?

время выполнения запроса .


Конечно сервер выделить можно и даже наверное нужно. Возможно вам попробовать сделать решение по апдейту на основе Advanced Queing функциональности в Oracle? Когда в случае изменеие послыаются сообщения...

Это мы смотрели , есть такая штука как Oracle Stream которая читает изменеия из логов Oracle и умеет передавать их через очереди. Так можно построить свою репликацию итд. Но эта технология пока сырая, собственно поэтому мы написали свою репликацию на JAVA. поэтому проблем с передачей данных на центральный сервер нет.


Но мне кажется, что для такого Real-Time анализа OLAP это не то, что вам нужно. Может быть оптимизировать структуру мат.вью? Или еще как-то.
Это сложный вопрос, навскидку не решить.

спасибо , похоже что то проясняется...
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647280
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Думаю, OLAP будет еще больше тормозить, так как OLAP системы строятся в основном для "отложенного во времени" анализа.


хорошо , 15 минут это часто, а какие тогда используются обычно времнные интревалы для обновления данных?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647369
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Денис

А пример запроса можете показать, того что тормозит?
Может быть можно мат.вью разбить на несколько, например?
Если чтение по матвью долгое?

Сложно сказать какой период оптимальный - у всех свой опыт.
Но обычно, это хотя бы несколько часов или даже дней.
Либо вообще апдейт по требованию.
Хотя если использовать ROLAP, то ему в общем все равно как часто обновляются таблицы, но это практически то, что вы сейчас имеете.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647444
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Denis_TST:

Ага а еще потому что унас база Oracle 9i в связке с Oracle Internet Application Server а в кластере мы используем Oracel Fail Safe . И пользуемся этой связкой уже лет 7 (начинали с Oracle 7).
Думаю, OLAP будет еще больше тормозить, так как OLAP системы строятся в основном для "отложенного во времени" анализа
читая этот форум сложилось впечатление что OLAP использовать не стоит, но
с другой стороны его почему-то используют ;-)


Я бы Вам посоветовал не зацикливаться на брэнде Oracle. Например, хорошая ли идея не только построить коттедж из кирпича, но и мебель сделать из кирпича, и сантехнику иметь кирпичную, и посуду, и клавиатуру для компьютера из маленьких кирпичиков? :) Я например считаю, что лучшая операционная система - MS Windows, лучшие электронные таблицы - MS Excel, лучшая СУБД - Oracle, лучший OLAP - Cognos PowerPlay. Очень многие компании, у которых хранилище или учетная система многие годы работает на Оракле, используют OLAP-решение от Cognos.
Поскольку Cognos имеет прямой драйвер к СУБД Oracle, подкачивать каждые 15 минут новые данные - вполне реально. Если есть желание - можно провести тест на Ваших реальных данных.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647468
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Jurii

Что-то мне подсказывает, что все у них не так просто... :)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647477
JuriiОчень многие компании, у которых хранилище или учетная система многие годы работает на Оракле, используют OLAP-решение от Cognos.


Многие это сколько?
А списочек можно увидеть хотя бы десяточек?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647505
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Birkhoff:

Что-то мне подсказывает, что все у них не так просто... :)

Если почитать этот постинг, то становится обидно за OLAP. Объемы данных то совсем маленькие. Получается что мы судим обо всех OLAP-серверах исходя из функциональности далеко не самого мощного OLAP-сервера Oracle 10g... Это как если посмотреть, как школьники бегают 100-метровую дистанцию и сделать вывод, что чемпионы России тоже медленно бегают.

Многие это сколько?
А списочек можно увидеть хотя бы десяточек?


Списочек увидеть можно, но не в открытом доступе. Если интересно - пишите мне на мыло.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647522
Осирис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiСмущает большое число измерений. Для таких OLAP-серверов как Cognos PowerPlay или MS AS это копейки, но для Oracle 10g (реально это Oracle Express) зто многовато. Так что надо тестировать...

А у Oracle с этим проблемы ? С чем это связано ?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647532
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiЕсли почитать этот постинг, то становится обидно за OLAP. Объемы данных то совсем маленькие. Получается что мы судим обо всех OLAP-серверах исходя из функциональности далеко не самого мощного OLAP-сервера Oracle 10g... Это как если посмотреть, как школьники бегают 100-метровую дистанцию и сделать вывод, что чемпионы России тоже медленно бегают.


Если почитать этот постинг, становится ничего не ясно.
Судя по постингу у них прирост 2000х10х96=1920000 записей в сутки, что не так уж и мало.
С другой стороны непонятно, какие именно запросы тормозят и может ли им помочь в этом OLAP вообще и 10g в частности.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32647603
to Jurii

Вы в каждом топике утверждаете, что Cognos PowerPlay - лучший продукт, а все остальные продукты это дворовый уровень (уровень школьников по сравнению с чемпионом).

Объяните мне пожайлуста, тогда почему у вас сайт http://cognos.narod.ru а не www.cognos.ru? А понял - Бесплатный хостинг - более сотвествует мировому уровню Вашего продукта.

На мой взгляд Вы оказываете своему продукту медвежию услугу ...

Так как хороший товар в рекламе не нуждается.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648028
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Осирис:

А у Oracle с этим проблемы ? С чем это связано ?

Думаю это связано с тем, что OLAP-движок Oracle (Oracle Express) был разработан очень давно, и многое в нем принципиально не изменилось. Поэтому по мощности он отстал от более современных Cognos PowerPlay и MS AS.
Другая причина - в том что Oracle Express позволяет создавать с помощью программирования модели со сложной внутренней логикой, а за это надо платить - количество ячеек куба не должно быть слишком большим (отсюда и ограничение по числу измерений). Так же точно ситуация обстоит и с OLAP-сервером Cognos Planning (аналог Oracle Express).

To Birkhoff:

Если почитать этот постинг, становится ничего не ясно.
Судя по постингу у них прирост 2000х10х96=1920000 записей в сутки, что не так уж и мало.

раз в 15 минут по 2000 строк с 10 серверов

Думаю надо это уточнить у автора дискуссии - 2000 строк за 15 минут, или 2000 строк с каждого сервера. Ну даже если 20 тысяч строк каждые 15 минут - то инкрементальная подкачка должна делаться за секунды (по крайней мере в PowerPlay это можно сделать, в MS AS тоже наверняка можно).

С другой стороны непонятно, какие именно запросы тормозят и может ли им помочь в этом OLAP вообще

Это тоже интересный вопрос. Но думаю если у автора дискуссии такой большой опыт с РСУБД, и ему не удается оптимизировать SQL-запросы, то OLAP - это его последняя надежда :)

To НЕТ РЕКЛАМЕ!!!:

Вы в каждом топике утверждаете, что Cognos PowerPlay - лучший продукт, а все остальные продукты это дворовый уровень

Не приведете ссылочки на эти топики, что-то не припомню за собой такого... Что касается очевидного превосходства PowerPlay над некоторыми другими продуктами для решения некоторых задач - это да, есть такие реальные факты. По интегрированному показателю эксперты ставят PowerPlay на первое место. Но есть и области, где PowerPlay не самый сильный.

Объяните мне пожайлуста, тогда почему у вас сайт http://cognos.narod.ru а не www.cognos.ru? А понял - Бесплатный хостинг

Мой сайт не является корпоративным, я создал его как независимый профессионал, чтобы сделать Cognos ближе к народу. Любой человек может туда зайти, задать любой вопрос. А что касается сайта www.cognos.ru - то этот сайт принадлежал одному из нескольких российских партнеров корпорации Cognos, этот партнер недавно объявил о прекращении своей деятельности, так что сейчас вопрос насчет этого сайта пока не решен.

На мой взгляд Вы оказываете своему продукту медвежию услугу ...
Так как хороший товар в рекламе не нуждается.


Я согласен, Cognos в рекламе не нуждается, поэтому его почти не рекламируют (я только 1 раз в жизни видел рекламу Cognos в одном из журналов). На этом форуме Cognos не рекламируется, я просто упоминаю этот OLAP-продукт чтобы обсудить его плюсы и минусы, иногда мои постинги немного провокационны :)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648035
guestt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2НЕТ РЕКЛАМЕ
Да, от постингов Юрия уже тошнит...
Пусть даже Когнос - неплохой продукт, но благодаря Юрию, у меня лично он вызывает стойкое отвращение.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648055
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Guestt & НЕТ РЕКЛАМЕ:

Господа, если уж хотите сохранить анонимность, берите пример с г-на Гликогена - он хоть не скрывает, в какой компании работает :)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648236
WTF?
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Как же так?
JuriiНо есть и области, где PowerPlay не самый сильный.
Юрий, если не секрет, какие?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648293
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Jurii
А у Oracle с этим проблемы ? С чем это связано ?

Думаю это связано с тем, что OLAP-движок Oracle (Oracle Express) был разработан очень давно, и многое в нем принципиально не изменилось. Поэтому по мощности он отстал от более современных Cognos PowerPlay и MS AS.
Другая причина - в том что Oracle Express позволяет создавать с помощью программирования модели со сложной внутренней логикой, а за это надо платить - количество ячеек куба не должно быть слишком большим (отсюда и ограничение по числу измерений). Так же точно ситуация обстоит и с OLAP-сервером Cognos Planning (аналог Oracle Express).


Ну с первой причиной еще можно согласиться. И то далеко не вовсех случаях, а только там где много измерений (больше 10) и одновременно большое количество агрегатов.
А вторая причина - ерунда, так как если куб в Экспрессе обсчитан и работает, то обсчет любых моделей или формул по нему тормозить не будет.
Плюс добавлю, что в 10g появилось партиционирование кубов (я правда не проверял пока как оно работает), но в по идее, если разбить на партиции по дням, то обновляться будет только микроскопический кубик за один день.

Инкрментальная загрузка в Express проходит тоже быстро, тем более что в Express возможно обновить конкретную точечную ячейку куба, а не обновлять весь куб. Поэтому если у вас нет после обновления пересчетов агрегатов, то работать будет все очень быстро. А если пересчет есть - то все зависит от дизайна.

В общем надо смотреть на то, что за проблемы и что тормозит.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648355
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Birkhoff:

а только там где много измерений (больше 10) и одновременно большое количество агрегатов

При большом количестве измерений, да еще если учитывать специфику железнодорожников, агрегатов не может быть мало...

но в по идее, если разбить на партиции по дням, то обновляться будет только микроскопический кубик за один день.

Думаю не все так просто - данные будут писаться в маленький кубик, но агрегаты будут пересчитываться с учетом всех партиций.

Поэтому если у вас нет после обновления пересчетов агрегатов, то работать будет все очень быстро. А если пересчет есть - то все зависит от дизайна.

После обновления куба агрегаты должны пересчитываться, иначе это будет не куб, а таблица РСУБД, в которую заинсертили новые записи.

To WTF:

Но есть и области, где PowerPlay не самый сильный.
Юрий, если не секрет, какие?


Ну например PowerPlay не позволяет вводить данные в ячейку куба, чтобы динамически все распределялось и пересчитывались производные кубы. К счастью, для этих задач у Cognos есть второй OLAP-сервер - Cognos Planning...
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648489
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Jurii

При большом количестве измерений, да еще если учитывать специфику железнодорожников, агрегатов не может быть мало...
Ну про это нам пока не ведомо...

но в по идее, если разбить на партиции по дням, то обновляться будет только микроскопический кубик за один день.

Думаю не все так просто - данные будут писаться в маленький кубик, но агрегаты будут пересчитываться с учетом всех партиций.


Нет, такого даже в приницпе быть не может.
Между партициями суммы и проч. обсчитываются на лету.

После обновления куба агрегаты должны пересчитываться, иначе это будет не куб, а таблица РСУБД, в которую заинсертили новые записи.
Если не считать агрегаты, обсчитывающиеся на лету. Или просто вычисления по формулам, которые бы в реляционке потребовали бы диких SQL выражений.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648577
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Судя по постингу у них прирост 2000х10х96=1920000 записей в сутки, что не так уж и мало.

да именно так, возможно и больше.

С другой стороны непонятно, какие именно запросы тормозят и может ли им помочь в этом OLAP вообще и 10g в частности.

Сами запросы привести не могу (не моя задача была, да и не публиковать же здесь нашу схему базы ), кроме того того проблема в том что нам нужно выбрать архитектуру хранения данных на сервере - можно понасоздавть на каждую справку своих агрегированнных табличек и материальных view, а можно попробовать прикрутить туда OLAP.

Кстати допросил технологов и выяснилось что число измерений можно уменьшить до 5-7 и частоту вставки до раз вчас. :-) .


Я бы Вам посоветовал не зацикливаться на брэнде Oracle. Например, хорошая ли идея не только построить коттедж из кирпича, но и мебель сделать из кирпича, и сантехнику иметь кирпичную, и посуду, и клавиатуру для компьютера из маленьких кирпичиков? :)


Неа, здесь скорее так :
Если я всю жизнь строил коттеджи из кирпича, то новый заказ - многоэтажку лучше тоже делать кирпичную, тк есть опыт работы только с кирпичами.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648588
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Denis

Тогда можно понять поможет ли в вашей конкретной ситуации OLAP или нет, только на эксперименте.
А когда проект начинается?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648604
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
НЕТ РЕКЛАМЕ!!!to Jurii
Объяните мне пожайлуста, тогда почему у вас сайт http://cognos.narod.ru а не www.cognos.ru?

а мне понравиласься мАбила у эксперта на картинке - размером с хоршую книгу :-))

а еще настраживают слова :

В продуктах Cognos львиная доля задач решается визуальными средствами, без программирования, и этим объясняется высокая скорость их внедрения и легкость обучения работе с ними. Соответственно, стоимость проектов по внедрению продуктов Cognos значительно ниже, чем при внедрении каких-либо других OLAP-продуктов.

ээ так не бывает!
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648639
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Denis_TST:

Если я всю жизнь строил коттеджи из кирпича, то новый заказ - многоэтажку лучше тоже делать кирпичную, тк есть опыт работы только с кирпичами.

Ну тогда у вас на строительство многоэтажки уйдет 3 года, а то и больше... И получится она через чур дорогая.

а мне понравиласься мАбила у эксперта на картинке - размером с хоршую книгу :-))

Этот сайт делался года 4 назад, если не раньше. Тогда я использовал шаблон для страницы сайта из конструктора сайтов Яндекса. так что картинка эта была сделана очень давно, и тогда такие телефоны были в моде :) А делать сайн в HTML - не позволяют принципы - я привык все делать визуальными средствами, даже SQL-запросы :)

а еще настраживают слова
В продуктах Cognos львиная доля задач решается визуальными средствами, без программирования, и этим объясняется высокая скорость их внедрения и легкость обучения работе с ними. Соответственно, стоимость проектов по внедрению продуктов Cognos значительно ниже, чем при внедрении каких-либо других OLAP-продуктов.
ээ так не бывает!


Такое бывает, Вы просто не видели Cognos лично. Пообщайтесь с посетителями форума, которые не поленились это сделать. Это как если Вы всю жизнь копали траншеи лопатой, считаете что прокопать 10 метров можно в лучшем случае за 3 дня, и не можете поверить, что километр прокапывают за 1 день (с помощью спец. техники :)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648642
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Birkhoff2 Denis
Тогда можно понять поможет ли в вашей конкретной ситуации OLAP или нет, только на эксперименте.

да я так и собираюсь - cделать тестовый куб и закачать туда данные чтобы оценить нагрузки. Начинать только трудно :-)) )

А когда проект начинается?
Ну пока идет исcледовательская часть :-) Хотя проблема старая - есть куча оперативных данных, а аналитику никак не сделаем ....
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648673
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Denis_TST Birkhoff2 Denis
Тогда можно понять поможет ли в вашей конкретной ситуации OLAP или нет, только на эксперименте.

да я так и собираюсь - cделать тестовый куб и закачать туда данные чтобы оценить нагрузки. Начинать только трудно :-)) )

Это да, подводных и надводных камней там много... :)

Denis_TST BirkhoffА когда проект начинается?
Ну пока идет исcледовательская часть :-) Хотя проблема старая - есть куча оперативных данных, а аналитику никак не сделаем ....
А Partitioning вы сейчас используете?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648687
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiTo Denis_TST:

Если я всю жизнь строил коттеджи из кирпича, то новый заказ - многоэтажку лучше тоже делать кирпичную, тк есть опыт работы только с кирпичами.

Ну тогда у вас на строительство многоэтажки уйдет 3 года, а то и больше... И получится она через чур дорогая.

ну и хорошо! зато ведь построим!
примеры есть - "Алые паруса" в Москве например ;-)


Этот сайт делался года 4 назад, если не раньше.

а обновлялся тоже тогда ?

тогда понятна такая любовь к супер-визуальным
средствам :-)

Это как если Вы всю жизнь копали траншеи лопатой, считаете что прокопать 10 метров можно в лучшем случае за 3 дня, и не можете поверить, что километр прокапывают за 1 день (с помощью спец. техники :)


мы используем в разработке визуальные средсва (Delphi) и поэтому хорошо знаем какие проблемы бывают со спец техникой.
На нестандартном грунте всегда приходится доставть из багажника лопаты :-))
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648705
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BirkhoffА Partitioning вы сейчас используете?
нет , просто унас на болшинистве обектов расставлен Ora 8.1.6 Standart (и куплены лицензии)
а в него Partitioning не вхоит (только в Enterprise) . А сейчас потихоньку начинаем апргейдимся до 9 и там наверно задействуем...
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32648744
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Denis

Partitioning сам по себе может дать вам хороший прирост производительности.
Так что задачка у вас интересная :)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32649343
JuriiTo Guestt & НЕТ РЕКЛАМЕ:

Господа, если уж хотите сохранить анонимность, берите пример с г-на Гликогена - он хоть не скрывает, в какой компании работает :)

Приношу всем участникам форума , извенения за оффтопикк.

Юрий, я высказывал свою точку зрения, и она не как не связана с той компанией в, которой я работаю. Кроме меня в данной компании работает достаточно спецалистов , которые могут иметь свою точку зрения. И я считаю для себя не допутимым выступать от имени компании в которой работаю.

Теперь на счет того, что Вы не считаете свои постинги рекламой - это безусловно Ваше право. Я на него и не покушаюсь на это есть модераторы им и решать (почитайте правила форума).

Если у Вас возникнет желание продолжить данный разговор, то давайте перейдем в раздел форума Просто треп.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32649743
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Denis_TST:

Если я всю жизнь строил коттеджи из кирпича, то новый заказ - многоэтажку лучше тоже делать кирпичную, тк есть опыт работы только с кирпичами.
Ну тогда у вас на строительство многоэтажки уйдет 3 года, а то и больше... И получится она через чур дорогая.
ну и хорошо! зато ведь построим!


Это заранее никто не гарантирует... Ведь если строители окажутся неопытными, или качество кирпичей невысоким - то все может и рухнуть от небольшого землятрясения (в виде лишнего миллиона записей в день :)

примеры есть - "Алые паруса" в Москве например ;-)

А Алые паруса точно из кирпича строят? :)

Этот сайт делался года 4 назад, если не раньше.
а обновлялся тоже тогда ?


Это тонкий намек на то, что за 4 года мало что изменилось...

мы используем в разработке визуальные средсва (Delphi) и поэтому хорошо знаем какие проблемы бывают со спец техникой.
На нестандартном грунте всегда приходится доставть из багажника лопаты :-))


Delphi - это все же совсем другая песня, это не совсем визуальные средства, там нужно программировать.

To НЕТ РЕКЛАМЕ:

я высказывал свою точку зрения, и она не как не связана с той компанией в, которой я работаю. Кроме меня в данной компании работает достаточно спецалистов , которые могут иметь свою точку зрения. И я считаю для себя не допутимым выступать от имени компании в которой работаю.

Ну хотя бы расскажите, каким OLAP-инструментарием Вы предпочитаете пользоваться в Ваших проектах? MS AS? Oracle? или Cognos? :) Или Вы пока еще только студент без опыта, и не понимаете всю серьезность и полезность моих постингов?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32649827
ХА
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
JuriiИли Вы пока еще только студент без опыта, и не понимаете всю серьезность и полезность моих постингов?

Вот это шутка! Браво! Давно так не смеялся %)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32650838
Jurii
Ну хотя бы расскажите, каким OLAP-инструментарием Вы предпочитаете пользоваться в Ваших проектах? MS AS? Oracle? или Cognos? :) Или Вы пока еще только студент без опыта, и не понимаете всю серьезность и полезность моих постингов?

Из инструментариев пока ROLAP от Oracle т.е. Discovery. И не потому, что это бренд - просто не хочется в компании разводить заопарк (из програмных средств), как Вы советовали в этом топике.

На счет студента я по жизни студент, так как специалист в IT, который не учится новому, через год - два становится ни кому не нужен.

На счет полезности и серьезности Ваших топиков - вопрос очень спорный. На мой взгляд 80 - 90% Ваших топиков просто вода (Cognos - это вещь, а все остальное это хлам - эта мысль проходит Красной нитью в ваших постах).
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32651630
c
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Такое бывает, Вы просто не видели Cognos лично. Пообщайтесь с посетителями форума, которые не поленились это сделать


Jurii!! Kak znatok Cognos, otuchite ego, pogaluista, zanimat'sa razvratnymi deistviami s DB2 i Oracle pri postroenii otchetov, a nauchite prosto xoroshemu sex!
Programmery Was ne zabudut!!
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32651641
guestt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii, глядя на Ваши полезные и серьезные постинги, я начинаю понимать, что Вы - Мессия мира OLAP и DWH.
Вы с себя иконы еще не пишете?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32651771
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To ХА, НЕТ РЕКЛАМЕ, С и Guestt:

Господа-анонимы, Вы на этом форуме в явном меньшинстве. Хотя без Вас было бы все похоже на культурные западные форумы :) Так что пусть здесь будет 3 категории участников - эксперты (у кого больше всего сообщений серьезного содержания по решению реальных задач), благодарные читатели (которые используют это) и анонимы, которым место в форуме Просто треп, которые никак форум не обогащают а только засоряют его.
Думаю тему стоит закрыть года на 3, а потом узнать, как успехи в области OLAP у г-на Denis_TST :)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32651806
Спасибо товарищу Юрию за наше счастливо детство, тьфу, за наш счастливый ОЛАП.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32652284
JuriiДумаю тему стоит закрыть года на 3, а потом узнать, как успехи в области OLAP у г-на Denis_TST :)

Думаю у Denis_TST все будет хорошо, ему есть кому помочь и без великого Jurii.
Jurii почитайте постинги Birkhoff - вот там точно все по делу и уважительное отношение к другим участникам форума и рынка Olap продуктов.

Тема топика назвается программная загрузка данных в кубы Oracle 10g. И я не как не пойму при чем тут Jurii со своими экспертными знаниями по Cognos.

А тему точно нужно закрывать, Вам пытались объяснить, Вы не поняли.
Остается только одно написать в представительство Cognos - хвалебное письмо о Вас (на днях думаю заняться этим, с соотвествующей подборкой) И там я уж укажу кто я такой, и в какой компании работаю.

Желаю удачи!!!
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32652311
guestt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2НЕТ РЕКЛАМЕ
авторОстается только одно написать в представительство Cognos - хвалебное письмо о Вас
Ну, вы и садист
Вы напишите, а фирма Cognos выставит некислый счет Jurii за использование своего названия в имени личного сайта (cognos.narod.ru), ведь это наверняка несанкционировано, правда, Jurii? И, кстати, в российском законодательстве есть кое-что на этот счет, так что прижучить могут, это не шутки.
А потом Cognos выставит еще один некислый счет за дискредитацию своей торговой марки путем создания такого убогого сайта. Более половины суммы будет причитаться как раз за мАбилу
Кстати, Jurii, 4 года назад таких мАбил уже не было. По крайней мере, над ними смеялись так же, как и сейчас.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32652408
Denis_TST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
to Birkhoff

почитал вашу тему "Как запустить Oracle OLAP 9i"
там есть такие слова :

Birkhoff
... Можно создать MOLAP куб и непосредственно из AWM, но потребуется кодировать руками перекачаку данных.


Не совсем понятно как создать куб, или это только из OLAP Worksheet через DDL? я думаю ограничиться только MOLAP - чтобы меньше изучать :-)

по поводу общей архитектуры:
думаю накапливать данные на сервере сначала в таблицах, тк все равно их нужно будет куда то складывать при получении с нижиних серверов. По этим таблицам можно считать оперативные запросы (на текущий момент) а потом перекачивавать в кубы. заодно можно будет поиграть со скоростью закачки ...

и еще : нам нужно иметь данные с высокой детализацией (по дням)только за 3
месяца, дальше детализацию нужно уменьшить (до недели) . Как в таких случаях поступают ? "прореживают" кубы или создают новые с меньшими уровнями иерархии на измерениях ?
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32653080
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати вышел 10.1.0.3 патчсет
и уже к нему патч для OLAP,

to Birkhoff
Если смотрел, может поделишся мыслями по поводу OLAP,
а то у меня сейчас с инетом проблемы (и ICQ нету :)
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32654679
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To НЕТ РЕКЛАМЕ:

Jurii почитайте постинги Birkhoff - вот там точно все по делу и уважительное отношение к другим участникам форума и рынка Olap продуктов.

Я их регулярно читаю. У нас просто с г-ном Birkhoff разный стиль изложения своих мыслей, но мы оба уважаем других участников форума.

Тема топика назвается программная загрузка данных в кубы Oracle 10g

Вопросы автора топика были шире, относились не конкретно к Oracle OLAP, а к технологии OLAP.

Остается только одно написать в представительство Cognos - хвалебное письмо о Вас (на днях думаю заняться этим, с соотвествующей подборкой) И там я уж укажу кто я такой, и в какой компании работаю.

Передавайте им от меня привет, и отдельный привет моему тезке Юрию :)

To Guestt:

Вы напишите, а фирма Cognos выставит некислый счет Jurii за использование своего названия в имени личного сайта (cognos.narod.ru), ведь это наверняка несанкционировано, правда, Jurii?

Вы не правы, это домен третьего уровня, и разрешение компании Cognos на это не требуется.

А потом Cognos выставит еще один некислый счет за дискредитацию своей торговой марки путем создания такого убогого сайта. Более половины суммы будет причитаться как раз за мАбилу

Да ладно, никто никому счетов выставлять не будет. Cognos получает бесплатный маркетинг, в том числе и на международном уровне. Это скорее я должен выставлять некислые счета :)

Кстати, Jurii, 4 года назад таких мАбил уже не было. По крайней мере, над ними смеялись так же, как и сейчас.

Видимо картинка была сделана больше чем 4 года назад. Ну и сами подумайте, если там нарисовать маленький телефон - то на мониторах с плохим разрешением его будет плохо видно (Яндекс заботится о своих многочисленных посетителях). Или можно рассматривать это как крутой спутниковый телефон (спутниковые телефоны всегда большие по размеру), который позволяет крутить кубики Когноса в любой точке мира...
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32661721
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DimaRКстати вышел 10.1.0.3 патчсет
и уже к нему патч для OLAP,

to Birkhoff
Если смотрел, может поделишся мыслями по поводу OLAP,
а то у меня сейчас с инетом проблемы (и ICQ нету :)

Нет, к сожалению пока не смотрел. Сейчас очень плотный график. Видно, наверное, по моему отсутствию на форуме :)
Боюсь, что посмотрю только недели через 3, не раньше :(
Так что может быть у тебя соображения раньше появятся.
...
Рейтинг: 0 / 0
программная загрузка данных в кубы Oracle 10g
    #32661768
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Denis_TSTto Birkhoff

почитал вашу тему "Как запустить Oracle OLAP 9i"
там есть такие слова :

Birkhoff
... Можно создать MOLAP куб и непосредственно из AWM, но потребуется кодировать руками перекачаку данных.


Не совсем понятно как создать куб, или это только из OLAP Worksheet через DDL? я думаю ограничиться только MOLAP - чтобы меньше изучать :-)

Почему через Worksheet?
Там же есть (в AWM) так называемый Object View режим, в нем можно создать кубик и все измерения в нем и так далее...

Denis_TST
по поводу общей архитектуры:
думаю накапливать данные на сервере сначала в таблицах, тк все равно их нужно будет куда то складывать при получении с нижиних серверов. По этим таблицам можно считать оперативные запросы (на текущий момент) а потом перекачивавать в кубы. заодно можно будет поиграть со скоростью закачки ..
.

И правильно, промежуточный слой лучше создавать, чтобы в случае например изменения структуры кубов было откуда перегрузиться.

Denis_TST
и еще : нам нужно иметь данные с высокой детализацией (по дням)только за 3 месяца, дальше детализацию нужно уменьшить (до недели) . Как в таких случаях поступают ? "прореживают" кубы или создают новые с меньшими уровнями иерархии на измерениях ?

Навскидку я бы сделал это через два разных кубика и формулу, которая может объединять разные кубы в виртуальный один.
В 10g появился еще partitioning кубов, но я не проверял как он рабоает.
Но по идее по той же схеме что я и предлагаю.
...
Рейтинг: 0 / 0
50 сообщений из 50, показаны все 2 страниц
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / программная загрузка данных в кубы Oracle 10g
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]