Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Вопрос про время загрузки куба в Oracle / 6 сообщений из 6, страница 1 из 1
02.11.2005, 18:33
    #33358598
maxol67
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос про время загрузки куба в Oracle
Сервер Oracle 10.2.0.1, Windows 2003, 2 x Opteron 1800 MHz, Memory 2G, 5 SATA винтов.
Параметры памяти:
Shared Pool 128M
Buffer Cache 400M
Large Pool 0M
Java Pool 64M
PGA Target 768M

Есть таблица фактов:
CREATE OR REPLACE VIEW V_DOCUMENTITEM_CUBE AS
SELECT id_date_dim,
id_client_dim,
id_commodity_dim,
id_warehouse_dim,
id_documenttype_dim,
id_ownjurperson_dim,
id_time_dim,
SUM(qty) "QTY",
SUM(positionsum) "POSITIONSUM",
SUM(costsum) "COSTSUM",
SUM(minsalespricesum) "MINSALESPRICESUM",
SUM(positionweight) "POSITIONWEIGHT"
FROM v_documentitem_fact
GROUP BY id_date_dim,
id_client_dim,
id_commodity_dim,
id_warehouse_dim,
id_documenttype_dim,
id_ownjurperson_dim,
id_time_dim

Количество строк в ней 70000 по 60-ти дням на тестовых данных. Данные агрегированы по значениям низших уровней иерархий измерений.

Количество строк в измерениях:
DATE_DIM – 2000 строк
CLIENT_DIM – 2000 строк
COMMODITY_DIM – 13000 строк
WAREHOUSE_DIM – 24 строки
DOCUMENTTYPE_DIM – 25 строк
OWNJURPERSON_DIM – 14 строк
TIME_DIM – 4 строки

Есть следующие 2 вопроса:

Вопрос 1.
Загрузка куба по данным из V_DOCUMENTITEM_CUBE с хранением агрегатов только по низшим уровням иерархий измерений длится 25 минут. Много это или мало? Мне кажется что много – у друга на MS куб по 50000 фактов считается секунды. Что можно посоветовать для увеличения производительности?

Вопрос 2.
Если пытаюсь загрузить куб с хранением агрегатов и на некоторых других уровнях иерархий, кроме низших, то процесс растягивается на часы. В начале ругался на PGA и падал при загрузке, увеличил до 768М – после полутора часов работы тоже упал с сообщением:
oracle.express.idl.util.OlapiException: java.sql.SQLException: ORA-00604: ошибка на рекурсивном SQL-уровне 2
ORA-04030: выход за пределы памяти процесса при попытке выделить 16396 байт (QERHJ hash-joi,QERHJ Bit vector).
Что можно посоветовать в этой ситуации?

Это мой первый куб, так что не бейте сильно. Документацию Oracle и The Data Warehouse Toolkit by R. Kimball изучил, протестировал всё на Oracle Sample Schemas, спроектировал измерения вроде все правильно, параметры Оракла под OLAP настроил, но не факт что сделал все правильно. Прошу совета куда рыть и что смотреть.
...
Рейтинг: 0 / 0
02.11.2005, 18:53
    #33358650
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос про время загрузки куба в Oracle
maxol67 Прошу совета куда рыть и что смотреть.

Можно почитайть Господина Ритмана
...
Рейтинг: 0 / 0
02.11.2005, 19:02
    #33358670
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос про время загрузки куба в Oracle
Зыбал спросить :(
А Вы создаете куб с компресией или без?
Если без, то первый совет (в лоб) попробуйте создавать куб с компресией.
...
Рейтинг: 0 / 0
02.11.2005, 19:20
    #33358696
maxol67
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос про время загрузки куба в Oracle
Создаю без компрессии. Сейчас попробую с компрессией.
...
Рейтинг: 0 / 0
02.11.2005, 19:24
    #33358704
maxol67
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос про время загрузки куба в Oracle
Спасибо всем за ответы. Буду читать Ритмана.
...
Рейтинг: 0 / 0
02.11.2005, 20:00
    #33358756
maxol67
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вопрос про время загрузки куба в Oracle
To Alex_D:
Спасибо за совет - компрессия помогла - время загрузки уменьшилось до 3-х минут. Буду читать статью Ритмана.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Вопрос про время загрузки куба в Oracle / 6 сообщений из 6, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]