Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / При закачке куба в AW безумно распухает временный тейблспес / 22 сообщений из 22, страница 1 из 1
10.06.2005, 13:02
    #33111721
Tomcat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Oracle DB 10.1.0.4
AWM 10.1.0.4

куб 6 измерений и 3 показателя (пока для теста)
фактов 4.5 млн

делаю maintain кубу и временный тейблспес пухнет так, что забивает 32 ГБ
затем все вываливается с ошибкой

на компе 1 ГБ ОЗУ, почти все отдано ораклу

добавлять еще датафайлы по 32 ГБ ? глупо
должно же это как-то нормально работать :-(

буду также признатаелен за ссылку на доку, где указаны рекомендованные
настройки БД для работы с Oracle Olap
...
Рейтинг: 0 / 0
10.06.2005, 13:41
    #33111868
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
А ошибка какая.
...
Рейтинг: 0 / 0
10.06.2005, 13:46
    #33111892
O_Vital
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
В 10.1.0.4_OLAP_App_Dev_Guid есть немного, см. "Part I Fundamentals/Administering Oracle OLAP/Initialization Parameters for Oracle OLAP", но там совсем чуть-чуть.
Если раскопаете больше, скиньте ссылку плиз....
...
Рейтинг: 0 / 0
10.06.2005, 13:49
    #33111899
O_Vital
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
TomcatOracle DB 10.1.0.4
буду также признатаелен за ссылку на доку, где указаны рекомендованные
настройки БД для работы с Oracle Olap

см. выше
...
Рейтинг: 0 / 0
10.06.2005, 13:55
    #33111923
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
А также вопросы - работало ли это раньше и если да, то с какого момента перестало работать?
Какая структура куба, используются ли компрессированные композиты или нет?
Что с dense/sparse?
...
Рейтинг: 0 / 0
14.06.2005, 11:38
    #33115217
Tomcat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
продолжу тему

добавил 2-й датафайл в временный тейблспейс.
часов за 5 закачки данных он распух до 40 ГБ

в пятницу, не дождавшись окончания закачки ушел домой
сегодня с утра вижу ошибку (видать закончилось место на диске)

java.sql.SQLException: ORA-01683: невозможно расширить индекс WH.SYS_IL0000057364C00004$$ раздела SYS_IL_P203 на 128 в разделе WH_AW

тейблспейс с AW распух до 25 ГБ

схема с 7 измерениями 2 из них с 5-ю уровнями, остальные проще
членов в каждом несколько сотен-тысяч.
насчет компрессированных композитов и прочего: настройки куба не трогал,
оставил для начала все по умолчанию
придется похоже с этими параметрами поэкспериментировать


в Oracle® OLAP Application Developer’s Guide нашел упоминание что
во время загрузки данных параметр OLAP_PAGE_POOL_SIZE
должен иметь значение 100-400 МБ
я поставил 100 МБ (больше памяти не было)
...
Рейтинг: 0 / 0
14.06.2005, 13:18
    #33115549
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
100М для такого кубика, наверное маловато. Поэтому и темп растет.
Попробуйте для начала Compressed поставить - он гораздо экономнее место и память расходует.
А также можно попробовать загрузить сначала небольшое количество данных - посмотреть когда проблемы начинаются. Измерения пусть грузятся целиком.
...
Рейтинг: 0 / 0
16.06.2005, 16:49
    #33120110
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Другой топик навеял.
Может быть поставить OLAP_PAGE_POOL_SIZE=0, так как в 10g он автоматически выделяется и посмотреть что с PGA.
Увеличение PGA в соседнем топике помогло.
...
Рейтинг: 0 / 0
17.06.2005, 17:52
    #33122519
Tomcat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
упростил задачу
оставил 4 измерения, таблица фактов 52 000 записей
грузит 10 мин. расчет агрегатов 20 мин
aw раздувается до 4 ГБ а временный тейблспейс 2-3 ГБ

поставил OLAP_PAGE_POOL_SIZE=0
PGA стоит 400 MB
нифига не помогает, при том, что пример GLOBAL отрабатывает отлично

убрал расчет агрегатов, грузится 30 мин :-(

измерения грузятся быстро

что еще можно попробовать ?
...
Рейтинг: 0 / 0
17.06.2005, 18:55
    #33122664
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Tomcatчто еще можно попробовать ?
На уровне предположения ...

А может влияют параметры хранения выставленные у таблеспайса для данного пользователя? Может у GLOBAL и у GLOBAL_TEMP они другие?

p.s. А возможно ли, подготовить тестовый пример, чтоб можно было покрутить у себя на машине.
...
Рейтинг: 0 / 0
19.06.2005, 11:51
    #33123451
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
2Tomcat

http://www.sql.ru/forum/actualthread.aspx?tid=189213#1621439

Вот тут Alex_D сделал отличный пример, на котором мы все и попробовали.
Может быть вы тоже сделаете что-то подобное?

52000 записей и 4 измерений это вообще не серьезно. Если столько ресурсов сжирается, значит что то не так :)
...
Рейтинг: 0 / 0
21.06.2005, 13:34
    #33126608
Tomcat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Birkhoff
http://www.sql.ru/forum/actualthread.aspx?tid=189213#1621439

Вот тут Alex_D сделал отличный пример, на котором мы все и попробовали.
Может быть вы тоже сделаете что-то подобное?


Сделал подобное измерение, закачал 2 млн. записей за 20 минут
временный тейблспейс занял 1 ГБ AW - 677 МБ
при разворачивании уровней задумывается на пару минут, но работает.

Это нормальные цифры?
Проблема вообщем-то в закачке показателей.
Буду пробовать куб с 1 измерением.
И еще использую Naturals Keys в измерениях.
...
Рейтинг: 0 / 0
21.06.2005, 16:16
    #33127146
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
TomcatСделал подобное измерение, закачал 2 млн. записей за 20 минут
временный тейблспейс занял 1 ГБ AW - 677 МБ
при разворачивании уровней задумывается на пару минут, но работает.

Это нормальные цифры?

С имитировал у себя:

Сделал измерение, закачал 500 000. записей. (Машинка слабая)
временный тейблспейс занял 257 МБ
AW - 150 МБ.

Соотношение цифр примерно такое же как и у Вас.

Однако прожорлив Олап ... :(

Или что не так в консерватории ...
...
Рейтинг: 0 / 0
21.06.2005, 18:03
    #33127508
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Tomcatбуду также признатаелен за ссылку на доку, где указаны рекомендованные
настройки БД для работы с Oracle Olap

O_VitalЕсли раскопаете больше, скиньте ссылку плиз....

Вот накопал еще немножко: 10G OLAP Performance Tuning
...
Рейтинг: 0 / 0
21.06.2005, 18:45
    #33127603
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Tomcat раздувается временный тейблспейс 2-3 ГБ
что еще можно попробовать ?

Попробуйте уменьшить размер extent до 256k для временного тейблспейса.
...
Рейтинг: 0 / 0
21.06.2005, 19:21
    #33127656
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Tomcat Birkhoff
http://www.sql.ru/forum/actualthread.aspx?tid=189213#1621439

Вот тут Alex_D сделал отличный пример, на котором мы все и попробовали.
Может быть вы тоже сделаете что-то подобное?


Сделал подобное измерение, закачал 2 млн. записей за 20 минут
временный тейблспейс занял 1 ГБ AW - 677 МБ
при разворачивании уровней задумывается на пару минут, но работает.

Это нормальные цифры?
Проблема вообщем-то в закачке показателей.
Буду пробовать куб с 1 измерением.
И еще использую Naturals Keys в измерениях.Я предлагал вам не попробовать загрузить те 2 миллиона, а сделать тестовый скрипт, как Alex_D, который мы можем у нас прогнать и посмотреть в чем может быть проблема :)
Но то, что у вас 2 миллиона грузится - тоже информация :)
...
Рейтинг: 0 / 0
21.06.2005, 20:17
    #33127721
Tomcat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
весь день ставил эксперименты с разными вариантами кубов
выяснилось, что тормоза зависят от кол-ва и сложности измерений
т.е. делал куб с 6-ю измерениями и он грузился 1 мин (52 тыс. фактов.)
при добавлении 7-го процесс загрузки растягивался на 1 час
(точнее процесс auto solve)
также удалось создать загибающийся куб с 3-мя самыми сложными
измерениями.
буду делать тестовые скрипты
...
Рейтинг: 0 / 0
22.06.2005, 18:51
    #33129835
Tomcat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Вот сделал тест.

http://basil70.narod.ru/wh.rar - схема с тестовыми данными (700 K)
http://basil70.narod.ru/templates.rar - AW шаблоны (25 K)

Ставить в схему wh (почему-то восстановленные в других схемах
по шаблонам кубы и измерения не пашут)

кубы REALIZ_BOTT_5 и REALIZ_BOTT_9 тормозят, остальные грузятся быстро
разница на порядок, а на реальных данных на 1.5-2 порядка
и это на 52 тыс.зап. и на 1 показателе
...
Рейтинг: 0 / 0
22.06.2005, 19:03
    #33129856
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Здорово. Будем смотреть.
А не открывается в другой схеме, потому что в шаблоне прописана схема WH.
Если там имя схемы подправить на другую - все откроется.
...
Рейтинг: 0 / 0
24.06.2005, 20:04
    #33134312
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Поигрался.
По кубу 5. Странный он какой-то. Так как у многих измерений нет уровня "Все", то по кубу приходится ползать чтобы найти хоть какую нибудь цифру. Болшинство комбинаций пустые.
Но тем не менее - я построил ровно такой же куб, поставил компрессию и он закачался и проагрегировался ровно за минуту.

Тоже самое и с 9м кубом.
С компрессией он загрузился и проагрегировался за 40 секунд. Без компрессии действительно из-за того что, измерения очень глубокие - получается что требуется много пространства для агрегации,практически не зависимо от объема исходных данных.

Короче говоря, можно продолжать эксперименты с тем чтобы найти оптимальную комбинацию при которой куб, созданный по старой технологии соберется, но не вижу особого смысла, так как компрессированне кубы и строятся быстрее (меньше минуты) и без особой нагрузки на сервер.
...
Рейтинг: 0 / 0
27.06.2005, 11:43
    #33135858
Tomcat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
to Birkhoff

Видимо придется всегда делать кубы компрессированными, т.к.
они скорее будут сложнее а не проще.
А то, что они немного странные, так это из-за того, что
проектировались для работы с Discoverer-ом, естественно
они поменяются.
Еще я думаю, что нельзя их делать слишком сложными, скорее всего придется
делать несколько более простых кубов.

Спасибо за помощь, будем экспериментировать дальше.
...
Рейтинг: 0 / 0
27.06.2005, 12:52
    #33136071
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
При закачке куба в AW безумно распухает временный тейблспес
Судя по тем материалам, что появляются о базе 10gR2, там в OLAP очень много сделано для увеличения быстродействия и экономии ресурсов.
Так что посмотрим.
Еще можно поиграть с партиционированием кубов.
С компрессией получилось?
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / При закачке куба в AW безумно распухает временный тейблспес / 22 сообщений из 22, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]