мигель1Доброй ночи!
out of memory при процессинге куба

Как понять, на что не хватает памяти , и как можно оптимизировать?

Спасибо
Предлагаю идти поэтапно. Версия SSAS. Размер оперативной памяти на сервере. Наличие крупных измерений. А самое главное - куб то какой, MOLAP или SSAS Tabular?

мигель1,

Если MOLAP, самая простая проверка, что у Вас нет дефицита оперативной - наблюдать во время крупных измерений за файлами If you see minimal CPU usage and many .khstore files being trickled (at 300kb/sec) off disks, SSAS doesn’t have enough RAM]khstore. Может быть, Вы предварительно измерения не обрабатываете вообще, и при ProcessFull куба они начинают предварительно сами обрабатываться ProcessFull, то есть проблема не в кубе, а в количестве элементов в измерениях, которые с ним связаны...

Andy_OLAP,

Ссылка про файлы khstore , в предыдущем сообщении промахнулся.

мигель1,

Плюс хорошая ссылка с размышлениями от Джесса Ороша, что для измерений нужно - снежинка или звезда . В общем, начните с ProcessFull измерений куба, одно за другим, и мониторьте расход памяти.

мигель1Andy_OLAPмигель1,

Плюс хорошая ссылка с размышлениями от Джесса Ороша, что для измерений нужно - снежинка или звезда . В общем, начните с ProcessFull измерений куба, одно за другим, и мониторьте расход памяти.



Спасибо, падает на мере (distinct count) 300 000 000

16 гб оперативки
модель molap
mssql 2012
Ставьте только для этого измерения 48 Гб. А для куба в целом еще. Так что 64 - это минимум, с которого Вы будете работать. 16 - это таки даже не смешно...

Andy_OLAP,

Ой-вей, промахнулся, речь не об измерении. ProcessStructure куба, затем ProcessData группы мер Distinct Count проходит? Затем ProcessIndex проходит? Падает на ProcessFull группы мер или на ProcessFull куба, когда доходит дело до этой группы мер?
Максимальный размер измерения, на ключе которого считается distinct count, какой?

мигель1Andy_OLAPмигель1,

Плюс хорошая ссылка с размышлениями от Джесса Ороша, что для измерений нужно - снежинка или звезда . В общем, начните с ProcessFull измерений куба, одно за другим, и мониторьте расход памяти.



Спасибо, падает на мере (distinct count) 300 000 000

16 гб оперативки
модель molap
mssql 2012
И я так предполагаю, что группу мер на раздельные Partitions (секции) Вы разбивать не стали, одним ударом решили 300 миллионов обработать?

мигель1Andy_OLAPпропущено...

И я так предполагаю, что группу мер на раздельные Partitions (секции) Вы разбивать не стали, одним ударом решили 300 миллионов обработать?

Да, но
1. я думаю 12 гигов должно хватить на 300 лямов
2. distinct нельзя бить на партиции
1. Если крупных измерений нет. И если Aggregation Design не прикручивали тот, который предлагается визардом от MS, там полный бред, лучше убрать в пустоту и еще раз попробовать.
2. Можно. Допустим, у Вас чековые обороты. И количество чеков счетчиком distinct count по ID чека. Нарезаете обе группы мер на секции по 1 году или по 1 кварталу или по 1 месяцу, прикручиваете грамотно Slice - и обрабатываете одну секцию за другой, если памяти не хватает.