powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Настройка сервера SSAS
19 сообщений из 19, страница 1 из 1
Настройка сервера SSAS
    #39412489
PavluxaF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет.

Есть отдельный сервер под SSAS.
Дисковая подсистема очень слабенькая, а ОЗУ 128Гб.

При процессинге узким местом является создание множества мелких файлов в TEMPDB.

Нашел хорошие статьи
http://www.dvbi.ru/articles/readingroom/tabid/99/ArticleId/61/language/ru-RU/Default.aspx
http://www.sql.ru/articles/mssql/2007/01310sqlserver2000analysisservicesoperationsguide.shtml

хочу попробовать поиграть с настройками
Process Buffer Size

Read Ahead Buffer Size

Проблема заключается в том, что не могу найти где это настраивается.
Пожалуйста помогите.

SSAS 2014
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412505
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412547
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PavluxaF,

если понял корректно - TEMPDB это на стороне SQL DB сервера а не SSAS, т.е. во когда SSAS получает данные из SQL и DB их готовит перед выдачей SSAS (и там уже начнётся процессинг).

у SSAS есть свои TEMP файлы.. в соответствующей директории
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412555
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ещё большой вопрос почему этих TEMPDB файлов - множество (тем более для слабого сервера), т.к. обычно есть оптимальное соотношение количества этих файлов к количеству ядер (вроде в границах то-ли 1/2 то-ли 2/3 или 1/3)..
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412662
yupi100
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PavluxaF,

На сервере со слабой дисковой подсистемой, но с достаточным объемом памяти, можно использовать RAM Disk на который можно настроить SSAS Temp Directory.
Можно и куб целиком или частично (для самых важных групп мер) положить на RAM Disk.

Это реально работает и кубы взлетают ;)
Софта для создания RAM Disk множество. Но лучше использовать платные (не очень дорого), так как они имеют необходимый функционал для стабильной работы.
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412692
PavluxaF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
1) TEMPDB - это я про директорию временных файлов SSAS (она как-то созвучно по умолчанию называется)
2) RAM диск - хорошо, но даже под временные файлы не хватает. Пробовал. Около 30Гб выделял, падало по ошибкам.
Текущий размер куба 700Гб (агрегатов многовато)
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412705
PavluxaF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
авторДедушка
в доке нет таких вещей

Вот выдержка из статьи
С помощью Analysis Manager измените свойства сервера Analysis Services на вкладке General диалогового окна Server Properties так, чтобы папка с временными файлами Temporary располагалась на незадействованном физическом диске, и измените размер буфера обработки на вкладке Processing на минимальное значение, например, 32 мегабайта.

Нет сейчас такой вкладки в SSMS 2012+

Или настройку переименовали или вывели куда-то.
Не может быть чтобы невозможно было управлять вводом/выводом в SSAS.

Вопрос в том, как минимизировать дисковые операции за счет агрессивного использования ОЗУ
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412726
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PavluxaFв доке нет таких вещей

Вот выдержка из статьи
С помощью Analysis Manager измените свойства сервера Analysis Services на вкладке General диалогового окна Server Properties так, чтобы папка с временными файлами Temporary располагалась на незадействованном физическом диске, и измените размер буфера обработки на вкладке Processing на минимальное значение, например, 32 мегабайта.

Нет сейчас такой вкладки в SSMS 2012+


Вы ссылаетесь на статью для SSAS 2000. C тех пор много что поменялось, в том числе к лучшему. Из указанных вами посмотрите первую статью, она более адекватна SSAS 2012+.
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412779
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
временные файлы создаются (в temp-папке), если нет памяти,
если память есть, то они не создаются

возможно вы путаете с версионными файлами, которые затем подменяют текущие
могу порекомендовать оптимизировать куб и/или купить PCI-E SSD карточку, благо они сейчас не такие дорогие

Ps куб у нас больше, памяти столько же
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412830
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PavluxaF... измените размер буфера обработки на вкладке Processing на минимальное значение, например, 32 мегабайта.

Нет сейчас такой вкладки в SSMS 2012+
во первых есть - называется: OLAP \ Process \ BufferMemoryLimit (в .ini файле больше настроек)
во вторых - поаккуратней там, если ставишь значиение больше 100 (ниже будет в процентах от физической памяти) - то показатель будет не в МегаБайтах а в Байтах

я ещё настраиваю AggregationMemoryLimitMin/Max, меняю ThreadPool \ Process \ Max-Min Threads , Memory \ Total-Hard-Low MemoryLimit и некоторые другие - всё в динамике в зависимости от текущих приоритетов (балансирование ресурсов)

глянь на сеть (% и размеры пакета, проверь на разных рамерах потери через Ping -t -l xxxxx) и загрузку памяти/процессоров во время процессинга, может вся проблема на получении данных и SSAS просто ждёт когда это всё доедет.. Можно Profiler-ом посмотреть, Perf-Monitor, но самое простое будет через ResourceMonitor (сеть/диск/память/cpu) ..

так-же на больших партициях при проблемах с измерениями (отсувствии очень большого количества нужных ключей) - время существенно увеличивается (иногда в 2-3 раза) из-за дополнительных операций на конвертации и сообщениях об ошибках (или записи этого в логи)
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39412854
yupi100
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PavluxaF,

700Gb и вы его обновляете полностью каждый день, а не только те месяцы за которые меняются данные?

Предлагаю изменить процедуру процессинга кубов программным способом:
- разбить группы мер на секции
- обновлять только те секции в которых меняются данные
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39413431
PavluxaF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
1) vikkiv
спасибо большое

2) купить что-то - не решаемая проблема.
3)yupi100 - нет, конечно же куб партицированный.
Но данных для ежедневного обновления все же очень много.

Конкретный диагноз в моем случае возникает при процессинге измерений.
1) монитор ресурсов пишет что одновременно создается около 100-200 мелких файлов с названиями по маске
MSMDCasheRowset____________.tmp
При этом ОЗУ задействована на 30%, а камень на 20%

При этом зачастую захлебывается дисковая очередь ~20-200.
RAID 10 из 4 дисков SAS 10K

Я хочу более экстенсивно использовать ресурс ОЗУ и процессора для снижения нагрузки на дисковую подсистему.
Завтра буду пробовать советы vikkiv

принтскрины во вложении
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39413433
PavluxaF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
принтскрины забыл
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39413434
PavluxaF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39413928
OldNov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик писал

>> временные файлы создаются (в temp-папке), если нет памяти,
>> если память есть, то они не создаются

+5. Скорее всего, у вас много измерений, одно из них большое, и есть хоть один distinct count. В памяти при процессинге куба с DC разворачивается полный образ измерения (каждого, который затронут через DC, хотя зависит от вашей схемы секционирования), и все факты в секции. Если результат не влезает в память, то будут свопы - сначала результаты по частям в эти свопы идут, а затем вычитываются свопы (те файлы, которые вы привели на снимке). По результатам процессинга, после финального commit они исчезают - наблюдали эффект? Единственный вариант - дробите ваш куб на еще меньшие секции, и докупайте больше памяти либо быстрый диск. 3 года назад пытался процессить куб, 30 измерений, 190 млн members в самом большом, 3.5 ярда фактов в месяц - поделил на недельные секции, решить проблему не удалось на 128 Gb RAM. Дробить на дни не стал, просто берите быстрый диск и смиритесь, мои секции процессились за 1.5 часа.
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39414176
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
OldNov3 года назад пытался процессить куб, 30 измерений, 190 млн members в самом большом, 3.5 ярда фактов в месяц - поделил на недельные секции, решить проблему не удалось на 128 Gb RAM. Дробить на дни не стал, просто берите быстрый диск и смиритесь, мои секции процессились за 1.5 часа.

Позвольте полюбопытствовать:
1. А сколько всего у вас было в ТФ строк и размер таблицы?
2.190 млн элементов в измерении - не секрет что за измерение?
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39415042
OldNov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Voyager_lan,

- 190 миллионов - кол-во счетов.
- таблица фактов была сжата и укатана под минимизацию пространства, ключи сплошь ID-шники (SmallInt, Int, BigInt). Многие ключи хотел сделать tinyint, но с ключами tinyint SSAS не работает, пришлось конвертировать в SmallInt :-(. В общем, таблица была небольшая, секционированная, где-то 150 GB в месяц, и по глубине 3 года. Анализировать что-либо глубже не имело смысла по причине того, что полностью меняется картина рынка.
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39415052
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
OldNov,
Странная арифметика получается:3,5 млрд строк за 3 года = 126 млрд строк. Кол-во счетов всего 190 млн (тогда позиций на счет >600) или все-таки 190 млн*36 мес?
В счете атрибутов много?
п.с. соглашусь с вами, что дробить секции нужно рационально, в частности, оценивая периоды в основных запросах пользователей
...
Рейтинг: 0 / 0
Настройка сервера SSAS
    #39415070
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
OldNov Многие ключи хотел сделать tinyint, но с ключами tinyint SSAS не работает, пришлось конвертировать в SmallInt

На уровне СУБД ключи нужно было все-таки сделать tinyint, а в SSAS на уровне DSV конвертить ))
...
Рейтинг: 0 / 0
19 сообщений из 19, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Настройка сервера SSAS
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]