|
|
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
Всем привет. Есть отдельный сервер под SSAS. Дисковая подсистема очень слабенькая, а ОЗУ 128Гб. При процессинге узким местом является создание множества мелких файлов в TEMPDB. Нашел хорошие статьи http://www.dvbi.ru/articles/readingroom/tabid/99/ArticleId/61/language/ru-RU/Default.aspx http://www.sql.ru/articles/mssql/2007/01310sqlserver2000analysisservicesoperationsguide.shtml хочу попробовать поиграть с настройками Process Buffer Size Read Ahead Buffer Size Проблема заключается в том, что не могу найти где это настраивается. Пожалуйста помогите. SSAS 2014 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 14:59 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
PavluxaF, если понял корректно - TEMPDB это на стороне SQL DB сервера а не SSAS, т.е. во когда SSAS получает данные из SQL и DB их готовит перед выдачей SSAS (и там уже начнётся процессинг). у SSAS есть свои TEMP файлы.. в соответствующей директории ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 15:44 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
ещё большой вопрос почему этих TEMPDB файлов - множество (тем более для слабого сервера), т.к. обычно есть оптимальное соотношение количества этих файлов к количеству ядер (вроде в границах то-ли 1/2 то-ли 2/3 или 1/3).. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 15:47 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
PavluxaF, На сервере со слабой дисковой подсистемой, но с достаточным объемом памяти, можно использовать RAM Disk на который можно настроить SSAS Temp Directory. Можно и куб целиком или частично (для самых важных групп мер) положить на RAM Disk. Это реально работает и кубы взлетают ;) Софта для создания RAM Disk множество. Но лучше использовать платные (не очень дорого), так как они имеют необходимый функционал для стабильной работы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 17:17 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
1) TEMPDB - это я про директорию временных файлов SSAS (она как-то созвучно по умолчанию называется) 2) RAM диск - хорошо, но даже под временные файлы не хватает. Пробовал. Около 30Гб выделял, падало по ошибкам. Текущий размер куба 700Гб (агрегатов многовато) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 17:54 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
авторДедушка в доке нет таких вещей Вот выдержка из статьи С помощью Analysis Manager измените свойства сервера Analysis Services на вкладке General диалогового окна Server Properties так, чтобы папка с временными файлами Temporary располагалась на незадействованном физическом диске, и измените размер буфера обработки на вкладке Processing на минимальное значение, например, 32 мегабайта. Нет сейчас такой вкладки в SSMS 2012+ Или настройку переименовали или вывели куда-то. Не может быть чтобы невозможно было управлять вводом/выводом в SSAS. Вопрос в том, как минимизировать дисковые операции за счет агрессивного использования ОЗУ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 18:01 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
PavluxaFв доке нет таких вещей Вот выдержка из статьи С помощью Analysis Manager измените свойства сервера Analysis Services на вкладке General диалогового окна Server Properties так, чтобы папка с временными файлами Temporary располагалась на незадействованном физическом диске, и измените размер буфера обработки на вкладке Processing на минимальное значение, например, 32 мегабайта. Нет сейчас такой вкладки в SSMS 2012+ Вы ссылаетесь на статью для SSAS 2000. C тех пор много что поменялось, в том числе к лучшему. Из указанных вами посмотрите первую статью, она более адекватна SSAS 2012+. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 18:17 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
временные файлы создаются (в temp-папке), если нет памяти, если память есть, то они не создаются возможно вы путаете с версионными файлами, которые затем подменяют текущие могу порекомендовать оптимизировать куб и/или купить PCI-E SSD карточку, благо они сейчас не такие дорогие Ps куб у нас больше, памяти столько же ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 19:28 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
PavluxaF... измените размер буфера обработки на вкладке Processing на минимальное значение, например, 32 мегабайта. Нет сейчас такой вкладки в SSMS 2012+ во первых есть - называется: OLAP \ Process \ BufferMemoryLimit (в .ini файле больше настроек) во вторых - поаккуратней там, если ставишь значиение больше 100 (ниже будет в процентах от физической памяти) - то показатель будет не в МегаБайтах а в Байтах я ещё настраиваю AggregationMemoryLimitMin/Max, меняю ThreadPool \ Process \ Max-Min Threads , Memory \ Total-Hard-Low MemoryLimit и некоторые другие - всё в динамике в зависимости от текущих приоритетов (балансирование ресурсов) глянь на сеть (% и размеры пакета, проверь на разных рамерах потери через Ping -t -l xxxxx) и загрузку памяти/процессоров во время процессинга, может вся проблема на получении данных и SSAS просто ждёт когда это всё доедет.. Можно Profiler-ом посмотреть, Perf-Monitor, но самое простое будет через ResourceMonitor (сеть/диск/память/cpu) .. так-же на больших партициях при проблемах с измерениями (отсувствии очень большого количества нужных ключей) - время существенно увеличивается (иногда в 2-3 раза) из-за дополнительных операций на конвертации и сообщениях об ошибках (или записи этого в логи) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 21:10 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
PavluxaF, 700Gb и вы его обновляете полностью каждый день, а не только те месяцы за которые меняются данные? Предлагаю изменить процедуру процессинга кубов программным способом: - разбить группы мер на секции - обновлять только те секции в которых меняются данные ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 22:23 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
1) vikkiv спасибо большое 2) купить что-то - не решаемая проблема. 3)yupi100 - нет, конечно же куб партицированный. Но данных для ежедневного обновления все же очень много. Конкретный диагноз в моем случае возникает при процессинге измерений. 1) монитор ресурсов пишет что одновременно создается около 100-200 мелких файлов с названиями по маске MSMDCasheRowset____________.tmp При этом ОЗУ задействована на 30%, а камень на 20% При этом зачастую захлебывается дисковая очередь ~20-200. RAID 10 из 4 дисков SAS 10K Я хочу более экстенсивно использовать ресурс ОЗУ и процессора для снижения нагрузки на дисковую подсистему. Завтра буду пробовать советы vikkiv принтскрины во вложении ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2017, 00:20 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
принтскрины забыл ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2017, 00:21 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
Критик писал >> временные файлы создаются (в temp-папке), если нет памяти, >> если память есть, то они не создаются +5. Скорее всего, у вас много измерений, одно из них большое, и есть хоть один distinct count. В памяти при процессинге куба с DC разворачивается полный образ измерения (каждого, который затронут через DC, хотя зависит от вашей схемы секционирования), и все факты в секции. Если результат не влезает в память, то будут свопы - сначала результаты по частям в эти свопы идут, а затем вычитываются свопы (те файлы, которые вы привели на снимке). По результатам процессинга, после финального commit они исчезают - наблюдали эффект? Единственный вариант - дробите ваш куб на еще меньшие секции, и докупайте больше памяти либо быстрый диск. 3 года назад пытался процессить куб, 30 измерений, 190 млн members в самом большом, 3.5 ярда фактов в месяц - поделил на недельные секции, решить проблему не удалось на 128 Gb RAM. Дробить на дни не стал, просто берите быстрый диск и смиритесь, мои секции процессились за 1.5 часа. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.03.2017, 19:08 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
OldNov3 года назад пытался процессить куб, 30 измерений, 190 млн members в самом большом, 3.5 ярда фактов в месяц - поделил на недельные секции, решить проблему не удалось на 128 Gb RAM. Дробить на дни не стал, просто берите быстрый диск и смиритесь, мои секции процессились за 1.5 часа. Позвольте полюбопытствовать: 1. А сколько всего у вас было в ТФ строк и размер таблицы? 2.190 млн элементов в измерении - не секрет что за измерение? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.03.2017, 22:05 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
Voyager_lan, - 190 миллионов - кол-во счетов. - таблица фактов была сжата и укатана под минимизацию пространства, ключи сплошь ID-шники (SmallInt, Int, BigInt). Многие ключи хотел сделать tinyint, но с ключами tinyint SSAS не работает, пришлось конвертировать в SmallInt :-(. В общем, таблица была небольшая, секционированная, где-то 150 GB в месяц, и по глубине 3 года. Анализировать что-либо глубже не имело смысла по причине того, что полностью меняется картина рынка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.03.2017, 21:18 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
OldNov, Странная арифметика получается:3,5 млрд строк за 3 года = 126 млрд строк. Кол-во счетов всего 190 млн (тогда позиций на счет >600) или все-таки 190 млн*36 мес? В счете атрибутов много? п.с. соглашусь с вами, что дробить секции нужно рационально, в частности, оценивая периоды в основных запросах пользователей ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.03.2017, 21:46 |
|
||
|
Настройка сервера SSAS
|
|||
|---|---|---|---|
|
#18+
OldNov Многие ключи хотел сделать tinyint, но с ключами tinyint SSAS не работает, пришлось конвертировать в SmallInt На уровне СУБД ключи нужно было все-таки сделать tinyint, а в SSAS на уровне DSV конвертить )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.03.2017, 22:21 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39412505&tid=1858341]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
75ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
2ms |
| others: | 13ms |
| total: | 203ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...