|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
У нас развёрнут NLB кластер на 2 машины c одинаковыми характеристиками. OLAP развёрнут на MS SSAS 2012 (при необходимости можем обновить до 2017 версии). Встал вопрос расширения кластера, т.к. текущий не справляется с нагрузкой. Хотели купить два мощных сервера (новый сервер примерно в 2 раза мощнее старого), но одобрили пока только один. Вопрос вот в чём: на 2 серверах через NLB нагрузка распределялась 50/50 на 3 серверах через NLB нагрузка будет распределяться 34/33/33, т.е. пропорционально количеству машин. Но одна машина то по мощности равна 2! Можно ли настроить балансировку на NLB как 50/25/25? Либо использовать какой-либо другой балансировщик, совместимый с SSAS OLAP, так чтобы можно было подключаться из Excel? MS рекомендует только NLB ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2018, 10:47 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Max_11111Можно ли настроить балансировку на NLB как 50/25/25?да, изменением параметров узлов кластера. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2018, 12:47 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Вроде это настройка "NLB Load Weight" (Port Rules). Но сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко, в основном это во первых CPU, во вторых RAM/память (кэш), и только потом доступ к диску и сеть. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2018, 12:57 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
vikkivНо сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редкос каких пор NLB кластер решает "проблемы с сетью"? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2018, 13:25 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Дедушка, ? docs.microsoft.com: https://docs.microsoft.com/en-us/windows-server/networking/technologies/network-load-balancing]The Network Load Balancing (NLB) feature distributes traffic across several servers by using the TCP/IP networking protocol. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2018, 13:32 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
а нагрузка (перегрузка) сети и есть одна из её (возможных) проблем, разве нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2018, 13:33 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Max_11111, у нас софтовый балансировщик (сервис, который эмулирует SSAS, а потом прокидывает запрос в зависимости от плавающего окна нагрузки на конкретном экземпляре), но думаю, ничего не мешает забабахать железный балансировщик на тех же принципах (только глянуть в спецификацию балансировщика) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2018, 14:09 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Дедушка, к стати NLB как раз в некотором роде создаёт лишную нагрузку (т.к. пакеты шлются ко всем нодам, просто остальные эти пакеты фильтруют) в сети. В некоторых источниках прямым текстом так и говорится что NLB не балансирует ни CPU ни RAM нагрузку, >>>>> .. NLB .. Unable to consider each servers current CPU load and RAM utilisation when distributing client load. .... <<<< обычно есть некоторая корреляция при однотипности потока запросов, но в реальности корпоративная среда насыщена именно разнотипными запросами (с вовсе не плоским распределением между передачей данных {сети} и нагрузкой на Calculation Engine / Cache) и NLB по большому счёту для SSAS как мёртвому припарка (т.е. в некотором роде безполезен, процесс стохастический - полезность будет если вероятность типов запросов на одну ноду не сильно раличается). .. плюс например в конце месяца бухгалтерия кэширует одну группу мер, а логистика с продажами - совсем другие, ну и в результате балансировки будут активно чистить друг-другу кэш паралельно жалуясь IT что почему-то очень медленно работает... Сам наблюдал как выделяли бюджеты на например на Failover Cluster системы просто от не понимая для чего это (надеясь что это магически что-то там решит с производительностью по советам заинтересованных "консультантов") - без необходимости (т.е. без совмещения целей и средств из-за пробела в знаниях). ... |
|||
:
Нравится:
Не нравится:
|
|||
25.05.2018, 19:44 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
ДедушкаMax_11111Можно ли настроить балансировку на NLB как 50/25/25?да, изменением параметров узлов кластера. vikkivВроде это настройка "NLB Load Weight" (Port Rules) Спасибо. Только после ваших ответов увидел эти настройки. Тупанул :) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2018, 02:59 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
vikkivНо сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко, в основном это во первых CPU, во вторых RAM/память (кэш), и только потом доступ к диску и сеть. Для наших целей пока хватает NLB. Мощностей 1 сервера не хватает для обработки всех запросов, пришлось настраивать кластер на 2 серверах. В принципе нагрузка на них ложится примерно одинаково (мерим по количеству запросов и нагрузке на проц) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2018, 03:41 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
КритикMax_11111, у нас софтовый балансировщик (сервис, который эмулирует SSAS, а потом прокидывает запрос в зависимости от плавающего окна нагрузки на конкретном экземпляре), но думаю, ничего не мешает забабахать железный балансировщик на тех же принципах (только глянуть в спецификацию балансировщика) А можно чуть подробнее про Ваш балансировщик? У нас тоже есть идея написать что-то своё для этого, но пока я не понимаю как из Excel (основной клиент пользователей) подключаться к SSAS через самописное приложение. С NLB я, в принципе, представляю как это работает: Excel подключается по ip к кластеру, а тот ему подсовывает ip конкретного сервера. Но вот по какому протоколу должен работать балансировщик, и какой порт прослушивать - этого я не знаю ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2018, 03:46 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Max_11111Но вот по какому протоколу должен работать балансировщик, и какой порт прослушивать - этого я не знаю Это обычный сервис, который для всего остального ПО выглядит как SSAS (использует абсолютно те же порты и протоколы), только не обрабатывает запрос, а пробрасывает его дальше на сервер из его списка. Написать с нуля будет довольно дорого, вам проще глянуть в сторону железных балансировщиков. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2018, 15:20 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
КритикЭто обычный сервис, который для всего остального ПО выглядит как SSAS (использует абсолютно те же порты и протоколы), только не обрабатывает запрос, а пробрасывает его дальше на сервер из его списка. Написать с нуля будет довольно дорого, вам проще глянуть в сторону железных балансировщиков. Ваш балансировщик является коммерческой тайной, или Вы можете выложить его код в открытый доступ? Можете привести примеры железных балансировщиков, а то я в этом не разбираюсь? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.05.2018, 02:13 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Max_11111У нас развёрнут NLB кластер на 2 машины c одинаковыми характеристиками. OLAP развёрнут на MS SSAS 2012 У вас MOLAP ??? или ROLAP ? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.05.2018, 11:18 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
выложить, конечно, не могу, железные я не применял, поэтому порекомендовать конкретную модель не могу, но вы можете обратиться в любой интегратор, думаю, не особо трудно получить их на тестирование ... |
|||
:
Нравится:
Не нравится:
|
|||
30.05.2018, 11:29 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Ivan DurakУ вас MOLAP ??? или ROLAP ? MOLAP ... |
|||
:
Нравится:
Не нравится:
|
|||
30.05.2018, 11:40 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Критиквыложить, конечно, не могу, железные я не применял, поэтому порекомендовать конкретную модель не могу, но вы можете обратиться в любой интегратор, думаю, не особо трудно получить их на тестирование можете хотябы дать направление куда копать чтобы написать такой балансировщик? где взять описание интерефейсов? вы на .net писали? ... |
|||
:
Нравится:
Не нравится:
|
|||
31.05.2018, 16:32 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
fduch f.f., на c# написан, и не мной, а предыдущими поколениями наших сотрудников, лично я бы не стал писать - уйдет реально куча времени, если уже не иметь отличных знаний, как работает Kerberos (для проброски логина) + не знать протоколы обмена, подозреваю, что и на msdn не все описано, то есть это будет куча работы по трассировке, оценочно несколько человекомесяцев ... |
|||
:
Нравится:
Не нравится:
|
|||
31.05.2018, 16:40 |
|
Масштабирование OLAP SSAS
|
|||
---|---|---|---|
#18+
Max_11111Ivan DurakУ вас MOLAP ??? или ROLAP ? MOLAP их 2 полностью одинаковых?? которые процесятся одновременно? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.06.2018, 18:38 |
|
|
Start [/forum/topic.php?fid=49&tid=1857027]: |
0ms |
get settings: |
4ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
33ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
388ms |
get tp. blocked users: |
1ms |
others: | 7ms |
total: | 447ms |
0 / 0 |