Гость
Map
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Масштабирование OLAP SSAS / 20 сообщений из 20, страница 1 из 1
25.05.2018, 10:47
    #39649741
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
У нас развёрнут NLB кластер на 2 машины c одинаковыми характеристиками. OLAP развёрнут на MS SSAS 2012 (при необходимости можем обновить до 2017 версии).
Встал вопрос расширения кластера, т.к. текущий не справляется с нагрузкой. Хотели купить два мощных сервера (новый сервер примерно в 2 раза мощнее старого), но одобрили пока только один.
Вопрос вот в чём:
на 2 серверах через NLB нагрузка распределялась 50/50
на 3 серверах через NLB нагрузка будет распределяться 34/33/33, т.е. пропорционально количеству машин. Но одна машина то по мощности равна 2! Можно ли настроить балансировку на NLB как 50/25/25? Либо использовать какой-либо другой балансировщик, совместимый с SSAS OLAP, так чтобы можно было подключаться из Excel?
MS рекомендует только NLB
...
Рейтинг: 0 / 0
25.05.2018, 12:47
    #39649841
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Max_11111Можно ли настроить балансировку на NLB как 50/25/25?да, изменением параметров узлов кластера.
...
Рейтинг: 0 / 0
25.05.2018, 12:57
    #39649844
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Вроде это настройка "NLB Load Weight" (Port Rules). Но сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко, в основном это во первых CPU, во вторых RAM/память (кэш), и только потом доступ к диску и сеть.
...
Рейтинг: 0 / 0
25.05.2018, 13:25
    #39649870
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
vikkivНо сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редкос каких пор NLB кластер решает "проблемы с сетью"?
...
Рейтинг: 0 / 0
25.05.2018, 13:32
    #39649876
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Дедушка,
?
docs.microsoft.com: https://docs.microsoft.com/en-us/windows-server/networking/technologies/network-load-balancing]The Network Load Balancing (NLB) feature distributes traffic across several servers by using the TCP/IP networking protocol.
...
Рейтинг: 0 / 0
25.05.2018, 13:33
    #39649877
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
а нагрузка (перегрузка) сети и есть одна из её (возможных) проблем, разве нет?
...
Рейтинг: 0 / 0
25.05.2018, 14:09
    #39649924
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Max_11111,

у нас софтовый балансировщик (сервис, который эмулирует SSAS, а потом прокидывает запрос в зависимости от плавающего окна нагрузки на конкретном экземпляре),

но думаю, ничего не мешает забабахать железный балансировщик на тех же принципах (только глянуть в спецификацию балансировщика)
...
Рейтинг: 0 / 0
25.05.2018, 19:44
    #39650129
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Дедушка,

к стати NLB как раз в некотором роде создаёт лишную нагрузку (т.к. пакеты шлются ко всем нодам, просто остальные эти пакеты фильтруют) в сети.
В некоторых источниках прямым текстом так и говорится что NLB не балансирует ни CPU ни RAM нагрузку,
>>>>> .. NLB .. Unable to consider each servers current CPU load and RAM utilisation when distributing client load. .... <<<<
обычно есть некоторая корреляция при однотипности потока запросов, но в реальности корпоративная среда насыщена именно разнотипными запросами (с вовсе не плоским распределением между передачей данных {сети} и нагрузкой на Calculation Engine / Cache) и NLB по большому счёту для SSAS как мёртвому припарка (т.е. в некотором роде безполезен, процесс стохастический - полезность будет если вероятность типов запросов на одну ноду не сильно раличается). .. плюс например в конце месяца бухгалтерия кэширует одну группу мер, а логистика с продажами - совсем другие, ну и в результате балансировки будут активно чистить друг-другу кэш паралельно жалуясь IT что почему-то очень медленно работает...

Сам наблюдал как выделяли бюджеты на например на Failover Cluster системы просто от не понимая для чего это (надеясь что это магически что-то там решит с производительностью по советам заинтересованных "консультантов") - без необходимости (т.е. без совмещения целей и средств из-за пробела в знаниях).
...
Рейтинг: 0 / 0
28.05.2018, 02:59
    #39650811
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
ДедушкаMax_11111Можно ли настроить балансировку на NLB как 50/25/25?да, изменением параметров узлов кластера.
vikkivВроде это настройка "NLB Load Weight" (Port Rules)
Спасибо. Только после ваших ответов увидел эти настройки. Тупанул :)
...
Рейтинг: 0 / 0
28.05.2018, 03:41
    #39650813
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
vikkivНо сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко, в основном это во первых CPU, во вторых RAM/память (кэш), и только потом доступ к диску и сеть.
Для наших целей пока хватает NLB. Мощностей 1 сервера не хватает для обработки всех запросов, пришлось настраивать кластер на 2 серверах. В принципе нагрузка на них ложится примерно одинаково (мерим по количеству запросов и нагрузке на проц)
...
Рейтинг: 0 / 0
28.05.2018, 03:46
    #39650814
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
КритикMax_11111,

у нас софтовый балансировщик (сервис, который эмулирует SSAS, а потом прокидывает запрос в зависимости от плавающего окна нагрузки на конкретном экземпляре),

но думаю, ничего не мешает забабахать железный балансировщик на тех же принципах (только глянуть в спецификацию балансировщика)
А можно чуть подробнее про Ваш балансировщик? У нас тоже есть идея написать что-то своё для этого, но пока я не понимаю как из Excel (основной клиент пользователей) подключаться к SSAS через самописное приложение.
С NLB я, в принципе, представляю как это работает: Excel подключается по ip к кластеру, а тот ему подсовывает ip конкретного сервера.
Но вот по какому протоколу должен работать балансировщик, и какой порт прослушивать - этого я не знаю
...
Рейтинг: 0 / 0
28.05.2018, 15:20
    #39651134
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Max_11111Но вот по какому протоколу должен работать балансировщик, и какой порт прослушивать - этого я не знаю

Это обычный сервис, который для всего остального ПО выглядит как SSAS (использует абсолютно те же порты и протоколы), только не обрабатывает запрос, а пробрасывает его дальше на сервер из его списка.

Написать с нуля будет довольно дорого, вам проще глянуть в сторону железных балансировщиков.
...
Рейтинг: 0 / 0
30.05.2018, 02:13
    #39652144
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
КритикЭто обычный сервис, который для всего остального ПО выглядит как SSAS (использует абсолютно те же порты и протоколы), только не обрабатывает запрос, а пробрасывает его дальше на сервер из его списка.
Написать с нуля будет довольно дорого, вам проще глянуть в сторону железных балансировщиков.
Ваш балансировщик является коммерческой тайной, или Вы можете выложить его код в открытый доступ?
Можете привести примеры железных балансировщиков, а то я в этом не разбираюсь?
...
Рейтинг: 0 / 0
30.05.2018, 11:18
    #39652325
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Max_11111У нас развёрнут NLB кластер на 2 машины c одинаковыми характеристиками. OLAP развёрнут на MS SSAS 2012
У вас MOLAP ??? или ROLAP ?
...
Рейтинг: 0 / 0
30.05.2018, 11:29
    #39652339
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
выложить, конечно, не могу,
железные я не применял, поэтому порекомендовать конкретную модель не могу, но вы можете обратиться в любой интегратор, думаю, не особо трудно получить их на тестирование
...
Рейтинг: 0 / 0
30.05.2018, 11:40
    #39652348
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Ivan DurakУ вас MOLAP ??? или ROLAP ?
MOLAP
...
Рейтинг: 0 / 0
31.05.2018, 16:32
    #39653430
fduch f.f.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Критиквыложить, конечно, не могу,
железные я не применял, поэтому порекомендовать конкретную модель не могу, но вы можете обратиться в любой интегратор, думаю, не особо трудно получить их на тестирование

можете хотябы дать направление куда копать чтобы написать такой балансировщик?
где взять описание интерефейсов? вы на .net писали?
...
Рейтинг: 0 / 0
31.05.2018, 16:40
    #39653436
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
fduch f.f.,

на c# написан,
и не мной, а предыдущими поколениями наших сотрудников,

лично я бы не стал писать - уйдет реально куча времени, если уже не иметь отличных знаний, как работает Kerberos (для проброски логина) + не знать протоколы обмена,

подозреваю, что и на msdn не все описано, то есть это будет куча работы по трассировке,
оценочно несколько человекомесяцев
...
Рейтинг: 0 / 0
01.06.2018, 18:38
    #39654177
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Max_11111Ivan DurakУ вас MOLAP ??? или ROLAP ?
MOLAP
их 2 полностью одинаковых?? которые процесятся одновременно?
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
28.02.2022, 16:02
    #40136727
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Масштабирование OLAP SSAS
Ivan Durak
Max_11111пропущено...

MOLAP

которые процесятся одновременно?
тот ж вопрос
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Масштабирование OLAP SSAS / 20 сообщений из 20, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]