powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Масштабирование OLAP SSAS
20 сообщений из 20, страница 1 из 1
Масштабирование OLAP SSAS
    #39649741
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
У нас развёрнут NLB кластер на 2 машины c одинаковыми характеристиками. OLAP развёрнут на MS SSAS 2012 (при необходимости можем обновить до 2017 версии).
Встал вопрос расширения кластера, т.к. текущий не справляется с нагрузкой. Хотели купить два мощных сервера (новый сервер примерно в 2 раза мощнее старого), но одобрили пока только один.
Вопрос вот в чём:
на 2 серверах через NLB нагрузка распределялась 50/50
на 3 серверах через NLB нагрузка будет распределяться 34/33/33, т.е. пропорционально количеству машин. Но одна машина то по мощности равна 2! Можно ли настроить балансировку на NLB как 50/25/25? Либо использовать какой-либо другой балансировщик, совместимый с SSAS OLAP, так чтобы можно было подключаться из Excel?
MS рекомендует только NLB
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39649841
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111Можно ли настроить балансировку на NLB как 50/25/25?да, изменением параметров узлов кластера.
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39649844
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вроде это настройка "NLB Load Weight" (Port Rules). Но сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко, в основном это во первых CPU, во вторых RAM/память (кэш), и только потом доступ к диску и сеть.
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39649870
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkivНо сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редкос каких пор NLB кластер решает "проблемы с сетью"?
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39649876
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушка,
?
docs.microsoft.com: https://docs.microsoft.com/en-us/windows-server/networking/technologies/network-load-balancing]The Network Load Balancing (NLB) feature distributes traffic across several servers by using the TCP/IP networking protocol.
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39649877
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а нагрузка (перегрузка) сети и есть одна из её (возможных) проблем, разве нет?
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39649924
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111,

у нас софтовый балансировщик (сервис, который эмулирует SSAS, а потом прокидывает запрос в зависимости от плавающего окна нагрузки на конкретном экземпляре),

но думаю, ничего не мешает забабахать железный балансировщик на тех же принципах (только глянуть в спецификацию балансировщика)
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39650129
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушка,

к стати NLB как раз в некотором роде создаёт лишную нагрузку (т.к. пакеты шлются ко всем нодам, просто остальные эти пакеты фильтруют) в сети.
В некоторых источниках прямым текстом так и говорится что NLB не балансирует ни CPU ни RAM нагрузку,
>>>>> .. NLB .. Unable to consider each servers current CPU load and RAM utilisation when distributing client load. .... <<<<
обычно есть некоторая корреляция при однотипности потока запросов, но в реальности корпоративная среда насыщена именно разнотипными запросами (с вовсе не плоским распределением между передачей данных {сети} и нагрузкой на Calculation Engine / Cache) и NLB по большому счёту для SSAS как мёртвому припарка (т.е. в некотором роде безполезен, процесс стохастический - полезность будет если вероятность типов запросов на одну ноду не сильно раличается). .. плюс например в конце месяца бухгалтерия кэширует одну группу мер, а логистика с продажами - совсем другие, ну и в результате балансировки будут активно чистить друг-другу кэш паралельно жалуясь IT что почему-то очень медленно работает...

Сам наблюдал как выделяли бюджеты на например на Failover Cluster системы просто от не понимая для чего это (надеясь что это магически что-то там решит с производительностью по советам заинтересованных "консультантов") - без необходимости (т.е. без совмещения целей и средств из-за пробела в знаниях).
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39650811
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ДедушкаMax_11111Можно ли настроить балансировку на NLB как 50/25/25?да, изменением параметров узлов кластера.
vikkivВроде это настройка "NLB Load Weight" (Port Rules)
Спасибо. Только после ваших ответов увидел эти настройки. Тупанул :)
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39650813
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkivНо сначала удостоверься что именно NLB нужен, сеть для SSAS узкое место очень редко, в основном это во первых CPU, во вторых RAM/память (кэш), и только потом доступ к диску и сеть.
Для наших целей пока хватает NLB. Мощностей 1 сервера не хватает для обработки всех запросов, пришлось настраивать кластер на 2 серверах. В принципе нагрузка на них ложится примерно одинаково (мерим по количеству запросов и нагрузке на проц)
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39650814
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
КритикMax_11111,

у нас софтовый балансировщик (сервис, который эмулирует SSAS, а потом прокидывает запрос в зависимости от плавающего окна нагрузки на конкретном экземпляре),

но думаю, ничего не мешает забабахать железный балансировщик на тех же принципах (только глянуть в спецификацию балансировщика)
А можно чуть подробнее про Ваш балансировщик? У нас тоже есть идея написать что-то своё для этого, но пока я не понимаю как из Excel (основной клиент пользователей) подключаться к SSAS через самописное приложение.
С NLB я, в принципе, представляю как это работает: Excel подключается по ip к кластеру, а тот ему подсовывает ip конкретного сервера.
Но вот по какому протоколу должен работать балансировщик, и какой порт прослушивать - этого я не знаю
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39651134
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111Но вот по какому протоколу должен работать балансировщик, и какой порт прослушивать - этого я не знаю

Это обычный сервис, который для всего остального ПО выглядит как SSAS (использует абсолютно те же порты и протоколы), только не обрабатывает запрос, а пробрасывает его дальше на сервер из его списка.

Написать с нуля будет довольно дорого, вам проще глянуть в сторону железных балансировщиков.
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39652144
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
КритикЭто обычный сервис, который для всего остального ПО выглядит как SSAS (использует абсолютно те же порты и протоколы), только не обрабатывает запрос, а пробрасывает его дальше на сервер из его списка.
Написать с нуля будет довольно дорого, вам проще глянуть в сторону железных балансировщиков.
Ваш балансировщик является коммерческой тайной, или Вы можете выложить его код в открытый доступ?
Можете привести примеры железных балансировщиков, а то я в этом не разбираюсь?
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39652325
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111У нас развёрнут NLB кластер на 2 машины c одинаковыми характеристиками. OLAP развёрнут на MS SSAS 2012
У вас MOLAP ??? или ROLAP ?
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39652339
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
выложить, конечно, не могу,
железные я не применял, поэтому порекомендовать конкретную модель не могу, но вы можете обратиться в любой интегратор, думаю, не особо трудно получить их на тестирование
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39652348
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ivan DurakУ вас MOLAP ??? или ROLAP ?
MOLAP
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39653430
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критиквыложить, конечно, не могу,
железные я не применял, поэтому порекомендовать конкретную модель не могу, но вы можете обратиться в любой интегратор, думаю, не особо трудно получить их на тестирование

можете хотябы дать направление куда копать чтобы написать такой балансировщик?
где взять описание интерефейсов? вы на .net писали?
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39653436
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fduch f.f.,

на c# написан,
и не мной, а предыдущими поколениями наших сотрудников,

лично я бы не стал писать - уйдет реально куча времени, если уже не иметь отличных знаний, как работает Kerberos (для проброски логина) + не знать протоколы обмена,

подозреваю, что и на msdn не все описано, то есть это будет куча работы по трассировке,
оценочно несколько человекомесяцев
...
Рейтинг: 0 / 0
Масштабирование OLAP SSAS
    #39654177
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111Ivan DurakУ вас MOLAP ??? или ROLAP ?
MOLAP
их 2 полностью одинаковых?? которые процесятся одновременно?
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Масштабирование OLAP SSAS
    #40136727
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durak
Max_11111пропущено...

MOLAP

которые процесятся одновременно?
тот ж вопрос
...
Рейтинг: 0 / 0
20 сообщений из 20, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Масштабирование OLAP SSAS
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (7): Анонимы (5), Bing Bot 1 мин., Yandex Bot 1 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]