powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ускорение вывода OLAP путём перехода на ROLAP
25 сообщений из 25, страница 1 из 1
Ускорение вывода OLAP путём перехода на ROLAP
    #39823825
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Кто-нибудь переходил с MOLAP на ROLAP на больших мерах для ускорения вывода?

У меня есть меры по остаткам товаров, и они загружаются в OLAP как остатки на начало каждого месяца и все движения. Затем, MDX-вычислениями, считаются остатки на каждый день. В принципе, учитывая большой объём данных, работает довольно шустро. Но есть проблема с вычислением среднего остатка или ассортимента, когда нужно проводить вычисления в SCOPE по дню и товару. Из-за того что SSAS плохо параллелит вычисления, это всё работает крайне долго.
Пытались развернуть Mondrian ROLAP и брать данные с ArenaData/Greenplum (распределённая колоночная СУБД), но она работала довольно медленно. грубо говоря, там где MOLAP выдавал информацию менее чем за секунду, ROLAP работал по 30 секунд и выше. Поискали результаты сравнений распределённых колоночных СУБД - исходя из них, другие бесплатные СУБД работает ещё медленнее, да и платные не сильно быстрее.
SQL Server не рассматривали, т.к. он не распределённый, и в облака тоже не лезли.

Поискал по форуму, но тут народ в основном использует ROLAP для получения актуальных данных. Есть у кого опыт построения ROLAP на больших объёмах данных, работающего быстрее MOLAP? Можете поделиться как это сделать, если это вообще возможно на текущий момент?
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39823838
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111,

Вообще-то у MS существует PDW (или как там оно теперь называется). Но это крайне дорого и не факт, что поможет - я сотрудникам MS года 3 назад предлагал такую схему: ROLAP + PDW, гарантировать увеличение скорости они не смогли и к идее отнеслись крайне скептически.

Переходите на подневное хранение остатков в базе, тогда формульный движек сможет расчитывать средние остатки/оборачиваемость за один проход, а не как сейчас - сначала посчитает остатки, а затем считает сложные производные меры. Других вариантов нет.
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39823853
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111,

Вынести из куба в отчет ssrs все что работает медленно никак не получается?
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39823874
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
КритикMax_11111,
Вообще-то у MS существует PDW (или как там оно теперь называется). Но это крайне дорого и не факт, что поможет - я сотрудникам MS года 3 назад предлагал такую схему: ROLAP + PDW, гарантировать увеличение скорости они не смогли и к идее отнеслись крайне скептически.
PDW для нас сейчас не вариант, т.к. для этого и OLAP и DWH придётся перенести в облако, чтобы не гонять кучу данных туда-сюда. К тому же дорого и не факт что поможет, как Вы говорите.

КритикMax_11111,
Переходите на подневное хранение остатков в базе, тогда формульный движек сможет расчитывать средние остатки/оборачиваемость за один проход, а не как сейчас - сначала посчитает остатки, а затем считает сложные производные меры. Других вариантов нет.
Пробовали построить и на ежедневных остатках, и на месячные + движения. С ArenaData/Greenplum столкнулись с проблемой: Mondrian строит такой запрос, что Master-сервер собирает данные со всех Data-серверов, и только затем их агрегирует.
Можно попробовать колоночную таблицу SQL Server, но не уверен что он потянет большой объём данных и частые запросы, а распределения данных по серверам в MS SQL нет
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39823877
Max_11111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник.Max_11111,
Вынести из куба в отчет ssrs все что работает медленно никак не получается?
медленно работает не только из-за вычислений, но и из-за объёма данных. Мы пытались переработать хранение и сделать ROLAP. Что ROLAP, что отчёт - в этом случае одно и то-же.
Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты.
Но пока хотелось бы постараться выжать максимум возможного из OLAP
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39823974
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Интересно а Remote Partitions в ReadOnly будут работать?
помню с SSAS практически любая попытка смешанного использования advanced
опций заканчивалась какими-то проблемами и ограничениями/несовместимостями

Да уж, пока наверное лучший гарантированный вариант - материализация остатков
на каждый день, ценой дискового пространства и дополнительного времени на ETL/ELTMax_11111PDW для нас сейчас не вариант, т.к. для этого и OLAP и DWH придётся перенести в облако, чтобы не гонять кучу данных туда-сюда.Есть on-premises версия, так и осталась называться PDW
(в облаке сначала переименовали в APS , потом в Azure SQL DWH)Max_11111К тому же дорого и не факт что поможет, как Вы говорите.PDW on-premises внедрять - точно дорого.
Облачный вариант: в Azure есть в принципе триал на месяц с бесплатным выделением начального баланса,
не много конечно для DWH нужд - но на несколько дней тестирования должно хватить (если на ночь отключать).
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824012
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111,

ROLAP это же больше про ускорение пересчета?
про вывод данных, он вроде как еще большую нагрузку вызывает на сервер

а_воронин в теме был, давно не появлялся
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824016
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
StarikNavy,

предположительно при выносе ROLAP на MPP можно пересчёты
на день делать на стороне SQL не храня весь этот тяжелый груз
по дням ни в MOLAP ни в DWH, там по идее нет такого жесткого
single-threaded ограничения как у FE
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824039
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111,

лет 4-5 назад был доклад литвоцев из ad-form
они скрещивали SSAS rolap Vertica
гуглом находиолсь общий док

как я понимаю они собирались потом на Vertica полностью переходить
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824058
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111,

Я не раз пробовал гибридное сочетание, где исторические партиции в MOLAP, а недавние в ROLAP

Имейте ввиду один момент. Кеш куба существует на уровне группы мер, а не на уровне партиции. Поэтому, когда вы будете обновлять на лету могут быть тормоза.

Лучше держать одно и другое в разных группах мер.
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824061
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гулин ФедорMax_11111,

лет 4-5 назад был доклад литвоцев из ad-form
они скрещивали SSAS rolap Vertica
гуглом находиолсь общий док

как я понимаю они собирались потом на Vertica полностью переходить

Мы делали в Вайлдберриз кубы от Вертики. Вполне рабочее решение. В том числе и ROLAP.
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824303
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111Полковник.Max_11111,
Вынести из куба в отчет ssrs все что работает медленно никак не получается?
медленно работает не только из-за вычислений, но и из-за объёма данных. Мы пытались переработать хранение и сделать ROLAP. Что ROLAP, что отчёт - в этом случае одно и то-же.
Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты.
Но пока хотелось бы постараться выжать максимум возможного из OLAP

Дело не в производительности, любой кластер, любую базу данных можно загадить тупыми запросами.

С чего вы взяли, что rolap на ваших запросах будет быстрее?

Меняйте подход, проанализируйте требования по анализу, данных.

Вместо того, что бы решать конкретную проблему вы мечетесь в поисках какой то особенной базы данных, которая вас спасет.
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824314
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824321
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.

А если не взлетит, то ставить бету 2020?
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824323
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КритикH5N1Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.

А если не взлетит, то ставить бету 2020?
так в том и прелесть хадупа, что он и в майкрософте хадуп. не важно кто его в докер кладет.
если не взлетит у майкрософта, скачает соседний докер
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824377
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.

А еще лучше хадуп прикладывать к больной голове от этого сразу все проблемы решаются.
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824391
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.H5N1Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.

А еще лучше хадуп прикладывать к больной голове от этого сразу все проблемы решаются.
ну можно конечно заниматся секасом с всякими мандаринами и гринплумам и все равно вернутся туда куда уже пошла майкрософт и остальные.
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824696
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а МРР +SSAS не взлетает ибо ODBC
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824714
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Ты хоть уточняй какой именно MPP у тебя не взлетает,
т.к ещё есть PDW(APS), Azure SQL DWH, Elastic Query Azure SQL DB
где вполне на родном SQL драйвере (совсем не ODBC) летает без проблем.
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824715
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хотя Elastic Query ещё не пробовал (пока у них только Preview),
так что неизвестно что у них по драйверам в результате получится
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824849
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Max_11111Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты.Да, быстрая вещь - сейчас связку ClickHouse + Qlik использует из ведущих телеком-операторов. Однако с MS к ней сомнительно подцепиться - как повезет: ODBC драйвер сыроват. В итоге забирали через Rest.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39824904
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1а МРР +SSAS не взлетает ибо ODBC

У вас может и не влезает, у меня влезло
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39825078
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voroninУ вас может и не влезает, у меня влезло
через ODBC, или другим путем?
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39825572
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
StarikNavya_voroninУ вас может и не влезает, у меня влезло
через ODBC, или другим путем?

Борьба с OLEDB драйвером, чтобы заставить его работать под SSAS обсуждалась здесь.

https://www.sql.ru/forum/1164053-1/vertica-ssas

Посмотрите, что такое "cartridge file"
...
Рейтинг: 0 / 0
Ускорение вывода OLAP путём перехода на ROLAP
    #39826049
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,

спасибо!
...
Рейтинг: 0 / 0
25 сообщений из 25, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ускорение вывода OLAP путём перехода на ROLAP
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]