Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ускорение вывода OLAP путём перехода на ROLAP / 25 сообщений из 25, страница 1 из 1
07.06.2019, 05:44
    #39823825
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Кто-нибудь переходил с MOLAP на ROLAP на больших мерах для ускорения вывода?

У меня есть меры по остаткам товаров, и они загружаются в OLAP как остатки на начало каждого месяца и все движения. Затем, MDX-вычислениями, считаются остатки на каждый день. В принципе, учитывая большой объём данных, работает довольно шустро. Но есть проблема с вычислением среднего остатка или ассортимента, когда нужно проводить вычисления в SCOPE по дню и товару. Из-за того что SSAS плохо параллелит вычисления, это всё работает крайне долго.
Пытались развернуть Mondrian ROLAP и брать данные с ArenaData/Greenplum (распределённая колоночная СУБД), но она работала довольно медленно. грубо говоря, там где MOLAP выдавал информацию менее чем за секунду, ROLAP работал по 30 секунд и выше. Поискали результаты сравнений распределённых колоночных СУБД - исходя из них, другие бесплатные СУБД работает ещё медленнее, да и платные не сильно быстрее.
SQL Server не рассматривали, т.к. он не распределённый, и в облака тоже не лезли.

Поискал по форуму, но тут народ в основном использует ROLAP для получения актуальных данных. Есть у кого опыт построения ROLAP на больших объёмах данных, работающего быстрее MOLAP? Можете поделиться как это сделать, если это вообще возможно на текущий момент?
...
Рейтинг: 0 / 0
07.06.2019, 07:57
    #39823838
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Max_11111,

Вообще-то у MS существует PDW (или как там оно теперь называется). Но это крайне дорого и не факт, что поможет - я сотрудникам MS года 3 назад предлагал такую схему: ROLAP + PDW, гарантировать увеличение скорости они не смогли и к идее отнеслись крайне скептически.

Переходите на подневное хранение остатков в базе, тогда формульный движек сможет расчитывать средние остатки/оборачиваемость за один проход, а не как сейчас - сначала посчитает остатки, а затем считает сложные производные меры. Других вариантов нет.
...
Рейтинг: 0 / 0
07.06.2019, 08:57
    #39823853
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Max_11111,

Вынести из куба в отчет ssrs все что работает медленно никак не получается?
...
Рейтинг: 0 / 0
07.06.2019, 09:52
    #39823874
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
КритикMax_11111,
Вообще-то у MS существует PDW (или как там оно теперь называется). Но это крайне дорого и не факт, что поможет - я сотрудникам MS года 3 назад предлагал такую схему: ROLAP + PDW, гарантировать увеличение скорости они не смогли и к идее отнеслись крайне скептически.
PDW для нас сейчас не вариант, т.к. для этого и OLAP и DWH придётся перенести в облако, чтобы не гонять кучу данных туда-сюда. К тому же дорого и не факт что поможет, как Вы говорите.

КритикMax_11111,
Переходите на подневное хранение остатков в базе, тогда формульный движек сможет расчитывать средние остатки/оборачиваемость за один проход, а не как сейчас - сначала посчитает остатки, а затем считает сложные производные меры. Других вариантов нет.
Пробовали построить и на ежедневных остатках, и на месячные + движения. С ArenaData/Greenplum столкнулись с проблемой: Mondrian строит такой запрос, что Master-сервер собирает данные со всех Data-серверов, и только затем их агрегирует.
Можно попробовать колоночную таблицу SQL Server, но не уверен что он потянет большой объём данных и частые запросы, а распределения данных по серверам в MS SQL нет
...
Рейтинг: 0 / 0
07.06.2019, 10:06
    #39823877
Max_11111
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Полковник.Max_11111,
Вынести из куба в отчет ssrs все что работает медленно никак не получается?
медленно работает не только из-за вычислений, но и из-за объёма данных. Мы пытались переработать хранение и сделать ROLAP. Что ROLAP, что отчёт - в этом случае одно и то-же.
Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты.
Но пока хотелось бы постараться выжать максимум возможного из OLAP
...
Рейтинг: 0 / 0
07.06.2019, 12:28
    #39823974
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Интересно а Remote Partitions в ReadOnly будут работать?
помню с SSAS практически любая попытка смешанного использования advanced
опций заканчивалась какими-то проблемами и ограничениями/несовместимостями

Да уж, пока наверное лучший гарантированный вариант - материализация остатков
на каждый день, ценой дискового пространства и дополнительного времени на ETL/ELTMax_11111PDW для нас сейчас не вариант, т.к. для этого и OLAP и DWH придётся перенести в облако, чтобы не гонять кучу данных туда-сюда.Есть on-premises версия, так и осталась называться PDW
(в облаке сначала переименовали в APS , потом в Azure SQL DWH)Max_11111К тому же дорого и не факт что поможет, как Вы говорите.PDW on-premises внедрять - точно дорого.
Облачный вариант: в Azure есть в принципе триал на месяц с бесплатным выделением начального баланса,
не много конечно для DWH нужд - но на несколько дней тестирования должно хватить (если на ночь отключать).
...
Рейтинг: 0 / 0
07.06.2019, 13:28
    #39824012
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Max_11111,

ROLAP это же больше про ускорение пересчета?
про вывод данных, он вроде как еще большую нагрузку вызывает на сервер

а_воронин в теме был, давно не появлялся
...
Рейтинг: 0 / 0
07.06.2019, 13:39
    #39824016
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
StarikNavy,

предположительно при выносе ROLAP на MPP можно пересчёты
на день делать на стороне SQL не храня весь этот тяжелый груз
по дням ни в MOLAP ни в DWH, там по идее нет такого жесткого
single-threaded ограничения как у FE
...
Рейтинг: 0 / 0
07.06.2019, 14:06
    #39824039
Гулин Федор
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Max_11111,

лет 4-5 назад был доклад литвоцев из ad-form
они скрещивали SSAS rolap Vertica
гуглом находиолсь общий док

как я понимаю они собирались потом на Vertica полностью переходить
...
Рейтинг: 0 / 0
07.06.2019, 14:26
    #39824058
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Max_11111,

Я не раз пробовал гибридное сочетание, где исторические партиции в MOLAP, а недавние в ROLAP

Имейте ввиду один момент. Кеш куба существует на уровне группы мер, а не на уровне партиции. Поэтому, когда вы будете обновлять на лету могут быть тормоза.

Лучше держать одно и другое в разных группах мер.
...
Рейтинг: 0 / 0
07.06.2019, 14:28
    #39824061
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Гулин ФедорMax_11111,

лет 4-5 назад был доклад литвоцев из ad-form
они скрещивали SSAS rolap Vertica
гуглом находиолсь общий док

как я понимаю они собирались потом на Vertica полностью переходить

Мы делали в Вайлдберриз кубы от Вертики. Вполне рабочее решение. В том числе и ROLAP.
...
Рейтинг: 0 / 0
07.06.2019, 19:58
    #39824303
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Max_11111Полковник.Max_11111,
Вынести из куба в отчет ssrs все что работает медленно никак не получается?
медленно работает не только из-за вычислений, но и из-за объёма данных. Мы пытались переработать хранение и сделать ROLAP. Что ROLAP, что отчёт - в этом случае одно и то-же.
Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты.
Но пока хотелось бы постараться выжать максимум возможного из OLAP

Дело не в производительности, любой кластер, любую базу данных можно загадить тупыми запросами.

С чего вы взяли, что rolap на ваших запросах будет быстрее?

Меняйте подход, проанализируйте требования по анализу, данных.

Вместо того, что бы решать конкретную проблему вы мечетесь в поисках какой то особенной базы данных, которая вас спасет.
...
Рейтинг: 0 / 0
07.06.2019, 20:53
    #39824314
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.
...
Рейтинг: 0 / 0
07.06.2019, 21:41
    #39824321
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
H5N1Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.

А если не взлетит, то ставить бету 2020?
...
Рейтинг: 0 / 0
07.06.2019, 21:50
    #39824323
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
КритикH5N1Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.

А если не взлетит, то ставить бету 2020?
так в том и прелесть хадупа, что он и в майкрософте хадуп. не важно кто его в докер кладет.
если не взлетит у майкрософта, скачает соседний докер
...
Рейтинг: 0 / 0
08.06.2019, 08:44
    #39824377
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
H5N1Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.

А еще лучше хадуп прикладывать к больной голове от этого сразу все проблемы решаются.
...
Рейтинг: 0 / 0
08.06.2019, 10:44
    #39824391
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Полковник.H5N1Max_11111,

ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз.

А еще лучше хадуп прикладывать к больной голове от этого сразу все проблемы решаются.
ну можно конечно заниматся секасом с всякими мандаринами и гринплумам и все равно вернутся туда куда уже пошла майкрософт и остальные.
...
Рейтинг: 0 / 0
09.06.2019, 23:35
    #39824696
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
а МРР +SSAS не взлетает ибо ODBC
...
Рейтинг: 0 / 0
10.06.2019, 01:23
    #39824714
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
мигель1,

Ты хоть уточняй какой именно MPP у тебя не взлетает,
т.к ещё есть PDW(APS), Azure SQL DWH, Elastic Query Azure SQL DB
где вполне на родном SQL драйвере (совсем не ODBC) летает без проблем.
...
Рейтинг: 0 / 0
10.06.2019, 01:29
    #39824715
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
хотя Elastic Query ещё не пробовал (пока у них только Preview),
так что неизвестно что у них по драйверам в результате получится
...
Рейтинг: 0 / 0
10.06.2019, 11:18
    #39824849
George Nordic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
Max_11111Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты.Да, быстрая вещь - сейчас связку ClickHouse + Qlik использует из ведущих телеком-операторов. Однако с MS к ней сомнительно подцепиться - как повезет: ODBC драйвер сыроват. В итоге забирали через Rest.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
10.06.2019, 12:36
    #39824904
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
мигель1а МРР +SSAS не взлетает ибо ODBC

У вас может и не влезает, у меня влезло
...
Рейтинг: 0 / 0
10.06.2019, 18:27
    #39825078
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
a_voroninУ вас может и не влезает, у меня влезло
через ODBC, или другим путем?
...
Рейтинг: 0 / 0
11.06.2019, 19:07
    #39825572
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
StarikNavya_voroninУ вас может и не влезает, у меня влезло
через ODBC, или другим путем?

Борьба с OLEDB драйвером, чтобы заставить его работать под SSAS обсуждалась здесь.

https://www.sql.ru/forum/1164053-1/vertica-ssas

Посмотрите, что такое "cartridge file"
...
Рейтинг: 0 / 0
13.06.2019, 11:55
    #39826049
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение вывода OLAP путём перехода на ROLAP
a_voronin,

спасибо!
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ускорение вывода OLAP путём перехода на ROLAP / 25 сообщений из 25, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]