|
|
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Кто-нибудь переходил с MOLAP на ROLAP на больших мерах для ускорения вывода? У меня есть меры по остаткам товаров, и они загружаются в OLAP как остатки на начало каждого месяца и все движения. Затем, MDX-вычислениями, считаются остатки на каждый день. В принципе, учитывая большой объём данных, работает довольно шустро. Но есть проблема с вычислением среднего остатка или ассортимента, когда нужно проводить вычисления в SCOPE по дню и товару. Из-за того что SSAS плохо параллелит вычисления, это всё работает крайне долго. Пытались развернуть Mondrian ROLAP и брать данные с ArenaData/Greenplum (распределённая колоночная СУБД), но она работала довольно медленно. грубо говоря, там где MOLAP выдавал информацию менее чем за секунду, ROLAP работал по 30 секунд и выше. Поискали результаты сравнений распределённых колоночных СУБД - исходя из них, другие бесплатные СУБД работает ещё медленнее, да и платные не сильно быстрее. SQL Server не рассматривали, т.к. он не распределённый, и в облака тоже не лезли. Поискал по форуму, но тут народ в основном использует ROLAP для получения актуальных данных. Есть у кого опыт построения ROLAP на больших объёмах данных, работающего быстрее MOLAP? Можете поделиться как это сделать, если это вообще возможно на текущий момент? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 05:44 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Max_11111, Вообще-то у MS существует PDW (или как там оно теперь называется). Но это крайне дорого и не факт, что поможет - я сотрудникам MS года 3 назад предлагал такую схему: ROLAP + PDW, гарантировать увеличение скорости они не смогли и к идее отнеслись крайне скептически. Переходите на подневное хранение остатков в базе, тогда формульный движек сможет расчитывать средние остатки/оборачиваемость за один проход, а не как сейчас - сначала посчитает остатки, а затем считает сложные производные меры. Других вариантов нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 07:57 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Max_11111, Вынести из куба в отчет ssrs все что работает медленно никак не получается? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 08:57 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
КритикMax_11111, Вообще-то у MS существует PDW (или как там оно теперь называется). Но это крайне дорого и не факт, что поможет - я сотрудникам MS года 3 назад предлагал такую схему: ROLAP + PDW, гарантировать увеличение скорости они не смогли и к идее отнеслись крайне скептически. PDW для нас сейчас не вариант, т.к. для этого и OLAP и DWH придётся перенести в облако, чтобы не гонять кучу данных туда-сюда. К тому же дорого и не факт что поможет, как Вы говорите. КритикMax_11111, Переходите на подневное хранение остатков в базе, тогда формульный движек сможет расчитывать средние остатки/оборачиваемость за один проход, а не как сейчас - сначала посчитает остатки, а затем считает сложные производные меры. Других вариантов нет. Пробовали построить и на ежедневных остатках, и на месячные + движения. С ArenaData/Greenplum столкнулись с проблемой: Mondrian строит такой запрос, что Master-сервер собирает данные со всех Data-серверов, и только затем их агрегирует. Можно попробовать колоночную таблицу SQL Server, но не уверен что он потянет большой объём данных и частые запросы, а распределения данных по серверам в MS SQL нет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 09:52 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Полковник.Max_11111, Вынести из куба в отчет ssrs все что работает медленно никак не получается? медленно работает не только из-за вычислений, но и из-за объёма данных. Мы пытались переработать хранение и сделать ROLAP. Что ROLAP, что отчёт - в этом случае одно и то-же. Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты. Но пока хотелось бы постараться выжать максимум возможного из OLAP ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 10:06 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Интересно а Remote Partitions в ReadOnly будут работать? помню с SSAS практически любая попытка смешанного использования advanced опций заканчивалась какими-то проблемами и ограничениями/несовместимостями Да уж, пока наверное лучший гарантированный вариант - материализация остатков на каждый день, ценой дискового пространства и дополнительного времени на ETL/ELTMax_11111PDW для нас сейчас не вариант, т.к. для этого и OLAP и DWH придётся перенести в облако, чтобы не гонять кучу данных туда-сюда.Есть on-premises версия, так и осталась называться PDW (в облаке сначала переименовали в APS , потом в Azure SQL DWH)Max_11111К тому же дорого и не факт что поможет, как Вы говорите.PDW on-premises внедрять - точно дорого. Облачный вариант: в Azure есть в принципе триал на месяц с бесплатным выделением начального баланса, не много конечно для DWH нужд - но на несколько дней тестирования должно хватить (если на ночь отключать). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 12:28 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Max_11111, ROLAP это же больше про ускорение пересчета? про вывод данных, он вроде как еще большую нагрузку вызывает на сервер а_воронин в теме был, давно не появлялся ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 13:28 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
StarikNavy, предположительно при выносе ROLAP на MPP можно пересчёты на день делать на стороне SQL не храня весь этот тяжелый груз по дням ни в MOLAP ни в DWH, там по идее нет такого жесткого single-threaded ограничения как у FE ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 13:39 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Max_11111, лет 4-5 назад был доклад литвоцев из ad-form они скрещивали SSAS rolap Vertica гуглом находиолсь общий док как я понимаю они собирались потом на Vertica полностью переходить ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 14:06 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Max_11111, Я не раз пробовал гибридное сочетание, где исторические партиции в MOLAP, а недавние в ROLAP Имейте ввиду один момент. Кеш куба существует на уровне группы мер, а не на уровне партиции. Поэтому, когда вы будете обновлять на лету могут быть тормоза. Лучше держать одно и другое в разных группах мер. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 14:26 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Гулин ФедорMax_11111, лет 4-5 назад был доклад литвоцев из ad-form они скрещивали SSAS rolap Vertica гуглом находиолсь общий док как я понимаю они собирались потом на Vertica полностью переходить Мы делали в Вайлдберриз кубы от Вертики. Вполне рабочее решение. В том числе и ROLAP. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 14:28 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Max_11111Полковник.Max_11111, Вынести из куба в отчет ssrs все что работает медленно никак не получается? медленно работает не только из-за вычислений, но и из-за объёма данных. Мы пытались переработать хранение и сделать ROLAP. Что ROLAP, что отчёт - в этом случае одно и то-же. Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты. Но пока хотелось бы постараться выжать максимум возможного из OLAP Дело не в производительности, любой кластер, любую базу данных можно загадить тупыми запросами. С чего вы взяли, что rolap на ваших запросах будет быстрее? Меняйте подход, проанализируйте требования по анализу, данных. Вместо того, что бы решать конкретную проблему вы мечетесь в поисках какой то особенной базы данных, которая вас спасет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 19:58 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Max_11111, ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 20:53 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
H5N1Max_11111, ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз. А если не взлетит, то ставить бету 2020? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 21:41 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
КритикH5N1Max_11111, ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз. А если не взлетит, то ставить бету 2020? так в том и прелесть хадупа, что он и в майкрософте хадуп. не важно кто его в докер кладет. если не взлетит у майкрософта, скачает соседний докер ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2019, 21:50 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
H5N1Max_11111, ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз. А еще лучше хадуп прикладывать к больной голове от этого сразу все проблемы решаются. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2019, 08:44 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Полковник.H5N1Max_11111, ставьте бету мсскл2019 и переделывайте под хадуп, пока переделаете подоспеет релиз. А еще лучше хадуп прикладывать к больной голове от этого сразу все проблемы решаются. ну можно конечно заниматся секасом с всякими мандаринами и гринплумам и все равно вернутся туда куда уже пошла майкрософт и остальные. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2019, 10:44 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
а МРР +SSAS не взлетает ибо ODBC ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.06.2019, 23:35 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
мигель1, Ты хоть уточняй какой именно MPP у тебя не взлетает, т.к ещё есть PDW(APS), Azure SQL DWH, Elastic Query Azure SQL DB где вполне на родном SQL драйвере (совсем не ODBC) летает без проблем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.06.2019, 01:23 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
хотя Elastic Query ещё не пробовал (пока у них только Preview), так что неизвестно что у них по драйверам в результате получится ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.06.2019, 01:29 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
Max_11111Есть ещё ClickHouse - распределённая колоночная БД, и по документации, и по всяким сравнениям производительности - намного более быстрая БД чем все остальные. Но у неё свой SQL синтаксис, не совместимый с любым OLAP. Возможно стоит в неё лить данные и над ней строить отчёты.Да, быстрая вещь - сейчас связку ClickHouse + Qlik использует из ведущих телеком-операторов. Однако с MS к ней сомнительно подцепиться - как повезет: ODBC драйвер сыроват. В итоге забирали через Rest. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.06.2019, 11:18 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
мигель1а МРР +SSAS не взлетает ибо ODBC У вас может и не влезает, у меня влезло ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.06.2019, 12:36 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
a_voroninУ вас может и не влезает, у меня влезло через ODBC, или другим путем? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.06.2019, 18:27 |
|
||
|
Ускорение вывода OLAP путём перехода на ROLAP
|
|||
|---|---|---|---|
|
#18+
StarikNavya_voroninУ вас может и не влезает, у меня влезло через ODBC, или другим путем? Борьба с OLEDB драйвером, чтобы заставить его работать под SSAS обсуждалась здесь. https://www.sql.ru/forum/1164053-1/vertica-ssas Посмотрите, что такое "cartridge file" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.06.2019, 19:07 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39823874&tid=1857569]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
157ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
| others: | 14ms |
| total: | 273ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...