|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
Собственно субж :) Быстро? Как ведет себя вертика, если кубы на 5-10 тб? Молап или ролап? Скорость процессинга? Спасибо, если поделитесь опытом ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2014, 01:06 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
MOLAP и Vertica - это 2 несовместимых понятия. А ROLAP - это набор обычных табличек, обвешанных метаданными. Их можно и на Access сделать. Я не специалист в Vertica, но, судя по всему, сама Vertica метаданные с описанием кубов у себя не держит. А значит эти метаданные должен хранить BI-инструмент. Как только вы не используете этот BI-инструмент - вся прелесть OLAP теряется. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2014, 01:15 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
Alexander Ryndin, спасибо за мнение, хотя, я думаю, вернее - знаю, что вы не правы. Надеюсь, ASCRUS, Vovaka смогут это подтвердить фактами. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2014, 19:07 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
_DogAlexander Ryndin, спасибо за мнение, хотя, я думаю, вернее - знаю, что вы не правы. Надеюсь, ASCRUS, Vovaka смогут это подтвердить фактами.в чем не прав то? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2014, 19:57 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
_DogAlexander Ryndin, спасибо за мнение, хотя, я думаю, вернее - знаю, что вы не правы. Надеюсь, ASCRUS, Vovaka смогут это подтвердить фактами. Ну в общем то Александр прав :) Вертика чистый РСУБД, поэтому изначально используется ROLAP. MPP позволяет достаточно шустро обрабатывать большие объемы данных по запросам, которые генерируются BI. У нас в некоторых проектах заказчики так же используют MOLAP. Для этого на MOLAP делаются кубы и настраивается их инкрементное обновление. Сервер MOLAP шлет агрегатные запросы с фильтрацией по инкременту на Вертику, получает результат и сохраняет себе. Основной здесь недостаток естественно же перестройка кубов. Любой повод что то поменять структуре куба выливается в требование полностью его перегрузить и пересчитать. Это дает дополнительные нагрузки на Вертику, плюс занимает вполне солидное время. Поэтому я планирую помочь нашим клиентам уйти от такой схемы, уведя хранение первички на hadoop, с которого будет поступать схлопнутая информация в Вертику и считаться агрегаты для кубов MOLAP. Чего в общем то и всем желаю, кто собирается одновременно использовать аналитические хранилища данных и кубы одновременно. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2014, 22:45 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
Alexander RyndinMOLAP и Vertica - это 2 несовместимых понятия. Вот тут я некорректно, конечно, выразился. Правильнее сказать, что Vertica не реализует MOLAP. MOLAP - это, обычно, специализированная СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2014, 00:54 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
ASCRUS Вертика чистый РСУБД, поэтому изначально используется ROLAP. MPP позволяет достаточно шустро обрабатывать большие объемы данных по запросам, которые генерируются BI. У нас в некоторых проектах заказчики так же используют MOLAP. Для этого на MOLAP делаются кубы и настраивается их инкрементное обновление. Сервер MOLAP шлет агрегатные запросы с фильтрацией по инкременту на Вертику, получает результат и сохраняет себе. Основной здесь недостаток естественно же перестройка кубов. Любой повод что то поменять структуре куба выливается в требование полностью его перегрузить и пересчитать. Это дает дополнительные нагрузки на Вертику, плюс занимает вполне солидное время. Поэтому я планирую помочь нашим клиентам уйти от такой схемы, уведя хранение первички на hadoop, с которого будет поступать схлопнутая информация в Вертику и считаться агрегаты для кубов MOLAP. Чего в общем то и всем желаю, кто собирается одновременно использовать аналитические хранилища данных и кубы одновременно. Что Вы имеете ввиду "схлопнутая" информация? Это что-то типа: raw data: hadoop дальше - validated data (достаточно детально, почти raw): Vertica MOLAP agregates : MSSQL? Я думал (-ю), что делая процессинг куба, когда данные в Вертике, должна сильно вырасти скорость процессинга. Или я не прав? По крайней мере, когда-то я пробовал сделать такое с IQ и то, что раньше процессилось по 8 часов превращалось в 1-2 часа на IQ (данные были в IQ, если правильно помню, то делал МОЛАП) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2014, 11:45 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
Alexander Ryndin, :) да, меня это задело :) и коментарии о ROLAP :) ASCRUS, есть ли смысл делать как пишет Костя? Я думал о иммено таком же варианте ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2014, 11:48 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
Костя_1, Зачем MOLAP agregates : MSSQL если данные уже в веритке? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2014, 17:32 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
кириллk, у кас просто дальше игра с кубом и отцчет из него на MSSQL/RS ... |
|||
:
Нравится:
Не нравится:
|
|||
04.04.2014, 15:00 |
|
Vertica: MOLAP/ROLAP просто ли это?
|
|||
---|---|---|---|
#18+
Скорость процессинга естественно вырастает. Но так же вырастают нагрузки на хранилище данных и на лицензию хранения загружаемых первичных данных, которые потом агрегируются и уходят в MOLAP. Тут получается в общем то каузус - если первичные данные нужны в Вертике и в дальнейшем используются в хранилище, то какой смысл потом их тянуть в MOLAP. А если не нужны и Вертика используется чисто как процессинговый движок, позволяющий быстро агрегировать большие объемы данных, то хранить всю первичку, кушая лицензию получается дорогостоящее удовольствие. А хранить то ее надо, ведь перестроение кубов никто не отменял. Поэтому мое мнение - в данном случае проще тогда все хранить и считать на хадупе, если первичные данные кубов не востребованы в хранилище данных. У наших клиентов как раз такая ситуация - первичка льется из логов телекоммуникационного ПО, объемы много сотен миллионов записей в сутки. Сейчас все процессится через Вертику, но так как занимает очень много места и на дисках и по лицензии, держится в Вертике только несколько месяцев, а затем чистится. Отказаться от кубов, лить и хранить все в Вертике идея плохая - это тогда нужно еще докупать десятки терабайт лицензии и значительно расширять кластер серверами и дисками. Используется эта статистика узкоспециализированно при анализе трафика, так что Хадуп просто здесь просится. Собрать с недорогих серверов большой кластер и на нем хранить первичную информацию и считать с нее агрегаты для кубов. Здесь конечно тоже затраты появляются и на кластер серверов и на кодирование работы Хадупа, но на фоне затрат на Вертику это на порядок ниже, так что овчинка выделки стоит. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.04.2014, 11:13 |
|
|
start [/forum/topic.php?fid=48&fpage=10&tid=1856896]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
55ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
59ms |
get tp. blocked users: |
2ms |
others: | 246ms |
total: | 412ms |
0 / 0 |