powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Vertica: MOLAP/ROLAP просто ли это?
12 сообщений из 12, страница 1 из 1
Vertica: MOLAP/ROLAP просто ли это?
    #38602477
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Собственно субж :) Быстро? Как ведет себя вертика, если кубы на 5-10 тб? Молап или ролап? Скорость процессинга?

Спасибо, если поделитесь опытом
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38602479
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MOLAP и Vertica - это 2 несовместимых понятия. А ROLAP - это набор обычных табличек, обвешанных метаданными. Их можно и на Access сделать. Я не специалист в Vertica, но, судя по всему, сама Vertica метаданные с описанием кубов у себя не держит. А значит эти метаданные должен хранить BI-инструмент. Как только вы не используете этот BI-инструмент - вся прелесть OLAP теряется.
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38603457
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndin, спасибо за мнение, хотя, я думаю, вернее - знаю, что вы не правы. Надеюсь, ASCRUS, Vovaka смогут это подтвердить фактами.
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38603493
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
_DogAlexander Ryndin, спасибо за мнение, хотя, я думаю, вернее - знаю, что вы не правы. Надеюсь, ASCRUS, Vovaka смогут это подтвердить фактами.в чем не прав то?
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38603598
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
_DogAlexander Ryndin, спасибо за мнение, хотя, я думаю, вернее - знаю, что вы не правы. Надеюсь, ASCRUS, Vovaka смогут это подтвердить фактами.
Ну в общем то Александр прав :) Вертика чистый РСУБД, поэтому изначально используется ROLAP. MPP позволяет достаточно шустро обрабатывать большие объемы данных по запросам, которые генерируются BI. У нас в некоторых проектах заказчики так же используют MOLAP. Для этого на MOLAP делаются кубы и настраивается их инкрементное обновление. Сервер MOLAP шлет агрегатные запросы с фильтрацией по инкременту на Вертику, получает результат и сохраняет себе. Основной здесь недостаток естественно же перестройка кубов. Любой повод что то поменять структуре куба выливается в требование полностью его перегрузить и пересчитать. Это дает дополнительные нагрузки на Вертику, плюс занимает вполне солидное время. Поэтому я планирую помочь нашим клиентам уйти от такой схемы, уведя хранение первички на hadoop, с которого будет поступать схлопнутая информация в Вертику и считаться агрегаты для кубов MOLAP. Чего в общем то и всем желаю, кто собирается одновременно использовать аналитические хранилища данных и кубы одновременно.
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38603639
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinMOLAP и Vertica - это 2 несовместимых понятия. Вот тут я некорректно, конечно, выразился. Правильнее сказать, что Vertica не реализует MOLAP. MOLAP - это, обычно, специализированная СУБД.
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38604005
Костя_1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ASCRUS Вертика чистый РСУБД, поэтому изначально используется ROLAP. MPP позволяет достаточно шустро обрабатывать большие объемы данных по запросам, которые генерируются BI. У нас в некоторых проектах заказчики так же используют MOLAP. Для этого на MOLAP делаются кубы и настраивается их инкрементное обновление. Сервер MOLAP шлет агрегатные запросы с фильтрацией по инкременту на Вертику, получает результат и сохраняет себе. Основной здесь недостаток естественно же перестройка кубов. Любой повод что то поменять структуре куба выливается в требование полностью его перегрузить и пересчитать. Это дает дополнительные нагрузки на Вертику, плюс занимает вполне солидное время. Поэтому я планирую помочь нашим клиентам уйти от такой схемы, уведя хранение первички на hadoop, с которого будет поступать схлопнутая информация в Вертику и считаться агрегаты для кубов MOLAP. Чего в общем то и всем желаю, кто собирается одновременно использовать аналитические хранилища данных и кубы одновременно.

Что Вы имеете ввиду "схлопнутая" информация? Это что-то типа:

raw data: hadoop
дальше - validated data (достаточно детально, почти raw): Vertica
MOLAP agregates : MSSQL?

Я думал (-ю), что делая процессинг куба, когда данные в Вертике, должна сильно вырасти скорость процессинга. Или я не прав? По крайней мере, когда-то я пробовал сделать такое с IQ и то, что раньше процессилось по 8 часов превращалось в 1-2 часа на IQ (данные были в IQ, если правильно помню, то делал МОЛАП)
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38604015
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndin, :) да, меня это задело :) и коментарии о ROLAP :)

ASCRUS, есть ли смысл делать как пишет Костя? Я думал о иммено таком же варианте
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38604604
кириллk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Костя_1,

Зачем MOLAP agregates : MSSQL если данные уже в веритке?
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38605566
Костя_1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
кириллk, у кас просто дальше игра с кубом и отцчет из него на MSSQL/RS
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38606347
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Скорость процессинга естественно вырастает. Но так же вырастают нагрузки на хранилище данных и на лицензию хранения загружаемых первичных данных, которые потом агрегируются и уходят в MOLAP. Тут получается в общем то каузус - если первичные данные нужны в Вертике и в дальнейшем используются в хранилище, то какой смысл потом их тянуть в MOLAP. А если не нужны и Вертика используется чисто как процессинговый движок, позволяющий быстро агрегировать большие объемы данных, то хранить всю первичку, кушая лицензию получается дорогостоящее удовольствие. А хранить то ее надо, ведь перестроение кубов никто не отменял. Поэтому мое мнение - в данном случае проще тогда все хранить и считать на хадупе, если первичные данные кубов не востребованы в хранилище данных. У наших клиентов как раз такая ситуация - первичка льется из логов телекоммуникационного ПО, объемы много сотен миллионов записей в сутки. Сейчас все процессится через Вертику, но так как занимает очень много места и на дисках и по лицензии, держится в Вертике только несколько месяцев, а затем чистится. Отказаться от кубов, лить и хранить все в Вертике идея плохая - это тогда нужно еще докупать десятки терабайт лицензии и значительно расширять кластер серверами и дисками. Используется эта статистика узкоспециализированно при анализе трафика, так что Хадуп просто здесь просится. Собрать с недорогих серверов большой кластер и на нем хранить первичную информацию и считать с нее агрегаты для кубов. Здесь конечно тоже затраты появляются и на кластер серверов и на кодирование работы Хадупа, но на фоне затрат на Вертику это на порядок ниже, так что овчинка выделки стоит.
...
Рейтинг: 0 / 0
Vertica: MOLAP/ROLAP просто ли это?
    #38616578
Костя_1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ASCRUS,
спасибо!
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Vertica: MOLAP/ROLAP просто ли это?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]