ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / какие кубы выбрать?
25 сообщений из 31, страница 1 из 2
  1  все
какие кубы выбрать?
    #39042049
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fduch f.f.
Участник
нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?
...
Рейтинг: 0 / 0
03.09.2015, 09:17
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042175
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
George Nordic
Участник
fduch f.f., а на MS жесткая завязка? Попробуйте in-memory, тот же Qlik такую простую модель сожрет и не поморщится, и 5млрд строк будут шустро отрабатывать на довольно простом железе. Ну, можем поэксперементировать, если есть желание, о результатах поделитесь.

С Уважением,
Георгий.
...
Рейтинг: 0 / 0
03.09.2015, 11:03
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042184
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
fduch f.f.нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?

На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование.

Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях.

Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк.
...
Рейтинг: 0 / 0
03.09.2015, 11:07
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042200
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fduch f.f.
Участник
George Nordicfduch f.f., а на MS жесткая завязка? Попробуйте in-memory, тот же Qlik такую простую модель сожрет и не поморщится, и 5млрд строк будут шустро отрабатывать на довольно простом железе. Ну, можем поэксперементировать, если есть желание, о результатах поделитесь.

С Уважением,
Георгий.

MS стек у нас куплен, а Qlik же не бесплатный
но попробовать было бы интересно если там хотя бы триал бесплатный есть
...
Рейтинг: 0 / 0
03.09.2015, 11:21
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042205
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fduch f.f.
Участник
a_voroninfduch f.f.нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?

На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование.

Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях.

Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк.

партиционированный COLUMSTORE уже есть.
Предполагается делать еще MOLAP с партициями, не знаю какие у ROLAP преимущества? разве что процессить не нужно ?
...
Рейтинг: 0 / 0
03.09.2015, 11:24
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042255
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
fduch f.f.a_voroninпропущено...


На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование.

Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях.

Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк.

партиционированный COLUMSTORE уже есть.
Предполагается делать еще MOLAP с партициями, не знаю какие у ROLAP преимущества? разве что процессить не нужно ?

COLUMSTORE + MOLAP -- это неправильно и не оптимально

COLUMSTORE + ROLAP -- это правильно

MOLAP делает прямолинейные сканы всех строк в партиции и COLUMSTORE на них не оптимален

ROLAP -- будет хорошо работать на сильно отфильтрованных данных. Но не так хорошо как на большом объеме (агрегации всей партии).
...
Рейтинг: 0 / 0
03.09.2015, 11:52
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042257
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
ещё сходите сюда

http://www.sql.ru/forum/1164053-a/vertica-ssas?hl=rolap
...
Рейтинг: 0 / 0
03.09.2015, 11:54
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042471
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
George Nordic
Участник
fduch f.f.MS стек у нас куплен, а Qlik же не бесплатныйДа, увы, это так и есть. Поэтому и спросил первым делом про MS - не куплен ли. fduch f.f.но попробовать было бы интересно если там хотя бы триал бесплатный естьДа есть бесплатный триал, только Вам придется серверную лицензию генерировать - не уверен, что 5 млрд на компе заработает :) Это чеки? Они хорошо жмутся, но все равно in-memory модель без агрегирования (полная) может отъесть как минимум 32, а то и все 64Гб оперативки. Но не проблема - настроим / проверим.

Если что - georgend@mail.ru
Георгий
...
Рейтинг: 0 / 0
03.09.2015, 13:23
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042520
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
George Nordic,

Сколько времени Qlik будет 5 лярдов переваривать?

Как он работает с инкрементальным обновлением?

И коронный вопрос, а он справляется с обновлением данных задним числом? DELETE ? UPDATE ?
...
Рейтинг: 0 / 0
03.09.2015, 13:45
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042851
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
Думаю стоит потестировать кубы IBM Cognos BI - виртуальные кубы Dynamic Cubes с настройкой кэширования агрегатов, и физические кубы Transformer с секционированием. Тогда и проблем с созданием отчетов не будет.
...
Рейтинг: 0 / 0
03.09.2015, 21:32
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042860
babona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
babona
Участник
Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :)
Как будто Автор топика принимает решения о закупках и владеет бюджетами.
Ну тогда до кучи попробуйте Oracle Exadata - для 5 млрд. строк и кубы не нужны будут
...
Рейтинг: 0 / 0
03.09.2015, 21:49
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042879
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
fduch f.f.,

собственно, есть только один вариант - Multidimentional,
на Tabular или памяти не хватит прямо сейчас, или не будет хватать чуть позже, когда пользователи захотят развития куба
...
Рейтинг: 0 / 0
03.09.2015, 22:19
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39042960
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
2 babona:

Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :)
Как будто Автор топика принимает решения о закупках и владеет бюджетами.

Автор топика хочет увеличить свои доходы, и снизить расходы своей компании. Вот местные гуру ему и дают дельные советы.
...
Рейтинг: 0 / 0
04.09.2015, 00:33
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39043197
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Jurii2 babona:

Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :)
Как будто Автор топика принимает решения о закупках и владеет бюджетами.

Автор топика хочет увеличить свои доходы, и снизить расходы своей компании. Вот местные гуру ему и дают дельные советы.

Наймите babona он вам все оптимизирует ибо он считает себя наиболее крутым.
...
Рейтинг: 0 / 0
04.09.2015, 11:16
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39043276
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
2 a_voronin:

Наймите babona он вам все оптимизирует ибо он считает себя наиболее крутым.

Г-н babona стесняется своих постов, проявляет неуверенность в себе таким образом. Надеется, что технологии Big Data не смогут раскрыть его анонимность. А зря ;)
...
Рейтинг: 0 / 0
04.09.2015, 12:17
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39044426
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
fduch f.f.нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?

куб кубу рознь. можно сделать на всех перечисленных технологиях. ньюансы будут на всех.

какого типа будет куб? transaction, periodic snapshot, cumulative snapshot? на сколько разнообразные вычисления?

количество фактов не проблема. какие измерения предполагаются?

Если измерения больше 200 млн то molap не комильфо будет.
На сколко критично время полного процессинга и есть ли изменения задним числом?
...
Рейтинг: 0 / 0
06.09.2015, 21:50
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39058419
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
George Nordic
Участник
a_voroninGeorge Nordic, Сколько времени Qlik будет 5 лярдов переваривать? Как он работает с инкрементальным обновлением?
И коронный вопрос, а он справляется с обновлением данных задним числом? DELETE ? UPDATE ?
1. Вот история еще "Копейки", теперь это решение работает в Х5 . Единственное, которое они оставили после поглощения. Только проект уже далеко ушел :) Анализ всех чеков подобной группы - это поболее означенной Вами цифры будет, и все резво работает. Но схема данных на таком объеме - очень проста. И, сами понимаете, можно разглашать только то, что согласовал и разрешил опубликовать Заказчик. Многие считают подобные технологии серьезным конкурентным преимуществом. Например, как Магнит .
Инкрементальная загрузка есть. Грузится diff, если вы можете четко указать, где был diff по DELETE / UPDATE (по recId или ModifiedDate etc), то проблем нет. Но иногда данные перегружают по закрытию месяца. Это уже вопрос конкретной архитектурной реализации.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
22.09.2015, 14:54
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39072739
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fduch f.f.
Участник
Владимир Штепаfduch f.f.нужно сделать куб.
пока предполагается 3 меры и 15 дименшинов
в нем будет около 5 миллиардов строк
раньше работал только с Multidimentional, но сейчас Микрософт их не развивает
думаю сделать на Tabular

какие могут быть нюансы на таких объемах данных?

куб кубу рознь. можно сделать на всех перечисленных технологиях. ньюансы будут на всех.

какого типа будет куб? transaction, periodic snapshot, cumulative snapshot? на сколько разнообразные вычисления?

количество фактов не проблема. какие измерения предполагаются?

Если измерения больше 200 млн то molap не комильфо будет.
На сколко критично время полного процессинга и есть ли изменения задним числом?

нужно хранить данные о транзакциях, вычисления пока простые, но будут усложняться
измерения не большие , десятки тысяч строк
изменений задним числом не будет, однако потребуется расширение таблицы фактов в перспективе
время полного процессинга очень критично, данные должны быть доступны каждый день
...
Рейтинг: 0 / 0
09.10.2015, 11:30
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39072747
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fduch f.f.
Участник
сейчас строк порядка 5 миллиардов, но в год объем будет удваиваться
учитывая что микрософт на развивает больше SSAS Multidimentional, то может вообще не стоит с ним связываться?

платные продукты не микрософт рассматривать не можем

может при таких объемах пора смотреть на бигдату? что-то типо HBase, Hadoop?
...
Рейтинг: 0 / 0
09.10.2015, 11:35
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39072751
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fduch f.f.
Участник
вообще что микрософт позиционирует в качестве альтернативы Multidimentional ?
Tabular для систем уровня отдела
а что для масштаба большого предприятия?
...
Рейтинг: 0 / 0
09.10.2015, 11:37
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39072796
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
fduch f.f.HBase, Hadoop
это не уровень анализа данных. это ниже - это уровень доступа к данным.
...
Рейтинг: 0 / 0
09.10.2015, 12:11
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39072846
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
как мне тут уже намекали BigData не о объёмах а о структурах данных (т.е. как минимум слабоструктурированные)
а ваши объёмы решаются и на MS платформе при разумной организации, тем более что это не трансакционная база а хранилище следовательно оптимизируйте на хранение/чтение а не на запись (OLTP) и дальше уже по прямому предназначению для агрегаций >> OLAP/SSAS
да и MDX может и особо не развивается - но имеющейся функциональности вполне достаточно, вопрос только в уровне владения.
...
Рейтинг: 0 / 0
09.10.2015, 12:45
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39072956
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
fduch f.f.,

Мы прекрасно продолжаем использовать Multidimentional . И Tabular тоже есть.
...
Рейтинг: 0 / 0
09.10.2015, 14:15
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39074325
fduch f.f.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fduch f.f.
Участник
по идее меня все в Multidimentional устраивает
однако смущает то что невозможно горизонтальное масштабирование
вот будет таблица фактов 100 миллиардов, то что делать тогда?
непонятно как оптимизировать
...
Рейтинг: 0 / 0
12.10.2015, 11:50
| Ответить | Цитировать | Написать  
какие кубы выбрать?
    #39074393
babona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
babona
Участник
fduch f.f.по идее меня все в Multidimentional устраивает
однако смущает то что невозможно горизонтальное масштабирование
вот будет таблица фактов 100 миллиардов, то что делать тогда?
непонятно как оптимизировать

а оно точно Вам точно надо 100 млрд. ?
...
Рейтинг: 0 / 0
12.10.2015, 12:54
| Ответить | Цитировать | Написать  
25 сообщений из 31, страница 1 из 2
  1  все
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / какие кубы выбрать?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=49&msg=39042200&tid=1858158]:
 0ms
get settings:
 10ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 158ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 55ms
get tp. blocked users:
 1ms
others: 13ms
total:  266ms
созд. / загр.: 266ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]