|
Действия ...
|
03.09.2015, 21:32
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
|
|
04.09.2015, 00:33
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
|
|
04.09.2015, 12:17
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
03.09.2015, 09:17
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
нужно сделать куб. пока предполагается 3 меры и 15 дименшинов в нем будет около 5 миллиардов строк раньше работал только с Multidimentional, но сейчас Микрософт их не развивает думаю сделать на Tabular какие могут быть нюансы на таких объемах данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 11:03
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
fduch f.f., а на MS жесткая завязка? Попробуйте in-memory, тот же Qlik такую простую модель сожрет и не поморщится, и 5млрд строк будут шустро отрабатывать на довольно простом железе. Ну, можем поэксперементировать, если есть желание, о результатах поделитесь. С Уважением, Георгий. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 11:07
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
fduch f.f.нужно сделать куб. пока предполагается 3 меры и 15 дименшинов в нем будет около 5 миллиардов строк раньше работал только с Multidimentional, но сейчас Микрософт их не развивает думаю сделать на Tabular какие могут быть нюансы на таких объемах данных? На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование. Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях. Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 11:21
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
George Nordicfduch f.f., а на MS жесткая завязка? Попробуйте in-memory, тот же Qlik такую простую модель сожрет и не поморщится, и 5млрд строк будут шустро отрабатывать на довольно простом железе. Ну, можем поэксперементировать, если есть желание, о результатах поделитесь. С Уважением, Георгий. MS стек у нас куплен, а Qlik же не бесплатный но попробовать было бы интересно если там хотя бы триал бесплатный есть ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 11:24
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
a_voroninfduch f.f.нужно сделать куб. пока предполагается 3 меры и 15 дименшинов в нем будет около 5 миллиардов строк раньше работал только с Multidimentional, но сейчас Микрософт их не развивает думаю сделать на Tabular какие могут быть нюансы на таких объемах данных? На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование. Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях. Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк. партиционированный COLUMSTORE уже есть. Предполагается делать еще MOLAP с партициями, не знаю какие у ROLAP преимущества? разве что процессить не нужно ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 11:52
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
fduch f.f.a_voroninпропущено... На Tabular ограничения пол размерам и параллельность обещали только в 2016. Tabular задуман как простая технология для не таких больших объемов. Делайте MOLAP и хорошо продумывайте партиционирование. Можно подумать про партиционированный COLUMSTORE с кубом на ROLAP партициях. Также посмотрите, может вы сможете предагрегировать данные и уменьшить число строк. партиционированный COLUMSTORE уже есть. Предполагается делать еще MOLAP с партициями, не знаю какие у ROLAP преимущества? разве что процессить не нужно ? COLUMSTORE + MOLAP -- это неправильно и не оптимально COLUMSTORE + ROLAP -- это правильно MOLAP делает прямолинейные сканы всех строк в партиции и COLUMSTORE на них не оптимален ROLAP -- будет хорошо работать на сильно отфильтрованных данных. Но не так хорошо как на большом объеме (агрегации всей партии). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 13:23
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
fduch f.f.MS стек у нас куплен, а Qlik же не бесплатныйДа, увы, это так и есть. Поэтому и спросил первым делом про MS - не куплен ли. fduch f.f.но попробовать было бы интересно если там хотя бы триал бесплатный естьДа есть бесплатный триал, только Вам придется серверную лицензию генерировать - не уверен, что 5 млрд на компе заработает :) Это чеки? Они хорошо жмутся, но все равно in-memory модель без агрегирования (полная) может отъесть как минимум 32, а то и все 64Гб оперативки. Но не проблема - настроим / проверим. Если что - georgend@mail.ru Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 13:45
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
George Nordic, Сколько времени Qlik будет 5 лярдов переваривать? Как он работает с инкрементальным обновлением? И коронный вопрос, а он справляется с обновлением данных задним числом? DELETE ? UPDATE ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 21:32
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
Думаю стоит потестировать кубы IBM Cognos BI - виртуальные кубы Dynamic Cubes с настройкой кэширования агрегатов, и физические кубы Transformer с секционированием. Тогда и проблем с созданием отчетов не будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 21:49
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :) Как будто Автор топика принимает решения о закупках и владеет бюджетами. Ну тогда до кучи попробуйте Oracle Exadata - для 5 млрд. строк и кубы не нужны будут ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
03.09.2015, 22:19
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
fduch f.f., собственно, есть только один вариант - Multidimentional, на Tabular или памяти не хватит прямо сейчас, или не будет хватать чуть позже, когда пользователи захотят развития куба ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.09.2015, 00:33
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
2 babona: Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :) Как будто Автор топика принимает решения о закупках и владеет бюджетами. Автор топика хочет увеличить свои доходы, и снизить расходы своей компании. Вот местные гуру ему и дают дельные советы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.09.2015, 11:16
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
Jurii2 babona: Автор топика про MS BI стек спрашивает, поскольку в компании закуплен. А консультанты-маркетологи ему предлагают попробовать других вендоров. Вот уж действительно.... :) Как будто Автор топика принимает решения о закупках и владеет бюджетами. Автор топика хочет увеличить свои доходы, и снизить расходы своей компании. Вот местные гуру ему и дают дельные советы. Наймите babona он вам все оптимизирует ибо он считает себя наиболее крутым. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
04.09.2015, 12:17
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
2 a_voronin: Наймите babona он вам все оптимизирует ибо он считает себя наиболее крутым. Г-н babona стесняется своих постов, проявляет неуверенность в себе таким образом. Надеется, что технологии Big Data не смогут раскрыть его анонимность. А зря ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
06.09.2015, 21:50
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
fduch f.f.нужно сделать куб. пока предполагается 3 меры и 15 дименшинов в нем будет около 5 миллиардов строк раньше работал только с Multidimentional, но сейчас Микрософт их не развивает думаю сделать на Tabular какие могут быть нюансы на таких объемах данных? куб кубу рознь. можно сделать на всех перечисленных технологиях. ньюансы будут на всех. какого типа будет куб? transaction, periodic snapshot, cumulative snapshot? на сколько разнообразные вычисления? количество фактов не проблема. какие измерения предполагаются? Если измерения больше 200 млн то molap не комильфо будет. На сколко критично время полного процессинга и есть ли изменения задним числом? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.09.2015, 14:54
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
a_voroninGeorge Nordic, Сколько времени Qlik будет 5 лярдов переваривать? Как он работает с инкрементальным обновлением? И коронный вопрос, а он справляется с обновлением данных задним числом? DELETE ? UPDATE ? 1. Вот история еще "Копейки", теперь это решение работает в Х5 . Единственное, которое они оставили после поглощения. Только проект уже далеко ушел :) Анализ всех чеков подобной группы - это поболее означенной Вами цифры будет, и все резво работает. Но схема данных на таком объеме - очень проста. И, сами понимаете, можно разглашать только то, что согласовал и разрешил опубликовать Заказчик. Многие считают подобные технологии серьезным конкурентным преимуществом. Например, как Магнит . Инкрементальная загрузка есть. Грузится diff, если вы можете четко указать, где был diff по DELETE / UPDATE (по recId или ModifiedDate etc), то проблем нет. Но иногда данные перегружают по закрытию месяца. Это уже вопрос конкретной архитектурной реализации. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.10.2015, 11:30
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
Владимир Штепаfduch f.f.нужно сделать куб. пока предполагается 3 меры и 15 дименшинов в нем будет около 5 миллиардов строк раньше работал только с Multidimentional, но сейчас Микрософт их не развивает думаю сделать на Tabular какие могут быть нюансы на таких объемах данных? куб кубу рознь. можно сделать на всех перечисленных технологиях. ньюансы будут на всех. какого типа будет куб? transaction, periodic snapshot, cumulative snapshot? на сколько разнообразные вычисления? количество фактов не проблема. какие измерения предполагаются? Если измерения больше 200 млн то molap не комильфо будет. На сколко критично время полного процессинга и есть ли изменения задним числом? нужно хранить данные о транзакциях, вычисления пока простые, но будут усложняться измерения не большие , десятки тысяч строк изменений задним числом не будет, однако потребуется расширение таблицы фактов в перспективе время полного процессинга очень критично, данные должны быть доступны каждый день ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.10.2015, 11:35
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
сейчас строк порядка 5 миллиардов, но в год объем будет удваиваться учитывая что микрософт на развивает больше SSAS Multidimentional, то может вообще не стоит с ним связываться? платные продукты не микрософт рассматривать не можем может при таких объемах пора смотреть на бигдату? что-то типо HBase, Hadoop? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.10.2015, 11:37
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
вообще что микрософт позиционирует в качестве альтернативы Multidimentional ? Tabular для систем уровня отдела а что для масштаба большого предприятия? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.10.2015, 12:11
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
fduch f.f.HBase, Hadoop это не уровень анализа данных. это ниже - это уровень доступа к данным. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.10.2015, 12:45
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
как мне тут уже намекали BigData не о объёмах а о структурах данных (т.е. как минимум слабоструктурированные) а ваши объёмы решаются и на MS платформе при разумной организации, тем более что это не трансакционная база а хранилище следовательно оптимизируйте на хранение/чтение а не на запись (OLTP) и дальше уже по прямому предназначению для агрегаций >> OLAP/SSAS да и MDX может и особо не развивается - но имеющейся функциональности вполне достаточно, вопрос только в уровне владения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.10.2015, 14:15
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
fduch f.f., Мы прекрасно продолжаем использовать Multidimentional . И Tabular тоже есть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
12.10.2015, 11:50
|
|||
|---|---|---|---|
|
|||
какие кубы выбрать? |
|||
|
#18+
по идее меня все в Multidimentional устраивает однако смущает то что невозможно горизонтальное масштабирование вот будет таблица фактов 100 миллиардов, то что делать тогда? непонятно как оптимизировать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
12.10.2015, 12:54
|
|||
|---|---|---|---|
какие кубы выбрать? |
|||
|
#18+
fduch f.f.по идее меня все в Multidimentional устраивает однако смущает то что невозможно горизонтальное масштабирование вот будет таблица фактов 100 миллиардов, то что делать тогда? непонятно как оптимизировать а оно точно Вам точно надо 100 млрд. ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=49&mobile=1&tid=1858158]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
161ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
58ms |
get tp. blocked users: |
2ms |
| others: | 246ms |
| total: | 509ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
