|
|
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Доброго дня. Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining. Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений). В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2018, 10:44 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Добрый день AlexanderGikalo, какие отчоты вам нужны ? ЗЫ: я не старожил, я сам интересуюсь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2018, 11:46 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
KRED, Максимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2018, 13:09 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
AlexanderGikaloПосоветуйте пожалуйста облачную платформупосмотрите для начала сколько это стоит (Power Bi в облаке), если 300-500 тыр в месяц для вас приемлемо, то можно говорить дальше. что касается "звёзд"... структура хранилища очень сильно зависит от ваших данных. нельзя сказать, например, звёзды хороши пихаем всё в звёзды. кроме скорости выборки данных для построения отчёта есть ещё скорость преобразований ваших данных и заливки их в хранилище. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2018, 14:18 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Дедушка, Powеr bi стоит около 650р на человека. По поводу данных - обычная тема с продажами-посещениями. Преобразование в "кубы" по моим прикидкам будет не особо сложным и затратным, но во избежание двойной работы хочу узнать best practics по хранению данных для подобных целей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2018, 15:56 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
AlexanderGikaloPowеr bi стоит около 650р на человека.почитайте про лимиты на ресурсы за эти "650р на человека". AlexanderGikaloобычная тема с продажами-посещениями ... узнать best practics по хранению данных для подобных целей.моделей хранилищ существует, скажем так, больше 5 и ваши "продажами-посещениями" можно реализовать в каждой с учётом нюансов. например, у вас сложный справочник товаров и у вас вместо звезды может возникнуть снежинка (с последствиями для ETL) или атрибутика товаров часто меняется и вот вы уже делаете EAV или DataVault. а потом вы узнаёте про аналитические хранилища с колоночным хранением и прочие MPP системы (типа Greenplum и Clickhouse) и всё становится ещё веселее. впрочем, еслиAlexanderGikaloпо моим прикидкам будет не особо сложным и затратнымто не вопрос. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2018, 16:34 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
AlexanderGikaloДоброго дня. Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining. Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений). В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов) Azure Warehouse Вам не нужен. Нафига Вам mpp для 200-300 гигов данных? Постройте "звездный" DWH в Azure Sql Server, сделайте куб в Azure AS и крутите на нем PBI. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2018, 22:05 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
T87, Спасибо за совет. Примерно так и решил поступить) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.02.2018, 21:46 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
T87Нафига Вам mpp для 200-300 гигов данных?например, чтобы не делать куб, а строить всю отчётность напрямую из ХД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.02.2018, 22:13 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
ДедушкаT87Нафига Вам mpp для 200-300 гигов данных?например, чтобы не делать куб, а строить всю отчётность напрямую из ХД. В PowerBI? 300Gb? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.02.2018, 22:56 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
T87, а в чём проблема-то? PBI через DirectQuery напрямую в DB, в итоге 300GB в DB, в PBI только то что запрошено пользователем да и ещё и RLS автоматом по текущему логину если подключение верно настроено. т.к. в основном на чтение - то Azure PDW/EDW/APS конечно во многих сценариях конечно побыстрее будет - но на первых опытных порах и обычная DB пойдёт - а там видно будет надо-ли DWU/параллельности добавлять (или какая там DB на чтение больше заточено в их пакетах предложений VM, хотя список совместимых с DirectQuery не настолько широк) .. можно и кубам через LiveConnection, но там свои овраги.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.02.2018, 02:20 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
300 gb в Power BI не зайдет никак. Самый оптимальный вариант - ssas tabular model + power bi ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.02.2018, 10:09 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
AlexanderGikaloПосоветуйте пожалуйста облачную платформу для организации хранилища Александр, день добрый. Не подскажете, а почему смотрите именно облачное хранилище? И какое, Azure? Или частное облако? AlexanderGikaloМаксимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.А чем клик не устроил, можно узнать? Я просто отвечаю за партнерскую сеть. И очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.02.2018, 11:32 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
George NordicИ очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил А что, клик прям идеальный во всем и если его не выбирают, то это от недостатка знаний, а не от того, что другие продукты могут лучше подходить клиенту?:-)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 08:04 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Fyodor Zevako, нет, конечно. Каждый продукт хорош для решения своего класса задач. В данном случае, думаю, Qlik бы вполне себе подошел, если руководству необходимо быстро получить результат. Однако если уже есть облачное хранилище на Azure, а у компании ELA с бесплатным PBI, то убедить компанию что нужно что-то еще ПОКУПАТЬ - крайне непросто. Особенно если компания не умеет считать общую стоимость проекта. Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия. Ну и банки сейчас тоже деньги начинают считать. Так что, возможно, просто не сумели донести основные преимущества, неправильно выбрали область для проведения пилотного проекта... Как уже и замечали коллеги, Qlik в первую очередь необходим для быстрого получения аналитических отчетов из разнородных систем. В частности, на Qlik иногда проектируют [A]DWH - чтобы понять, а какие именно отчеты необходимы руководству и какие данные из каких систем необходимо консолидировать и как их обрабатывать при загрузке. Когда отчеты построены, чистятся модели (запускается govenance dashboard, удаляются все неиспользуемые отчеты / данные в отчетах, получается "чистая" схема данных), и по готовым лекалам уже строится [A]DWH. В итоге - получаем только реально используемые данные, а не "кладбище данных", в котором половины данных не хватает, а половина (если не 80%) лежит мертвым грузом. Так что много применений.... И, судя по спросу, хранение данных в облаках на территории России не так популярно - почти ВСЕ поставляемые лицензии, как on-permise так и на основе "подписки" (в принципе, та же самая лицензия, но ограниченная годом действия), ставятся внутрь периметра компании. Очень редко - в доверенном ЦОДе. Но что бы в облака... да, я понимаю, что этим будущее, но пока это редкость. вот и интересно С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 09:52 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Георгий, вы начинаете превращаться в Юрия... :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 10:06 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
профдеформация ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 11:13 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
George Nordic Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия. в РФ ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 11:14 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
ДедушкаГеоргий, вы начинаете превращаться в Юрия... :)Покусал Чур меня, чур. Ну, благо, пока я не говорю, что только один продукт чудесный - мне BI вообще в принципе нравится, после ERP-то систем. Как буду только один продукт хвалить - забаньте меня, пожалуйста - значит, обратной дороги нет Ivan Durakв РФ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.Ну, нельзя сравнивать Qlik с Когносом и Анапланом - Qlik совсем в другой области. Qlik на предназначен для бюджетирования - для этого есть ряд других замечательных продуктов. Qlik, скорее, дополняет бюджетирование план/фактом, как Дойчебанке и ряде других компаний. А мире фарма и healthcare - очень неплохо идет. В РФ Фарма в первую очередь решает задачи анализа вторичных продаж. Чем обучать MDM-систему (Хвала MS, что хоть что-то доступное появилось - всего лет 5 назад было или IBM PIM / Oracle по цене крыла от самолета, или Talent MDM, для которого напильник нужен было размером с то же крыло, или самописка), народ на Qlik все присланные файлы сводил. Знаю, что правильнее МДМ. Но делают на коленке - результат тот же, но быстрее. про это тот же Фармстандарт рассказывал на нашем мероприятии. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 11:45 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Ivan DurakИбо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.а исходя из вашего опыта как там с популярностью AWS и Azure? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 13:01 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
2 Дедушка: Георгий, вы начинаете превращаться в Юрия... :) Георгию это пока не грозит ;) Он пока не может стать независимым от вендоров экспертом. Он вынужден продавать решение, имеющее узкий функционал (в котором нет бюджетирования, нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.). У него нет права предлагать заказчикам лучшие варианты архитектуры на основе дефолтных решений (которые далеко не всегда являются Когносом, хотя иногда и могут оказаться Кликом). Поскольку психологически для него это, вероятно, очень тяжело, предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 15:52 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
ДедушкаIvan DurakИбо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.а исходя из вашего опыта как там с популярностью AWS и Azure? Растет. Семимильными шагами. И AWS и AZURE. В первую очередь для баз и хранилищ начального и среднего уровня. В крупном международном фарма гиганте количество таких BI систем может исчисляться сотнями! И они конечно экономят. Саппорт в индию, базы в облако. Технологии стандартные. Конфигурации систем типичные, новые делаются путем ctrl-c, ctrl-v. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 16:04 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Juriiв котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны. Jurii предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)Я настолько вредный, что мне молоко литрами выдают. Кстати, а вот насчет сходки - идея хорошая. Могу в Москве организовать. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 16:28 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Георгий, в котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.). Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны. Отсутствие ИИ простить пока можно. Без бюджетирования - сложно жить, надо понять, где пользователи Клика должны делать бюджеты. По остальным вопросам - я скачивал Клик, и увидел, что интерфейс слабоват с точки зрения гибкости, многомерной модели не видно, ассоциативная модель - это просто автофильтр по денормализованному представлению, в этом нет аналитической ценности. Так что жду еще 10 лет и скачаю Клик еще раз, может сейчас разработчики ринутся развивать функционал и за 10 лет что-то в Клике разработают ;) Либо найдется хотя бы 1 специалист по Клику, который на этом форуме станет приводить аргументы в защиту Клика (например, даст ссылку на видео, и скажет, что на такой-то секунде можно увидеть сложный отчет или анализ данных). Или на BI сходке можно будет обсудить Клик вживую. Прошу относиться к моим словам не как к критике Клика, а как к искреннему желанию помочь вендору и партнерам Клика понять слабости этого решения и доработать его (либо понять, что о сильных сторонах лидеры мнения, такие как я, не информированы). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2018, 16:56 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=25&tid=1857978]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
44ms |
get topic data: |
18ms |
get forum data: |
2ms |
get page messages: |
132ms |
get tp. blocked users: |
2ms |
| others: | 236ms |
| total: | 462ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...