powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Правильное хранилище данных для power bi
25 сообщений из 93, страница 1 из 4
Правильное хранилище данных для power bi
    #39596005
AlexanderGikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго дня.
Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining.
Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений).
В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596017
KRED
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день AlexanderGikalo,

какие отчоты вам нужны ?

ЗЫ: я не старожил, я сам интересуюсь.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596033
AlexanderGikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
KRED,

Максимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596047
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexanderGikaloПосоветуйте пожалуйста облачную платформупосмотрите для начала сколько это стоит (Power Bi в облаке), если 300-500 тыр в месяц для вас приемлемо, то можно говорить дальше.

что касается "звёзд"... структура хранилища очень сильно зависит от ваших данных.
нельзя сказать, например, звёзды хороши пихаем всё в звёзды.
кроме скорости выборки данных для построения отчёта есть ещё скорость преобразований ваших данных и заливки их в хранилище.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596067
AlexanderGikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дедушка,

Powеr bi стоит около 650р на человека.
По поводу данных - обычная тема с продажами-посещениями. Преобразование в "кубы" по моим прикидкам будет не особо сложным и затратным, но во избежание двойной работы хочу узнать best practics по хранению данных для подобных целей.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596088
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexanderGikaloPowеr bi стоит около 650р на человека.почитайте про лимиты на ресурсы за эти "650р на человека".

AlexanderGikaloобычная тема с продажами-посещениями ... узнать best practics по хранению данных для подобных целей.моделей хранилищ существует, скажем так, больше 5 и ваши "продажами-посещениями" можно реализовать в каждой с учётом нюансов.
например, у вас сложный справочник товаров и у вас вместо звезды может возникнуть снежинка (с последствиями для ETL)
или атрибутика товаров часто меняется и вот вы уже делаете EAV или DataVault.

а потом вы узнаёте про аналитические хранилища с колоночным хранением и прочие MPP системы (типа Greenplum и Clickhouse) и всё становится ещё веселее.

впрочем, еслиAlexanderGikaloпо моим прикидкам будет не особо сложным и затратнымто не вопрос.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596202
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexanderGikaloДоброго дня.
Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining.
Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений).
В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов)
Azure Warehouse Вам не нужен. Нафига Вам mpp для 200-300 гигов данных? Постройте "звездный" DWH в Azure Sql Server, сделайте куб в Azure AS и крутите на нем PBI.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597791
AlexanderGikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
T87,

Спасибо за совет. Примерно так и решил поступить)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597799
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87Нафига Вам mpp для 200-300 гигов данных?например, чтобы не делать куб, а строить всю отчётность напрямую из ХД.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597811
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаT87Нафига Вам mpp для 200-300 гигов данных?например, чтобы не делать куб, а строить всю отчётность напрямую из ХД.
В PowerBI? 300Gb?
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597842
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

а в чём проблема-то? PBI через DirectQuery напрямую в DB, в итоге 300GB в DB, в PBI только то что запрошено пользователем да и ещё и RLS автоматом по текущему логину если подключение верно настроено.
т.к. в основном на чтение - то Azure PDW/EDW/APS конечно во многих сценариях конечно побыстрее будет - но на первых опытных порах и обычная DB пойдёт - а там видно будет надо-ли DWU/параллельности добавлять (или какая там DB на чтение больше заточено в их пакетах предложений VM, хотя список совместимых с DirectQuery не настолько широк) .. можно и кубам через LiveConnection, но там свои овраги..
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597956
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
300 gb в Power BI не зайдет никак.
Самый оптимальный вариант - ssas tabular model + power bi
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598029
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexanderGikaloПосоветуйте пожалуйста облачную платформу для организации хранилища
Александр, день добрый. Не подскажете, а почему смотрите именно облачное хранилище? И какое, Azure? Или частное облако?
AlexanderGikaloМаксимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.А чем клик не устроил, можно узнать? Я просто отвечаю за партнерскую сеть. И очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598691
Фотография Fyodor Zevako
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George NordicИ очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил


А что, клик прям идеальный во всем и если его не выбирают, то это от недостатка знаний, а не от того, что другие продукты могут лучше подходить клиенту?:-))
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598730
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Fyodor Zevako, нет, конечно. Каждый продукт хорош для решения своего класса задач. В данном случае, думаю, Qlik бы вполне себе подошел, если руководству необходимо быстро получить результат. Однако если уже есть облачное хранилище на Azure, а у компании ELA с бесплатным PBI, то убедить компанию что нужно что-то еще ПОКУПАТЬ - крайне непросто. Особенно если компания не умеет считать общую стоимость проекта. Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия. Ну и банки сейчас тоже деньги начинают считать. Так что, возможно, просто не сумели донести основные преимущества, неправильно выбрали область для проведения пилотного проекта...

Как уже и замечали коллеги, Qlik в первую очередь необходим для быстрого получения аналитических отчетов из разнородных систем. В частности, на Qlik иногда проектируют [A]DWH - чтобы понять, а какие именно отчеты необходимы руководству и какие данные из каких систем необходимо консолидировать и как их обрабатывать при загрузке. Когда отчеты построены, чистятся модели (запускается govenance dashboard, удаляются все неиспользуемые отчеты / данные в отчетах, получается "чистая" схема данных), и по готовым лекалам уже строится [A]DWH. В итоге - получаем только реально используемые данные, а не "кладбище данных", в котором половины данных не хватает, а половина (если не 80%) лежит мертвым грузом.

Так что много применений.... И, судя по спросу, хранение данных в облаках на территории России не так популярно - почти ВСЕ поставляемые лицензии, как on-permise так и на основе "подписки" (в принципе, та же самая лицензия, но ограниченная годом действия), ставятся внутрь периметра компании. Очень редко - в доверенном ЦОДе. Но что бы в облака... да, я понимаю, что этим будущее, но пока это редкость. вот и интересно

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598737
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Георгий, вы начинаете превращаться в Юрия... :)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598799
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
профдеформация
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598801
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordic Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия.
в РФ ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598831
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаГеоргий, вы начинаете превращаться в Юрия... :)Покусал Чур меня, чур. Ну, благо, пока я не говорю, что только один продукт чудесный - мне BI вообще в принципе нравится, после ERP-то систем. Как буду только один продукт хвалить - забаньте меня, пожалуйста - значит, обратной дороги нет
Ivan Durakв РФ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.Ну, нельзя сравнивать Qlik с Когносом и Анапланом - Qlik совсем в другой области. Qlik на предназначен для бюджетирования - для этого есть ряд других замечательных продуктов. Qlik, скорее, дополняет бюджетирование план/фактом, как Дойчебанке и ряде других компаний. А мире фарма и healthcare - очень неплохо идет.

В РФ Фарма в первую очередь решает задачи анализа вторичных продаж. Чем обучать MDM-систему (Хвала MS, что хоть что-то доступное появилось - всего лет 5 назад было или IBM PIM / Oracle по цене крыла от самолета, или Talent MDM, для которого напильник нужен было размером с то же крыло, или самописка), народ на Qlik все присланные файлы сводил. Знаю, что правильнее МДМ. Но делают на коленке - результат тот же, но быстрее. про это тот же Фармстандарт рассказывал на нашем мероприятии.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598903
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakИбо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.а исходя из вашего опыта как там с популярностью AWS и Azure?
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599155
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Дедушка:

Георгий, вы начинаете превращаться в Юрия... :)

Георгию это пока не грозит ;) Он пока не может стать независимым от вендоров экспертом. Он вынужден продавать решение, имеющее узкий функционал (в котором нет бюджетирования, нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.). У него нет права предлагать заказчикам лучшие варианты архитектуры на основе дефолтных решений (которые далеко не всегда являются Когносом, хотя иногда и могут оказаться Кликом). Поскольку психологически для него это, вероятно, очень тяжело, предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599178
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаIvan DurakИбо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.а исходя из вашего опыта как там с популярностью AWS и Azure?
Растет. Семимильными шагами. И AWS и AZURE. В первую очередь для баз и хранилищ начального и среднего уровня.
В крупном международном фарма гиганте количество таких BI систем может исчисляться сотнями! И они конечно экономят. Саппорт в индию, базы в облако. Технологии стандартные. Конфигурации систем типичные, новые делаются путем ctrl-c, ctrl-v.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599221
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Juriiв котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны.
Jurii предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)Я настолько вредный, что мне молоко литрами выдают.

Кстати, а вот насчет сходки - идея хорошая. Могу в Москве организовать.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599262
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Георгий,

в котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).
Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны.


Отсутствие ИИ простить пока можно. Без бюджетирования - сложно жить, надо понять, где пользователи Клика должны делать бюджеты.
По остальным вопросам - я скачивал Клик, и увидел, что интерфейс слабоват с точки зрения гибкости, многомерной модели не видно, ассоциативная модель - это просто автофильтр по денормализованному представлению, в этом нет аналитической ценности. Так что жду еще 10 лет и скачаю Клик еще раз, может сейчас разработчики ринутся развивать функционал и за 10 лет что-то в Клике разработают ;) Либо найдется хотя бы 1 специалист по Клику, который на этом форуме станет приводить аргументы в защиту Клика (например, даст ссылку на видео, и скажет, что на такой-то секунде можно увидеть сложный отчет или анализ данных). Или на BI сходке можно будет обсудить Клик вживую.
Прошу относиться к моим словам не как к критике Клика, а как к искреннему желанию помочь вендору и партнерам Клика понять слабости этого решения и доработать его (либо понять, что о сильных сторонах лидеры мнения, такие как я, не информированы).
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599268
xenix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Jurii,

авторлидеры мнения, такие как я
скромненько так.
...
Рейтинг: 0 / 0
25 сообщений из 93, страница 1 из 4
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Правильное хранилище данных для power bi
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]