powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Правильное хранилище данных для power bi
93 сообщений из 93, показаны все 4 страниц
Правильное хранилище данных для power bi
    #39596005
AlexanderGikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго дня.
Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining.
Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений).
В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596017
KRED
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день AlexanderGikalo,

какие отчоты вам нужны ?

ЗЫ: я не старожил, я сам интересуюсь.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596033
AlexanderGikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
KRED,

Максимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596047
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexanderGikaloПосоветуйте пожалуйста облачную платформупосмотрите для начала сколько это стоит (Power Bi в облаке), если 300-500 тыр в месяц для вас приемлемо, то можно говорить дальше.

что касается "звёзд"... структура хранилища очень сильно зависит от ваших данных.
нельзя сказать, например, звёзды хороши пихаем всё в звёзды.
кроме скорости выборки данных для построения отчёта есть ещё скорость преобразований ваших данных и заливки их в хранилище.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596067
AlexanderGikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дедушка,

Powеr bi стоит около 650р на человека.
По поводу данных - обычная тема с продажами-посещениями. Преобразование в "кубы" по моим прикидкам будет не особо сложным и затратным, но во избежание двойной работы хочу узнать best practics по хранению данных для подобных целей.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596088
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexanderGikaloPowеr bi стоит около 650р на человека.почитайте про лимиты на ресурсы за эти "650р на человека".

AlexanderGikaloобычная тема с продажами-посещениями ... узнать best practics по хранению данных для подобных целей.моделей хранилищ существует, скажем так, больше 5 и ваши "продажами-посещениями" можно реализовать в каждой с учётом нюансов.
например, у вас сложный справочник товаров и у вас вместо звезды может возникнуть снежинка (с последствиями для ETL)
или атрибутика товаров часто меняется и вот вы уже делаете EAV или DataVault.

а потом вы узнаёте про аналитические хранилища с колоночным хранением и прочие MPP системы (типа Greenplum и Clickhouse) и всё становится ещё веселее.

впрочем, еслиAlexanderGikaloпо моим прикидкам будет не особо сложным и затратнымто не вопрос.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39596202
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexanderGikaloДоброго дня.
Есть потребность в получении отчетов из нескольких информационных систем(в том числе консолидированных) и отображении их в браузере для пары сотен пользователей. Общие оъемы данных -около 200-300 гигов на текущий момент времени. В связи с этим передо мной стоит вопрос правильного хранения данных, тк лить все напрямую в power bi кажется плохой идеей, тем более что планируется data mining.
Посоветуйте пожалуйста облачную платформу для организации хранилища и предпочтительную структуру данных(power bi умеет работать не только с классической звездой, но ее заполнение дает преимущества в плане обработки медленно меняющихся измерений).
В данный момент смотрю в сторону azure warehose и преобразования всех данных в "звездные" кубы. Очень рассчитываю на советы знающих старожилов)
Azure Warehouse Вам не нужен. Нафига Вам mpp для 200-300 гигов данных? Постройте "звездный" DWH в Azure Sql Server, сделайте куб в Azure AS и крутите на нем PBI.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597791
AlexanderGikalo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
T87,

Спасибо за совет. Примерно так и решил поступить)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597799
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87Нафига Вам mpp для 200-300 гигов данных?например, чтобы не делать куб, а строить всю отчётность напрямую из ХД.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597811
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаT87Нафига Вам mpp для 200-300 гигов данных?например, чтобы не делать куб, а строить всю отчётность напрямую из ХД.
В PowerBI? 300Gb?
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597842
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

а в чём проблема-то? PBI через DirectQuery напрямую в DB, в итоге 300GB в DB, в PBI только то что запрошено пользователем да и ещё и RLS автоматом по текущему логину если подключение верно настроено.
т.к. в основном на чтение - то Azure PDW/EDW/APS конечно во многих сценариях конечно побыстрее будет - но на первых опытных порах и обычная DB пойдёт - а там видно будет надо-ли DWU/параллельности добавлять (или какая там DB на чтение больше заточено в их пакетах предложений VM, хотя список совместимых с DirectQuery не настолько широк) .. можно и кубам через LiveConnection, но там свои овраги..
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39597956
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
300 gb в Power BI не зайдет никак.
Самый оптимальный вариант - ssas tabular model + power bi
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598029
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexanderGikaloПосоветуйте пожалуйста облачную платформу для организации хранилища
Александр, день добрый. Не подскажете, а почему смотрите именно облачное хранилище? И какое, Azure? Или частное облако?
AlexanderGikaloМаксимально бодрые и динамические. Смотрел на табло и клик, но выбрал power bi.А чем клик не устроил, можно узнать? Я просто отвечаю за партнерскую сеть. И очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598691
Фотография Fyodor Zevako
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George NordicИ очень неприятно, когда кто-то неумело про него рассказывает. Типа, моя вина, не научил


А что, клик прям идеальный во всем и если его не выбирают, то это от недостатка знаний, а не от того, что другие продукты могут лучше подходить клиенту?:-))
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598730
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Fyodor Zevako, нет, конечно. Каждый продукт хорош для решения своего класса задач. В данном случае, думаю, Qlik бы вполне себе подошел, если руководству необходимо быстро получить результат. Однако если уже есть облачное хранилище на Azure, а у компании ELA с бесплатным PBI, то убедить компанию что нужно что-то еще ПОКУПАТЬ - крайне непросто. Особенно если компания не умеет считать общую стоимость проекта. Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия. Ну и банки сейчас тоже деньги начинают считать. Так что, возможно, просто не сумели донести основные преимущества, неправильно выбрали область для проведения пилотного проекта...

Как уже и замечали коллеги, Qlik в первую очередь необходим для быстрого получения аналитических отчетов из разнородных систем. В частности, на Qlik иногда проектируют [A]DWH - чтобы понять, а какие именно отчеты необходимы руководству и какие данные из каких систем необходимо консолидировать и как их обрабатывать при загрузке. Когда отчеты построены, чистятся модели (запускается govenance dashboard, удаляются все неиспользуемые отчеты / данные в отчетах, получается "чистая" схема данных), и по готовым лекалам уже строится [A]DWH. В итоге - получаем только реально используемые данные, а не "кладбище данных", в котором половины данных не хватает, а половина (если не 80%) лежит мертвым грузом.

Так что много применений.... И, судя по спросу, хранение данных в облаках на территории России не так популярно - почти ВСЕ поставляемые лицензии, как on-permise так и на основе "подписки" (в принципе, та же самая лицензия, но ограниченная годом действия), ставятся внутрь периметра компании. Очень редко - в доверенном ЦОДе. Но что бы в облака... да, я понимаю, что этим будущее, но пока это редкость. вот и интересно

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598737
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Георгий, вы начинаете превращаться в Юрия... :)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598799
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
профдеформация
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598801
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordic Кстати, именно поэтому Qlik популярен именно у очень прижимистых компаний, которые хорошо умеют считать деньги - это, в первую очередь, ритейл и фарм-индустрия.
в РФ ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598831
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаГеоргий, вы начинаете превращаться в Юрия... :)Покусал Чур меня, чур. Ну, благо, пока я не говорю, что только один продукт чудесный - мне BI вообще в принципе нравится, после ERP-то систем. Как буду только один продукт хвалить - забаньте меня, пожалуйста - значит, обратной дороги нет
Ivan Durakв РФ? Ибо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.Ну, нельзя сравнивать Qlik с Когносом и Анапланом - Qlik совсем в другой области. Qlik на предназначен для бюджетирования - для этого есть ряд других замечательных продуктов. Qlik, скорее, дополняет бюджетирование план/фактом, как Дойчебанке и ряде других компаний. А мире фарма и healthcare - очень неплохо идет.

В РФ Фарма в первую очередь решает задачи анализа вторичных продаж. Чем обучать MDM-систему (Хвала MS, что хоть что-то доступное появилось - всего лет 5 назад было или IBM PIM / Oracle по цене крыла от самолета, или Talent MDM, для которого напильник нужен было размером с то же крыло, или самописка), народ на Qlik все присланные файлы сводил. Знаю, что правильнее МДМ. Но делают на коленке - результат тот же, но быстрее. про это тот же Фармстандарт рассказывал на нашем мероприятии.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39598903
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakИбо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.а исходя из вашего опыта как там с популярностью AWS и Azure?
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599155
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Дедушка:

Георгий, вы начинаете превращаться в Юрия... :)

Георгию это пока не грозит ;) Он пока не может стать независимым от вендоров экспертом. Он вынужден продавать решение, имеющее узкий функционал (в котором нет бюджетирования, нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.). У него нет права предлагать заказчикам лучшие варианты архитектуры на основе дефолтных решений (которые далеко не всегда являются Когносом, хотя иногда и могут оказаться Кликом). Поскольку психологически для него это, вероятно, очень тяжело, предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599178
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаIvan DurakИбо в мировом масштабе работая с фарм-компаниями вижу популярность Когноса,Тибко. Иногда кто-то смотрит на PowerBI.а исходя из вашего опыта как там с популярностью AWS и Azure?
Растет. Семимильными шагами. И AWS и AZURE. В первую очередь для баз и хранилищ начального и среднего уровня.
В крупном международном фарма гиганте количество таких BI систем может исчисляться сотнями! И они конечно экономят. Саппорт в индию, базы в облако. Технологии стандартные. Конфигурации систем типичные, новые делаются путем ctrl-c, ctrl-v.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599221
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Juriiв котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны.
Jurii предлагаю на ближайшей BI-сходке назначить для него в качестве компенсации молоко за вредность ;)Я настолько вредный, что мне молоко литрами выдают.

Кстати, а вот насчет сходки - идея хорошая. Могу в Москве организовать.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599262
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Георгий,

в котором ... нет гибких средств для анализа данных и формирования отчетов, нет серьезного модуля для формирования семантического слоя метаданных, нет многомерной модели и поддержки MDX, нет Искусственного интеллекта, и т.д.).
Ну, ИИ нет, извините. Остальное - Юр, пятый (шестой?) год прошу - скачай продукт, видео там посмотри и разберись. Все есть. Вот прямо в соседней ветке видео, где все это показано + ассоциативная модель. Ну, ё-мое. Если критикуешь, то хоть убедись, что аргументы верны.


Отсутствие ИИ простить пока можно. Без бюджетирования - сложно жить, надо понять, где пользователи Клика должны делать бюджеты.
По остальным вопросам - я скачивал Клик, и увидел, что интерфейс слабоват с точки зрения гибкости, многомерной модели не видно, ассоциативная модель - это просто автофильтр по денормализованному представлению, в этом нет аналитической ценности. Так что жду еще 10 лет и скачаю Клик еще раз, может сейчас разработчики ринутся развивать функционал и за 10 лет что-то в Клике разработают ;) Либо найдется хотя бы 1 специалист по Клику, который на этом форуме станет приводить аргументы в защиту Клика (например, даст ссылку на видео, и скажет, что на такой-то секунде можно увидеть сложный отчет или анализ данных). Или на BI сходке можно будет обсудить Клик вживую.
Прошу относиться к моим словам не как к критике Клика, а как к искреннему желанию помочь вендору и партнерам Клика понять слабости этого решения и доработать его (либо понять, что о сильных сторонах лидеры мнения, такие как я, не информированы).
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599268
xenix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Jurii,

авторлидеры мнения, такие как я
скромненько так.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599464
Фотография Fyodor Zevako
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordic,

те, кто "умеют" считать деньги и индусов в 3 раза дешевле покупают, а потом удивляются)

меня правда искренне восхищает умение предположить уместность того или иного продукта даже не видя требований.

Кстати, Cognos это не только TM1;))

Cheers,
Fedor
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599497
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Fyodor ZevakoGeorge Nordic, те, кто "умеют" считать деньги и индусов в 3 раза дешевле покупают, а потом удивляются)
Угу, или тендер играют "кто дешевле", не сформировав нормально требований к конечному результату. С тем же успехом [/quot]
Fyodor Zevakoменя правда искренне восхищает умение предположить уместность того или иного продукта даже не видя требований.Аналогично. Поэтому и попросил ТС детализировать - почему? Но опять "уникальные эксперты", которые 7й год не могут осилить часовое видео и не понимают, что Qlik НЕ ПРЕДНАЗНАЧЕН И НИКОГДА НЕ ПРЕДНАЗНАЧАЛСЯ для бюджетирования, и что BI - это не только бюджетирование, влезли с тупой рекламой и искусственным интеллектом. Видимо, за неимением естественного.

Увы, Александр не отвечает, было бы интересно послушать.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599583
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Fyodor Zevako:

те, кто "умеют" считать деньги и индусов в 3 раза дешевле покупают

В 3 раза дешевле по сравнению с какими ставками? Например, Юрий II мне озвучивал в свое время достаточно высокие австралийские ставки ;)

Кстати, Cognos это не только TM1;))

Для Георгия так удобнее и приятнее думать, чтобы не огорчаться от превосходства дефолтного решения над Кликом в задачах BI ;)

George Nordic:

меня правда искренне восхищает умение предположить уместность того или иного продукта даже не видя требований.
Аналогично. Поэтому и попросил ТС детализировать - почему? Но опять "уникальные эксперты", которые 7й год не могут осилить часовое видео и не понимают, что Qlik НЕ ПРЕДНАЗНАЧЕН И НИКОГДА НЕ ПРЕДНАЗНАЧАЛСЯ для бюджетирования, и что BI - это не только бюджетирование, влезли с тупой рекламой и искусственным интеллектом. Видимо, за неимением естественного


Если бы проблемой Клика было только отсутствие бюджетирования... ;) Основная беда Клика в том, что задачи BI он плохо решает, не позволяет проводить сложный анализ данных, создавать сложные отчеты, не говоря об управлении метаданными, о многомерной модели и т.п. Вы с этим спорите. Может Вы просто не видели, как это работает в дефолтных решениях. Чтобы закрыть этот вопрос - запостите ссылку на видео, и укажите, на каких минутах/секундах в Клике видны сложные отчеты и анализ данных, многомерная модель и управление метаданными. Пока это не будет сделано, может Вы и будете считать, что уважаемые эксперты, ставящие крест на Клике - не правы, но для Клика это будет плохо (иметь таких лидеров мнения, которые считают его слабым решением, годами об этом говорят, и им многие верят, поскольку их авторитет не вызывает сомнений). Реклама у нас запрещена. А то что в споре или дискуссии рождается истина - этого никто не отменял, и ценные результаты наших дискуссий сохраняются для читателей на надежных иностранных серверах ;)
Чтобы изобрести Искусственный интеллект, поверьте, требуется немало естественного интеллекта ;) А вот когда у человека мало естественного интеллекта, и он при этом считает себя умным, не имея объективных достижений, то это довольно печально... ;)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599741
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiОсновная беда Клика в том, что задачи BI он плохо решает Офигеть. Расскажите это Сбербанку, Магниту, Ленте, Детском Миру, Газпромнефти, Фармстандарту, Почте России и еще сотням заказчиков а России и СНГ. Они-то не знают. Как это можно строить такие отчеты, которые невозможно повторить в других системах за разумный срок, как можно одновременно запустить решение на десятки тысяч пользователей, как можно работать с BigData, обрабатывая петабайты данных. И это не мои слова, а слова именно заказчиков. Или Вы их считаете за дураков, которые ничего кроме Qlik не видели??
Juriiи он при этом считает себя умным, не имея объективных достижений, то это довольно печально... ;)
О, спасибо за комплимент. В 2003 году я в качестве РП и Архитектора (еще и ведущим разработчиком был, 3-в-1) завершил самое крупное внедрение ERP (Axapta) в Восточной Европе. После чего перешел в небольшую такую компанию с именем Microsoft, где в 2007 году был признан лучшим техническим специалистом. Впрочем, Архитектором я тоже потом работал, в КРОКе, где занимался решениями по оптимизации цепей поставок, а так же предпроектным обследованием и разработкой целевой информационной архитектуры (в основном - что касалось контуров логистики, но не только. В основном на продуктах IBM и Oracle. Но, конечно, я и в подметки не гожусь ТАКОМУ КРУПНОМУ специалисту как Вы!
JuriiЧтобы закрыть этот вопрос - запостите ссылку на видео, и укажите, на каких минутах/секундах в Клике видны сложные отчеты и анализ данных, многомерная модель и управление метаданными.
Вы хотите что это было в видео "Первые шаги в Qlik"??? Юрий, при всем моем уважении, я просто не могу опуститься до необходимого уровня, чтобы продолжать с Вами дискуссию. А там вы задавите меня своим опытом.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599904
Barclay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George NordicJuriiОсновная беда Клика в том, что задачи BI он плохо решает Офигеть. Расскажите это Сбербанку, Магниту, Ленте, Детском Миру, Газпромнефти, Фармстандарту, Почте России и еще сотням заказчиков а России и СНГ.
Мы являемся одним из этой сотни заказчиков. И честно сказать, при первой возможности переводим репортинг/дашбординг на SAP BI/ PowerBi в связке с SSAS tabular. Много важных отчетов было сделано в свое время на клике, и просто так, в один миг, от них, к сожалению не отказаться. Первая, но не основная причина, это стоимость решений/лицензий на клике(очень высоко в сравнении). Вторая - целостность данных - это важно, а с ассоциативной моделью клика на выходе в отчете получаются очень большие погрешности. И наконец, когда данных очень много, клику всё-таки требуется хранилище, как бы не расписывали ваши продажники, что можно работать без хранилища на клике, а это уже другие косты, так не проще ли сразу строить нормальный BI backend?
BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу, к клику больше ни ногой.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39599907
Barclay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87Azure Warehouse Вам не нужен. Нафига Вам mpp для 200-300 гигов данных? Постройте "звездный" DWH в Azure Sql Server, сделайте куб в Azure AS и крутите на нем PBI.
Вы считали сколько это стоит? Особенно Azure AS с 200-300 Гб.
Если вы построите модель данных по всем канонам Marco Russo & Alberto Ferrari, то ок, модель данных будет раз 10 меньше, и это не будет стоить дорого.

К примеру, согласно очень предварительному расчету памяти для модели=(объем данных/10)*2. У вас получится min.40 гб - куб. Согласно прайсу Azure это ~$2,963.80/month + прайс за разработку модели, репортинга.

Я бы рекомендовал on-premise SSAS tabular решение + отчеты в PowerBI Pro с Live Connection на Office365 (это примерно 500 руб/мес. на юзера).
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600068
Кэптен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordicгде занимался решениями по оптимизации цепей поставок
Тут стало очень много Георгия, точнее продавана.
Любой мало-мальский спец в логистике знает, что есть цепочки поставок, а не цепи ;)
Про решение все верно советуют, я бы тоже использовал AS (в облаке или на земле) и к нему PBI.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600262
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кэптен,

с Георгием лично не знаком, но вступлюсь. Возможно, Георгий постиг сермягу SCM и потому написал - цепи.
Есть же такие оговорки, как хоронилище (DWH), концлагерь (CRM).
Сейчас постигаю тему цепочек поставок, полный цикл.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600265
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Господа Георгий и Юрий, тема начата по технологическому вопросу а вы ее с рвением превращаете в соревнование по длине непарных конечностей. Ну прям как 8-классники.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600295
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Герр Владимир,

Господа Георгий и Юрий, тема начата по технологическому вопросу а вы ее с рвением превращаете в соревнование по длине непарных конечностей. Ну прям как 8-классники.

Такие проблемы требуют разработки Искусственного интеллекта, который круглосуточно будет мониторить посты на этом форуме.
Если бы г-н Дедушка 8 февраля в 10.06 по московскому времени был бы на год забанен, и его пост был бы удален, то тогда г-н Георгий не обвинил бы меня в том, что карается как минимум УК РФ, и мне бы не пришлось на это отвечать ;)

Но пока у нас нет жесткого модерирования, то подобные веселые дискуссии приносят пользу - и повышают уровень активности на форуме, и доносят правду (например, что Клик нужно серьезно проверить с точки зрения введения в заблуждение его заказчиков, которые теряют немалые деньги, когда им приходится переходить на другие BI решения).
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600315
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КэптенGeorge Nordicгде занимался решениями по оптимизации цепей поставок
Тут стало очень много Георгия, точнее продавана.
Любой мало-мальский спец в логистике знает, что есть цепочки поставок, а не цепи ;)
Про решение все верно советуют, я бы тоже использовал AS (в облаке или на земле) и к нему PBI.
А я бы не советовал использовать PBI в связке с SSAS до тех пор, пока веселые индусы из Редмонда не прикрутят поддержку named sets. Это очень забавные грабли, бьют по лбу неожиданно и больно.
Просят их об этом уже года три, но воз и ныне там .
Хотя некоторые фичи в нем выглядят таки очень красиво и занимательно .
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600318
Barclay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPА я бы не советовал использовать PBI в связке с SSAS до тех пор, пока веселые индусы из Редмонда не прикрутят поддержку named sets. Это очень забавные грабли, бьют по лбу неожиданно и больно.


Полезная фича, конечно, но это не может является преградой при выборе решения. Тем более, что существует work-arround: делаете вью в базе, а из нее как отдельный dimension в SSAS.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600319
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BarclayAndy_OLAPА я бы не советовал использовать PBI в связке с SSAS до тех пор, пока веселые индусы из Редмонда не прикрутят поддержку named sets. Это очень забавные грабли, бьют по лбу неожиданно и больно.


Полезная фича, конечно, но это не может является преградой при выборе решения. Тем более, что существует work-arround: делаете вью в базе, а из нее как отдельный dimension в SSAS.
Ой-вей, это совсем не воркэраунд, это очень даже некошерное решение, я не буду подробно расписывать, почему, просто у меня такое мнение.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600593
churupaha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAP,

+1
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600635
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BarclayМы являемся одним из этой сотни заказчиков. И честно сказать, при первой возможности переводим репортинг/дашбординг на SAP BI/ PowerBi в связке с SSAS tabular. Много важных отчетов было сделано в свое время на клике, и просто так, в один миг, от них, к сожалению не отказаться. Первая, но не основная причина, это стоимость решений/лицензий на клике(очень высоко в сравнении). Вторая - целостность данных - это важно, а с ассоциативной моделью клика на выходе в отчете получаются очень большие погрешности. И наконец, когда данных очень много, клику всё-таки требуется хранилище, как бы не расписывали ваши продажники, что можно работать без хранилища на клике, а это уже другие косты, так не проще ли сразу строить нормальный BI backend?
BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу, к клику больше ни ногой.

Barclay, а не могли бы Вы чуть подробней по пунктам описать где конкретно плохо:

1. Стоимость решений/лицензий на клике(очень высоко в сравнении).
Если речь о решениях - какие именно решения на клике дороги (ETL, DWH, морда) и в сравнении с чем?
Если о лицензиях - с какими продуктами сравнивали, скажем, можете сравнить стоимость PowerBI и Qlik?

2. Целостность данных - можете дать пример конкретной проблемы с ассоциативной моделью и описание решения другим инструментарием (каким?) ?

3. "Когда данных очень много, клику всё-таки требуется хранилище." На каких объёмах пришли к выводу что кликовского решения ХД недостаточно?
Какие альтернативы решили проблему и каков порядок костов (лицензии, человекочасы)?

4. "BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу".
Так PowerBI или Lumira?
А ETL, DWH на чём?
Что значит "пошло как по маслу"? Лицензии_дешевле_&_время_разработки_короче_&_с_ целостностью_данных_вообще_нет проблем_&_etc ? Или как-то иначе?

Заранее спасибо.

P.S. Мой интерес не праздный.
Возможно, благодаря Вашим ответам удастся убедить моё начальство протестировать у нас другие продукты.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600712
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
slovnet[какие именно решения на клике дороги (ETL, DWH,
Не удержался. И опять 25, кто то что сделал и с чего вдруг у Qlik появилось ETL, DWH. Навскидку у людей зоопарк, показалось дорого за матерели, поняли как правильно, пришло понимание, решили от дорого избавиться и сделать как правильно с DWH. Георгий писал, что после Qlik понимание о необходимых срезах и показателях. Одну зверушку убираем, парочку добавляем. Развитие по спирали. Ну не бывает в крупных копаниях, одной зверушки.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600791
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SpellBuilderslovnet[какие именно решения на клике дороги (ETL, DWH,
Не удержался. И опять 25, кто то что сделал и с чего вдруг у Qlik появилось ETL, DWH. Навскидку у людей зоопарк, показалось дорого за матерели, поняли как правильно, пришло понимание, решили от дорого избавиться и сделать как правильно с DWH. Георгий писал, что после Qlik понимание о необходимых срезах и показателях. Одну зверушку убираем, парочку добавляем. Развитие по спирали. Ну не бывает в крупных копаниях, одной зверушки.
Будем считать что и я не удержался. И опять 25.
Как по-Вашему называется когда с помощью программного продукта сводится информация из нескольких источников?
А потом очищается, фильтруется, нормализируется?
А когда потом из этого строится модель типа звезда/снежинка - это как называется?

Где я писал что должна быть обязательно "одна зверушка"?

Где у Barclay написано что компания именно крупная?
И вообще, причём здесь величина компании? Это очень косвенный показатель, я вот интересуюсь у Barclay объёмами данных, конкретными проблемами.

Почему Вы решили что знаете "как правильно" во всех ситуациях не зная ничего о конкретном случае?

Я, в отличии от Вас, не рассказываю "как правильно", а интересуюсь, что именно показалось дорого, пришло понимание чего именно, какие проблемы были, как и чем решили.
"Развитие по спирали" - слишком общее понятие. Мне интересны как раз стыки этой самой спирали, где они проходят.
У меня тоже своё развитие по своей спирали, и интересно послушать опыт коллег.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600834
Barclay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Barclay, а не могли бы Вы чуть подробней по пунктам описать где конкретно плохо:

1. Стоимость решений/лицензий на клике(очень высоко в сравнении).
Если речь о решениях - какие именно решения на клике дороги (ETL, DWH, морда) и в сравнении с чем?
Если о лицензиях - с какими продуктами сравнивали, скажем, можете сравнить стоимость PowerBI и Qlik?

2. Целостность данных - можете дать пример конкретной проблемы с ассоциативной моделью и описание решения другим инструментарием (каким?) ?

3. "Когда данных очень много, клику всё-таки требуется хранилище." На каких объёмах пришли к выводу что кликовского решения ХД недостаточно?
Какие альтернативы решили проблему и каков порядок костов (лицензии, человекочасы)?

4. "BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу".
Так PowerBI или Lumira?
А ETL, DWH на чём?
Что значит "пошло как по маслу"? Лицензии_дешевле_&_время_разработки_короче_&_с_ целостностью_данных_вообще_нет проблем_&_etc ? Или как-то иначе?

Заранее спасибо.

P.S. Мой интерес не праздный.
Возможно, благодаря Вашим ответам удастся убедить моё начальство протестировать у нас другие продукты.

1. Стоимость решений ~ Среда разработки 64 gb + продуктив 384 gb = в ЦОДе стоИт (дорого стОит). + лицензии (около 40 тыс$/год) точную сумму я не буду писать.

В сравнении с SQL Server Software Assurance + Pro cloud, около 20 тыс $/год

2. Конкретные примеры? Есть множество QVD с непонятной недокументированной логикой от предыдущей команды, и гора инцидентов, при разборе которых выяснялось, что в полях, где должны быть буквы оказались цифры. На этой негативной ноте всё и "порешилось" в сторону PBI, Lumira. Естественно, что не в один день.
А я как-то не горю желанием доказывать руководству, обратное, что клик - он хороший, просто нужно провести трудоемкую ревизию месяцев на 6 с разбором всей логики, расчетов и пр. Тогда как сам я занимаюсь Microsoft'ом, SAP'ом.

3. Около 100 gb ежемесячно

4. Lumira для 5 юзеров контроллинга с отчетами напрямую из CDS view (SAP FI/CO),
PowerBi для всех остальных юзеров(sales) (SQLServer DWH+SSIS+SSAS+PowerBI report server). с целостностью данных нет проблемы, вы правы, этот вопрос решается при загрузке в DWH.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600936
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
slovnet,

Ну вот Вам и ответ, компетенции, нежелание восстанавливать и погружаться в другое, прокачка своих скилов и обоснование удешевление и все плохо. Наша классика.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600937
Roman Kolchin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Barclay,

Разве в "проблемах с Qlik'ом" в вашей компании был виноват Qlik? Может дело в организации поддержки и развития системы, которая была построена на ем?

Вы пишете:
BarclayЕсть множество QVD с непонятной недокументированной логикой от предыдущей команды <...>
То есть сейчас у вас нет компетентной команды для поддержки и развития Qlik'а. Виноват не продукт.

Barclay<...> и гора инцидентов, при разборе которых выяснялось, что в полях, где должны быть буквы оказались цифры.
У старой команды кривые руки и отсутвие понимания как нужно интегрировать и чистить данные для BI? Виноват не продукт. Наймите адекватных специалистов.

BarclayИ наконец, когда данных очень много, клику всё-таки требуется хранилище, как бы не расписывали ваши продажники, что можно работать без хранилища на клике, а это уже другие косты, так не проще ли сразу строить нормальный BI backend?
Бизнес хочет просто заплатить денег и получить результат, не задумываясь о технологии внедрения и архитектуре. Это нормально. И по поводу использования Qlik'а без хранилища продавцы продукта отвечают верно -- действительно, из выгруженной портянки данных из любой системы, особо не задумваясь о серьезном проектировании чего-либо промежуточного, таки можно построить качественный отчет в Qlik'е. И руководитель ИТ должен быть доволен, что он на одном инструменте может быстро порешать критичные для бизнеса задачи.

Вот только, в отличие от бизнеса, руководитель ИТ как раз должен думать и о технологиях и об архитектуре и обо всем этом вместе думать в перспективе. И он должен понимать, когда нужно перейти от выгрузки портянок и перейти к нормальной интеграции данных. И не надо тут перекладывать задачу планирования развития BI-системы на продаванов вендора.

Конечно, ИТ очень хочется чтобы вендор продумал за них стратегию развития BI, убедил "подождать" пока ИТ все сделает "правильно" и, главное, убедил бизнеса в необходимости выделения на все это ресурсов. Но это не задача вендора.

Очень хорошо, что сейчас у вас все понимают, что масштабные задачи нужно решать на качественно другом уровне. Но только заслуга в этом не ИТ, а провального проекта на Qlik'е, чье развитие ИТ не смогло поддержать на адекватном для компании уровне. Продукт тут тоже не при чем.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600939
Roman Kolchin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
George Nordic,

Может расскажешь о том, как организована работа бизнеса и ИТ вокруг системы на Qlik'е в двух кейсах?
1. Qlik без хранилища -- в каких случаях и для какого масштаба оно нормально работает;
2. Qlik без хранилища не обойдется -- в каком ландшафте и на каком масштабе без полноценного бэкенда на реляционке не жить.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39600960
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллеги, во всем виноват непрофессионализм в совокупности с воинствующим делетантизмом. Видел и как нахреначили в ms sql ни одного суррогатного ключа и qlik с кучей qvd файлов костыль на костыле.
Правда qlik сам в какой то степени виноват, если в западных конторах это инструмент аналитика и работает поверх ХД, то в России на нем пытаются сделать все слои аналитической системы, и ничего хорошего пока из этого не вышло.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601027
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
о чем спор?
давно понятно, каков поп - таков и приход.
Хочет эффективный менеджмент заказать быстро занедорого что-то сваять, таки появляются аджайл девелоперы. Как говорится, они друг друга нашли и счастья им.
Другая крайность - развозят бесконечные игрища с вИдениями, обследованиями, сменами архитектур, платформ, перебором подрядчиков и толпами студней в итоге - и им счастья.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601052
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SpellBuilderslovnet,

Ну вот Вам и ответ, компетенции, нежелание восстанавливать и погружаться в другое, прокачка своих скилов и обоснование удешевление и все плохо. Наша классика.
Браво!
Хотя насчёт цен за лицензии/облака может они и правы.
Если 100-200 юзеров, может выгодней MSSQL+PBI.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601086
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мы уже довольно далеко ушли от темы ТСа :)

я не большой спец по Qlik, более знающие коллеги поправят...
не обсуждая вопрос цены, а только технические аспекты.

т.к. Qlik создаёт qvd файлы (каждый файл одна таблица),
эти файлы могут читать Qlik скрипты нескольких приложений,
эти файлы допускают инкрементыльную подгрузку (как это реализовано сейчас не важно),
то по сути мы имеем файловое ХД.

- да, реализация стейджа через промежуточные qvd файлы
- да, метаданные нужно вести руками и делать это очень аккуратно
- да, ETL скрипты "статичны" (нет переиспользования кода)
- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами
- да, это файловое ХД доступно только Qlik-у и больше никому

но тем не менее... при желании и достаточном уровне знаний построить достаточно адекватную BI экосистему можно.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601111
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкамы уже довольно далеко ушли от темы ТСа :)

я не большой спец по Qlik, более знающие коллеги поправят...
не обсуждая вопрос цены, а только технические аспекты.

т.к. Qlik создаёт qvd файлы (каждый файл одна таблица),
эти файлы могут читать Qlik скрипты нескольких приложений,
эти файлы допускают инкрементыльную подгрузку (как это реализовано сейчас не важно),
то по сути мы имеем файловое ХД.

Да, всё так.

Дедушка- да, реализация стейджа через промежуточные qvd файлы

Можете объяснить чем это плохо? Добавляет пресловутой костыльности?
Дедушка- да, метаданные нужно вести руками и делать это очень аккуратно

Можете описать как в классических системах метаданные ведутся не руками?
В клике это действительно очень кропотливая работа, легко упустить из виду "мелочи".
Дедушка- да, ETL скрипты "статичны" (нет переиспользования кода)

Это проблема, иногда большая. Особенно когда пишешь очень громоздкие формулы с сет аналисис для пересчёта "на лету", и эти громоздкие конструкции распиханы в ГУИ по разными местам, и нельзя, условно, "написать и вызывать функцию". Хотя в QS есть MasterItems, с ним надо ещё поиграться.
Если же говорить о "повторном использовании кода" на уровне загрузки, то в клике уместно говорить о "повторном использовании QVD файлов". То есть могу уже почищенную, вылизаную, сведенную дату сложить в QVD-шку и обращаться к ней из разных мест.
Дедушка- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами

Согласен. Очевидно, как раз из-за упомянутых Вами проблем.
Дедушка- да, это файловое ХД доступно только Qlik-у и больше никому

Это, видимо, один из главных недостатков.
В принципе, на уровне костылей, можно выгружать в CSV вместо QVD и тянуть из них наружу.
Дедушкано тем не менее... при желании и достаточном уровне знаний построить достаточно адекватную BI экосистему можно.

Да, и тут вопрос костов очень важен. Если данных немного, то с большой вероятностью имеет смысл.
Проблема только, что когда объёмы растут, можно столкнутся с полной перестройкой ETL/DWH на другие технологии.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601194
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BarclayBarclay, а не могли бы Вы чуть подробней по пунктам описать где конкретно плохо:

1. Стоимость решений/лицензий на клике(очень высоко в сравнении).
Если речь о решениях - какие именно решения на клике дороги (ETL, DWH, морда) и в сравнении с чем?
Если о лицензиях - с какими продуктами сравнивали, скажем, можете сравнить стоимость PowerBI и Qlik?

2. Целостность данных - можете дать пример конкретной проблемы с ассоциативной моделью и описание решения другим инструментарием (каким?) ?

3. "Когда данных очень много, клику всё-таки требуется хранилище." На каких объёмах пришли к выводу что кликовского решения ХД недостаточно?
Какие альтернативы решили проблему и каков порядок костов (лицензии, человекочасы)?

4. "BI отдел был переучен на PowerBI, Lumira в прошлом году. И хочу сказать, что пошло как по маслу".
Так PowerBI или Lumira?
А ETL, DWH на чём?
Что значит "пошло как по маслу"? Лицензии_дешевле_&_время_разработки_короче_&_с_ целостностью_данных_вообще_нет проблем_&_etc ? Или как-то иначе?

Заранее спасибо.

P.S. Мой интерес не праздный.
Возможно, благодаря Вашим ответам удастся убедить моё начальство протестировать у нас другие продукты.

1. Стоимость решений ~ Среда разработки 64 gb + продуктив 384 gb = в ЦОДе стоИт (дорого стОит). + лицензии (около 40 тыс$/год) точную сумму я не буду писать.

В сравнении с SQL Server Software Assurance + Pro cloud, около 20 тыс $/год

2. Конкретные примеры? Есть множество QVD с непонятной недокументированной логикой от предыдущей команды, и гора инцидентов, при разборе которых выяснялось, что в полях, где должны быть буквы оказались цифры. На этой негативной ноте всё и "порешилось" в сторону PBI, Lumira. Естественно, что не в один день.
А я как-то не горю желанием доказывать руководству, обратное, что клик - он хороший, просто нужно провести трудоемкую ревизию месяцев на 6 с разбором всей логики, расчетов и пр. Тогда как сам я занимаюсь Microsoft'ом, SAP'ом.

3. Около 100 gb ежемесячно

4. Lumira для 5 юзеров контроллинга с отчетами напрямую из CDS view (SAP FI/CO),
PowerBi для всех остальных юзеров(sales) (SQLServer DWH+SSIS+SSAS+PowerBI report server). с целостностью данных нет проблемы, вы правы, этот вопрос решается при загрузке в DWH.

Насчёт цен за лицензии/облака возможно Вы правы.
Судя по Вашему описанию у вас 100-200 юзеров.
Возможно выгодней MSSQL+PBI.
Хотя конечно надо считать конкретно.

Насчёт всего остального вот SpellBuilder хорошо написал:
SpellBuilderНу вот Вам и ответ, компетенции, нежелание восстанавливать и погружаться в другое, прокачка своих скилов и обоснование удешевление и все плохо. Наша классика.

То есть очень распространённая ситуация - ругают инструмент, топы верят, вбухивают кучу денег в замену, а копнёшь чуть - дело в исполнителях, или в их отсутствии.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601212
Barclay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ребята, вы все правы. Проведу аналогию.
Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd)
Красивый, полноприводный "джип". Ну мы поехали в тайгу, и застряли. Кто виноват?
Водитель? Range Rover? Продавец? Менеджер?
Да никто не виноват, каждый делал свою работу, кто-то очень хорошо, кто-то поверхностно в соответствии со своими представлениями о тайге.
Но выруливать и вызывать трактор придется водителю, и проще поругать range Rover, ибо менеджера априори бессмысленно(или нельзя), продавана хрен найдешь и не предъявишь, а ренжик вот он твой, ругай его сколько влезет, и предупреди друга чтобы не попал в такую же ситуацию:)
Как-то так.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601252
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Barclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601475
Barclay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
slovnetBarclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.

Соглашусь с вами, правда она где-то посередине. Однако вы должны знать, что мы ощущаем как владельцы клика
RR в качестве примера взят неспроста, наши дашборды выглядят иногда также.

...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601923
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Barclay,

Ну мы вообще-то такие же "владельцы клика" как вы, нам тоже достался невзлетевший у внедренцев клик.
Знайте и вы что мы ощущаем:)
Ну, разобрались с кликом и теперь идёт "как по маслу", уже года 3. Написал в кавычках потому что не верю что в какой либо BI системе всё может идти "как по маслу".
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39601987
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
slovnetBarclay,
Да нет, всё легитимно.
Но (возможно) здесь более уместна немного другая аналогия (без обид):

Нам продали Range Rover Supercharged, предварительно сказали, что можно как в тайгу, так и по городу(ETL, DWH, FrontEnd).
Ну мы взяли специального водилу, спеца по этому ренжику. А он зачем-то ушёл/его ушли и пришёл другой водила, спец по Hummer.
Вроде похоже, но специфика в тайге разная. И вот он на этом ренжике застрял в тайге.
Ну у него есть два варианта - научиться как ренжиком в тайге пользоваться или впарить босса что ренжик надо в помойку, а закупить вместо хаммер, причём заодно по городу тоже на хаммере.
Ну и заодно сообщить на джиповом форуме что, мол, ренжик не айс, а вот купили хамер, и пошло как по маслу.

Дисклеймер: поскольку эта аналогия, как любая аналогия, не описывает ситуацию точно, то правда находится где-то посерёдке между Вашим и нашим мнением.
Клик ругают потому, что его хранилище - это свалка QVD. То есть "вещь в себе". По сути аналогия такая. Вы покупаете с приятелями несколько маленьких джипов и мощный субурбан для себя. Едете в тайгу и один из маленьких сузуки застревает в грязи. Вы гордо говорите "давай трос, сдерну" - а оказывается, что таки цеплять некуда, все петли выдираются с корнем при малейшем натяге или вообще отсутствуют.
То есть джип у Вас есть. Мощный, дорогой. Но Вы его продадите и купите обычный дефендер, без претензий, а то и газик или ниву какую-нибудь.
А необходимость выгружать что-то из хранилища помимо красивых дашбордов и графиков клика осознается не сразу. И поэтому воспринимается затем всеми как подстава. А это не так. Просто Вы сами при покупке немного не предусмотрели. Ну таки и нельзя сразу быть мудрым как царь Соломон и все предусмотреть.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602154
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPчто его хранилище - это свалка QVD. То есть "вещь в себе"
Ну у многих в голове и дома свалка. Можно наплодить в DWH витрин и жить с эти, а можно порядок навести. Другое дело в DWH
можно запросы погонять и сразу посмотреть, а чего там налили. А в Qlik это немножко по другому, народ теряется языка начальной школы, это я про стандарт SQL. Опять же если портянки выгружать городить пользователям которые не могут без своих Excel.
Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602160
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602165
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602168
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.


На мой взгляд, Клик - это обычная реляционная СУБД (имеющая интегрированные средства визуализации). При загрузке данныз в Клик тратится время, оно как раз уходит на то, чтобы построить индексы по всем полям. Если в MS SQL Server тоже сделать индексы, то производительность в целом должна быть аналогичной.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602193
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КритикSpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена
Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя.
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602195
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii Задача 1 ярд проводок, задача отобрать для изучения сторнирующие, которые были для изучения, корреспонденции, документов и т.п, затем еще чем то ограничить. Время 5 сек. Ну в простом qlik, это вообще не задача. Вопрос как сделать в MS?
Да, индекса по признаку сторно конечно нет, признак то несущественный, партицирование обычное помесячное. Проводки за год.


На мой взгляд, Клик - это обычная реляционная СУБД (имеющая интегрированные средства визуализации). При загрузке данныз в Клик тратится время, оно как раз уходит на то, чтобы построить индексы по всем полям. Если в MS SQL Server тоже сделать индексы, то производительность в целом должна быть аналогичной.
Ага давайте, постройте индексы по всем полям в табличке проводок с сотней миллионов и документов раза в 3 меньше проводок и по обновляйте (связанные справочник контрагентов и счетов, пока не смотрим).
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602211
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага давайте, постройте индексы по всем полям в табличке проводок с сотней миллионов и документов раза в 3 меньше проводок и по обновляйте (связанные справочник контрагентов и счетов, пока не смотрим).

Похоже мы на пути к тому, чтобы найти одну сильную сторону Клика, ради которой аналитик может скачать и установить себе бесплатную версию Клика ;) Вопрос только в том, насколько регулярно требуется так работать с проводками, поможет ли клик найти что-то ценное. Компаний, в которых сотни миллионов и более записей, требующих подобного исследования - не так много, и обычно железо у них соответствующее, позволяет в MS SQL Server без индексов достаточно быстро отбирать данные из одной таблицы (если подключать справочники, то запросы станут посложнее, и нужно будет грамотно играться с OUTER JOINs). Клик конечно мощнее, чем автофильтр Excel и удобнее, чем голый Management Studio. Но как альтернативу Клику для таких Ad-hoc задач я бы рассмотрел дефолтный построитель физических OLAP-кубов, который позволяет автоматически сгенерить структуру куба исходя из автоматического анализа типов данных и выявления иерархий, в кубе посчитаются агрегаты во всех разрезах, в измерениях будут наглядно видны все найденные во всех полях непустые значения, и куб будет летать на слабом компьютере. А вот в Клик я как-то загрузил 150 миллионов записей, и у меня эти данные е летали, что логично, поскольку Клик не считает агрегаты при загрузке данных и требует серьезное железо.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602222
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SpellBuilderКритикSpellBuilder,

из миллиарда проводок обладать нужными признаками будет что-то около миллиона,
а зачем пользователю портянка из миллиона строк?

вероятно, не нужна, а нужен какой-то агрегат - смотрим на кубы или реализуем колоночные индексы в ХД,
проблема решена
Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя .
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.
Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602223
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушка- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами
- да, это файловое ХД доступно только Qlik-у и больше никому
.
если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602230
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
StarikNavyДедушка- да, весь процесс, скажем так, немного "костылен" по сравнению с другими BI системами
- да, это файловое ХД доступно только Qlik-у и больше никому
.
если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны
За счет этих недостатков таки и реализуется продажа лицензий. Когда пользователю руки выламывают - это вряд ли можно трактовать как его возможность что-либо сделать.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602235
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
если я правильно понял, это не баг, а фича )
т.е. за счет этих недостатков, пользователю дается возможность быстро построить прототип BI системы, выдать отчет руководству/понять какие отчеты нужны
За счет этих недостатков таки и реализуется продажа лицензий. Когда пользователю руки выламывают - это вряд ли можно трактовать как его возможность что-либо сделать


Да, сейчас уже можно быстро, за 1-2 дня, строить не прототип, а вполне полноценное ХД, и на его основе - BI. Вместо Клика для этого проще всего использовать Искусственный интеллект (который автоматически сформирует ХД в MS SQL Server) + дефолтный BI.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602247
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPSpellBuilderпропущено...

Я выше написал отобрать 5 сек, почесать репу, наложить еще фильтр 5 сек, подумать, еще наложить. Понять что то для себя .
Ага, куб с полной атрибутикой проводок и заголовков документов их породивших, ну ну.
Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...
Не понял зачем QVD гнать в хранилище. Определил что не так, звонищь или лезешь в учетную систему вбиваешь в фильтр атрибуты, находишь нужное правишь или отправляешь список через Excel, сохраняешь отбор на портале, просишь разобраться и т.п.
Переделка трудов, каких вообще не вопрос.
Я не люблю Qlik именно за простоту, из-за этого по этому продукту низкие з.п.. Поэтому и не занимаюсь им, а так иногда.
P/s/ Основная цель qvd ускорить загрузку в модель сотни тысяч строк в секунду, это упрощает update
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602256
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SpellBuilderAndy_OLAPпропущено...

Нет, коллега, не так. Начать поиски в миллиарде проводок. Найти 15 миллионов проводок, которые нужно анализировать дальше. Попробовать сверить с исходными учетными системами (ERP, CRM). Понять, что их разработчики/админы владеют только SQL и помогут выдергивать запросами части из этих 15 миллионов строк. Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее. Обалдеть от мысли, что хранилище Qlik - это вещь в себе и все равно нужно для него отдельное хранилище DWH. Обалдеть от мысли, что начальство в полной уверенности, что это и DWH, и Reporting, и красивая выгрузка в CSV для отправки внешних контрагентам для дальнейшей сверки между фирмами. Обалдеть от мысли, сколько на самом деле трудов будет стоить любая переделка (красивая реализация по ТЗ в клике - да, шаг вправо, шаг влево после этого - попытка к бегству и немедленное наказание).
Вот как-то так...
Не понял зачем QVD гнать в хранилище. Определил что не так, звонищь или лезешь в учетную систему вбиваешь в фильтр атрибуты, находишь нужное правишь или отправляешь список через Excel, сохраняешь отбор на портале, просишь разобраться и т.п.
Переделка трудов, каких вообще не вопрос.
Я не люблю Qlik именно за простоту, из-за этого по этому продукту низкие з.п.. Поэтому и не занимаюсь им, а так иногда.
P/s/ Основная цель qvd ускорить загрузку в модель сотни тысяч строк в секунду, это упрощает update
"Определил что не так" - что-то не так с одной-двумя-тремя из 15 миллионов строк. Не миллиард строк, уже проще, но все равно - лучше искать иголку в стогу сена с помощью сильного магнита.
"находишь нужное правишь" - Вы на секунду поставьте себя на место разработчика исходной системы. Я уже не говорю про "правишь", я про "находишь". У Вас 15 миллионов строк, у него 20 тысяч возможных вариантов для поиска. Ну и?
"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602264
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAP Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее.

Не понял, зачем это?
При грамотном построении вся Raw Data есть уже в Qlik, делайте зум куда надо и сверяйте глазами.
Или я что-то неверно понял?
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602266
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну если очень хочется поизвращаться - выгружайте из клика в CSV и балуйтесь.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602271
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
slovnetAndy_OLAP Понять, что из QVD в 15 миллионов нужно выгружать все равно обратно в DWH и сверять с наложением inner join/left join и так далее.

Не понял, зачем это?
При грамотном построении вся Raw Data есть уже в Qlik, делайте зум куда надо и сверяйте глазами.
Или я что-то неверно понял?
"При грамотном построении вся" - согласен, но таки есть нюанс. На момент построения - да, была вся. А теперь нужно допилить и перепилить и уже не вся. И всё. Приплыли...
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602277
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAP,

Куда приплыли?
Что нужно допилить и перепилить?
Поля/таблицы добавить? Что здесь сложного?
Добавил новую таблицу в выгрузку, свёл её в снежинку.
Дольше чем в куб добавлять?

P.S. Если б мои юзеры для сверения данных должны были бы кого-то заставлять к учетной системе SQL-костыли прикручивать, меня бы давно выгнали.
У меня юзер пальцем показывает - вот здесь в этом доке сумма такая, а в учётной - такая.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602305
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 slovnet:

Добавил новую таблицу в выгрузку, свёл её в снежинку.

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
В традиционном ХД сначала проводки из разных баз попадают в одну таблицу фактов, потом присоединяются трансформационные правила, которые либо отсутствуют для такой-то проводки, либо превращают одну проводку в одну или несколько управленческих записей, без потери связи с этой проводкой. Гладко этот процесс никогда не происходит, нужно выверять трансформированные данные.

Вопрос в том, можно ли в Клике играться с OUTER JOINs, чтобы вывести трансформационные правила, для которых не нашлись проводки, а также вывести проводки, для которых не нашлись трансформационные правила? Будем считать, что каждое правило задается для комбинации диапазона дат, организации, счета Дт, Счета Кт и набора кодов или значений субконто (номенклатура, контрагент, статья затрат, и т.п.). И поддерживает ли Клик связи между таблицами, когда не только задано равенство по совпадающим названиям полей, а когда названия полей в связях не совпадают, когда добавляются условия что дата между ДатыС и ДатыПо, можно ли дополнительные условия задавать что такое-то поле не равно другому полю или не равно набору констант, и т.п.

P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602343
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii,

Много слов. Российские суровые бухи все это прекрасно делают в excel.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602380
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Полковник:

Много слов. Российские суровые бухи все это прекрасно делают в excel.

Много слов, поскольку я все это не раз автоматизировал, а потом еще обучал этому Искусственный интеллект. В Челябинске вероятно это не так актуально, но в других регионах бухгалтера менее суровы, и Excel притормаживает на больших объемах данных.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602422
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiЧто интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Юрий, простите, Вас ваша мама вежливости не учила? Извольте не превращать сообщество в балаган.

Я тут. Просто сделали замечание что меня слишком много, я принял мнение коллег к сведению.

Сходку - готов организовать. Предлагаю когда чуть потеплеет. Со slovnet с удовольствием познакомлюсь. Родственников, которые занимаются BI, к сожалению, нет. Привычки писать под несколькими аккаунтами не имею.

Дедушкая не большой спец по Qlik, более знающие коллеги поправят...Жаль. Толковые люди нужны как воздух. Хотя, толковы люди и так нужны, вне зависимости от системы.Дедушкат.к. Qlik создаёт qvd файлы (каждый файл одна таблица)не совсем. один QVD файл может содержать данные из нескольких таблиц. Данный файл может быть источником данных как для одного приложения, так и для нескольких, также можно его преобразовывать в другие qvd-файлы. Да по сути мы имеем файловое ХД (там лежит дамп памяти, скорость загрузки с диска в память очень высокая)

КэптенЛюбой мало-мальский спец в логистике знает, что есть цепочки поставок, а не цепи ;)Не позорьтесь, если не знаете. Это не ювелирный магазин. Специалисты как раз говорят " цепи поставок ".

Roman KolchinGeorge Nordic,
Может расскажешь о том, как организована работа бизнеса и ИТ вокруг системы на Qlik'е в двух кейсах?
1. Qlik без хранилища -- в каких случаях и для какого масштаба оно нормально работает;
2. Qlik без хранилища не обойдется -- в каком ландшафте и на каком масштабе без полноценного бэкенда на реляционке не жить.Ром, привет. Хороший вопрос. Действительно, 2 разных подхода есть. Я лично сторонник DWH, так как Qlik - это ADWH, DWH в первую очередь решает другие задачи, в первую очередь связанные с хранением исторических данных. Qlik - это выгрузка, слепок... использовать его для хранения - неразумно, хотя я и видел пример (чеки хранили).

Если в компании есть учетная система, в которой хранятся транзакции и мастер-данные предприятия (например Dynamics), то в DWH зачастую нет необходимости - данную функцию выполняет сама учетная система. Или учетная система + отдельно транзакционная (POS, EAM, WMS) - по сути, имеем 2 хранилища, Qlik может брать данные сразу из множества систем. Так что для средних предприятий Qlik можно натравить и напрямую. Даже в банках подобные примеры видел - Запсибкомбанк в одном приложении Qlik загрузили и связали всех клиентов, клиентские продукты, счета, карты, операции по картам, и транзакции + несколько сот миллионов остатков. При этом считают, что отсутствие необходимости DWH - это плюс. А это 61й банк в рейтинге, на секундочку.
Но, как я и говорил, я сторонник связки DWH+ADWH: в DWH необходимо хранить минимум необходимой информации, где нужна историчность, которая будет использоваться + ADWH для решения аналитических задач. Как-то так.

Да, коллеги, чтобы хорошо проследить метаданные в Qlik есть хорошее решение от Nodegraph . Больше информации на комьюнити .

С Уважением,
Георгий.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602440
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Георгий,

Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet.
Юрий, простите, Вас ваша мама вежливости не учила? Извольте не превращать сообщество в балаган.

Я тут. Просто сделали замечание что меня слишком много, я принял мнение коллег к сведению.

Я думаю, что немного английского юмора не повредит нашей тусовке ;) Если серьезно, то я стараюсь у нас на форуме создать более интересный и разнообразный контент для обучения Искусственного интеллекта, который, надеюсь, через год сможет делать интересные селекты к нашему форуму ;)

Сходку - готов организовать. Предлагаю когда чуть потеплеет. Со slovnet с удовольствием познакомлюсь.

Вам нужно его активно хантить, он незаменимый сотрудник для Вашей коммерческой службы ;)

Родственников, которые занимаются BI, к сожалению, нет. Привычки писать под несколькими аккаунтами не имею.

Значит ИИ не выявит Вас как автора постов из под разных ников. А по поводу родственников - предлагаю на BI сходке обсудить этот вопрос, если конечно г-н Andy_OLAP посетит нашу сходку ;)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602539
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAP"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)

недельку ищешь владельца/ответственного за эти данные, потом месяц согласовываешь изменения, потом плюешь и тихо правишь у себя в двх ))))
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602546
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii2 slovnet:

Добавил новую таблицу в выгрузку, свёл её в снежинку.

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
В традиционном ХД сначала проводки из разных баз попадают в одну таблицу фактов, потом присоединяются трансформационные правила, которые либо отсутствуют для такой-то проводки, либо превращают одну проводку в одну или несколько управленческих записей, без потери связи с этой проводкой. Гладко этот процесс никогда не происходит, нужно выверять трансформированные данные.

Вопрос в том, можно ли в Клике играться с OUTER JOINs, чтобы вывести трансформационные правила, для которых не нашлись проводки, а также вывести проводки, для которых не нашлись трансформационные правила? Будем считать, что каждое правило задается для комбинации диапазона дат, организации, счета Дт, Счета Кт и набора кодов или значений субконто (номенклатура, контрагент, статья затрат, и т.п.). И поддерживает ли Клик связи между таблицами, когда не только задано равенство по совпадающим названиям полей, а когда названия полей в связях не совпадают, когда добавляются условия что дата между ДатыС и ДатыПо, можно ли дополнительные условия задавать что такое-то поле не равно другому полю или не равно набору констант, и т.п.
Поскольку в Qlik всё считается на лету, то (в идеале) не надо заранее задавать никакие правила.
Выборка юзера по любой комбинации измерений автоматически отфильтрует все записи.
Если надо дать возможность отфильтровать по отсутствию данных в каком-либо измерении (или группе измерений), можно при загрузке вписать в соответствующие поля значение вроде "NotDefined" и дать юзеру фильтровать по этому значению.
Разумеется, можно ввести флаги которые отмечают пуста ли некая группа измерений и дать юзеру фильтровать по ним и смотреть в каких записях поднят данный флаг.

Связь по одноимённым полям - техническая деталь, ничему не мешает, если надо, поля переименовывaются при загрузке.
Условие по диапозону дат - это условие для фильтра, задаётся на лету, при чём здесь связи между таблицами?
JuriiP.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)

P.S. Если Ваш "интеллект" - такой же плоский параноик и конспиролог как его создатель, не стоит его допускать в продакшн - свяжет всех контрагентов в одного потому что они "вместе не пишут" или "похожи на родственников", определит клиентов в поставщики потому что "разговаривают как продавцы" завалит бизнес и будет оправдываться английским юмором (при полном его отсутствии и космическом занудстве).
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602550
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
StarikNavyAndy_OLAP"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :)

недельку ищешь владельца/ответственного за эти данные, потом месяц согласовываешь изменения, потом плюешь и тихо правишь у себя в двх ))))

А это только в клике так при большом количестве данных и их источников?
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602552
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
StarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602567
slovnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КритикStarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )

))))))))))))))
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602716
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КритикStarikNavy,

у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH )

Когда в источнике они всё-таки поменяют, это же учётная система, то твой костыль от'едет (((
Сказка про русских программистов трёх поросят - они так быстро строят свой домик из г-вна и палок, что серый волк - заказчик не успевает его разрушать.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602751
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 slovnet:

Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет.
Поскольку в Qlik всё считается на лету, то (в идеале) не надо заранее задавать никакие правила.
Выборка юзера по любой комбинации измерений автоматически отфильтрует все записи.


Так, есть у нас 10 тысяч правил трансформации факта из БУ в УУ. Берем мы Клик, и каждое правило по очереди настраиваем в фильтрах, смотрим на экране какие проводки под него подпадают. Потом берем калькулятор, умножаем сумму каждой проводки на коэффициент (удельный вес) управленческого ЦФО, на который надо разнести часть этой бухгалтерской проводки, на бумаге пишем список управленческих проводок. Потом этот миллион новых управленческих проводок за месяц экономисты с бумаги переносят в Excel ;) Инновационный подход, расскажу о нем в своем докладе на ближайшей конференции по Искусственному интеллекту ;)

Если надо дать возможность отфильтровать по отсутствию данных в каком-либо измерении (или группе измерений), можно при загрузке вписать в соответствующие поля значение вроде "NotDefined" и дать юзеру фильтровать по этому значению.
Разумеется, можно ввести флаги которые отмечают пуста ли некая группа измерений и дать юзеру фильтровать по ним и смотреть в каких записях поднят данный флаг.


В целом идея понятная, но к трансформации факта его применить нельзя. Вероятно Вы просто пока не решали подобные задачи.

Условие по диапозону дат - это условие для фильтра, задаётся на лету, при чём здесь связи между таблицами?

Например, есть таблица с себестоимостью товара, с полями ДатаС, ДатаПо, КодТовара, СебестоимостьРуб. Есть таблица продаж, с полями ДатаПродажи, КодТовара, КоличествоПродаж, Цена. Эти таблицы связываются по полю КодТовара и одновременно по условию, что ДатаПродажи между ДатаС и ДатаПо. Аналогично и правила трансформации факта - например правило по комбинации счетов и субконто, но в летний сезон у него удельные веса управленческих ЦФО отличаются от зимнего сезона, поэтому кроме привязки по счетам и по субконто нужно делать условие, что дата проводки попадает в диапазон дат, в который действует это правило.

P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;)
P.S. Если Ваш "интеллект" - такой же плоский параноик и конспиролог как его создатель, не стоит его допускать в продакшн - свяжет всех контрагентов в одного потому что они "вместе не пишут" или "похожи на родственников", определит клиентов в поставщики потому что "разговаривают как продавцы" завалит бизнес и будет оправдываться английским юмором (при полном его отсутствии и космическом занудстве).


Когда мы повысим Ваш IQ и у Вас появится немного чувства юмора, Ваши умозаключения станут более релевантными ;) По поводу контрагентов - у Вас интересные идеи, но ИИ таких грубых ошибок не допускает. А по поводу того, что Вы - родственник Георгия, можно поспорить на 1 Хракойн, что г-н Andy_OLAP, чья репутация не вызывает сомнений, на основе полученной о Вас с Георгием информации скажет, "что вы таки являетесь дальними родственниками, поскольку вы оба - потомки Адама и Евы" ;)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39602808
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник. то твой костыль от'едет (((
.
на то он и костыль, да и костыли разные бывают
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39603042
Roman Kolchin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
JuriiТак, есть у нас 10 тысяч правил трансформации факта из БУ в УУ. Берем мы Клик, и каждое правило по очереди настраиваем в фильтрах, смотрим на экране какие проводки под него подпадают. Потом берем калькулятор, умножаем сумму каждой проводки на коэффициент (удельный вес) управленческого ЦФО, на который надо разнести часть этой бухгалтерской проводки, на бумаге пишем список управленческих проводок.
Да отстаньте вы от Клика с трансформацией учета и костингом. Ему и без этих задач есть чем заняться.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39603159
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Roman Kolchin,

можно сказать даже больше - отстаньте в теме по Power BI, так понимаю (судя по первой странице форума) что клико-когновские темы непопулярны и экзотическая редкость (да и те больше из серии сам с собой веду беседу), вот горе-продаваны постоянно и присовывают куда не попадя (да ещё и во всеобщее обозрение открыто постоянно лаются между собой) , т.к. некуда больше да и мало кому интересно в профильных темах.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39603222
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Roman Kolchin:

Да отстаньте вы от Клика с трансформацией учета и костингом. Ему и без этих задач есть чем заняться.

В результате подобных дискуссий появляется много полезной информации. Мы нашли одну важную задачу, которую стоит делать с помощью ИИ в традиционном ХД, а не в Клике. Мы оценили уровень самоуверенности специалистов по продажам Клика, оценили их опыт и кругозор, это защитит заказчиков от потерь денег, теперь они сразу выберут правильное решение. Теперь нам легче будет принять решение, ставить крест на Клике полностью или дать ему шанс занимать свою узкую нишу.

2 vikkiv:

можно сказать даже больше - отстаньте в теме по Power BI, так понимаю (судя по первой странице форума) что клико-когновские темы непопулярны и экзотическая редкость (да и те больше из серии сам с собой веду беседу), вот горе-продаваны постоянно и присовывают куда не попадя (да ещё и во всеобщее обозрение открыто постоянно лаются между собой) , т.к. некуда больше да и мало кому интересно в профильных темах.

Предложите Вашу кандидатуру на должность модератора форума. Тогда Вы сможете банить каждого, кто в такой-то теме позволит себе упомянуть другой программный продукт. Пока Вы модератором не стали, думаю Вы сможете оценить полезность создаваемого контента для обучения Искусственного интеллекта.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39603304
Barclay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii, вы многое говорите верно. Но по-моему не у меня одного возникает ощущение, что вы как необученый chatbot со своим ИИ. Хватит уже, так можно совсем вызвать отвращение к ИИ у новичков.
Флаг для ИИ: категория Юмор.
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39603310
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
так можно совсем вызвать отвращение к ИИ у новичков

Новички думаю не будут переживать, для них интересна возможность майнинга Хракойнов ;)
...
Рейтинг: 0 / 0
Правильное хранилище данных для power bi
    #39603434
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ввиду сползания в полный флеймящий оффтоп
...
Рейтинг: 0 / 0
93 сообщений из 93, показаны все 4 страниц
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Правильное хранилище данных для power bi
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]