powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Как просмотреть исходные данные в PowerBI?
13 сообщений из 13, страница 1 из 1
Как просмотреть исходные данные в PowerBI?
    #39713794
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я в том смысле, что когда данные в SQLServere - там понятно, открываю Management Studio и с помощью SQL запросов узнаю, что там где записано. Может, где-то нолик в данных лишний. Или какую-то строчку удалить надо, добавить или узнать конкретное значение в конкретной строке.
В общем, с данными удобно работать в SQLServer, но как их просматривать в PowerBI?

Второе: с помощью SSIS я в DWH могу пополнять данные из разных источников. Могу немного неправильные задать условия и у меня вместо замены старых значений обновлёнными будут создаваться новые строки. Это могу вычислить и лишние строки потереть, а ошибку в SSIS поправить. Как это происходит в PowerBI? Не совсем понимаю...
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39713798
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен,

в Power BI есть разные обьекты: Таблицы, Списки, Наборы, Переменные и т.д.
все видимы и можно просто зайти в режим просмотра либо если они слишком большие/тяжелые - написать M Code запрос/трансформацию (фильтр) к обьекту чтобы ограничить выборку
с левой стороны есть меню (Report / Data / RelationShips)
при заходе в Data - с правой стороны можно выбрать обьект/таблицу - как раз там и будут исходные данные

можно и сами запросы просмотреть - (Edit Queries) - откроется Power Query
Там Таблицы будут списком с левой стороны, а Advanced Editor выдаст M Code для обьекта

По данным - это уже как сам организуешь, встроенного средства нет - там только таблицы в модель данных, расчёты поверху и всё, если хочешь - например добавь поле для версии данных с датой загрузки и дополнительное измерение под это дело с параметром чтобы автоматически выбирал последнюю
но Power BI явно не для этого, и такие тяжелые (держать всё внутри) решения выйдут боком
это к тому что контроль версии ETL данных лучше осуществлять вне Power BI.
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39713803
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо, это очень интформативно и развёрнуто.
vikkiv но Power BI явно не для этого, и такие тяжелые (держать всё внутри) решения выйдут боком
это к тому что контроль версии ETL данных лучше осуществлять вне Power BI.
Как тогда, получается, это следует делать?
С помощью PowerBI нужно делать аналитику, напр., за несколько последних лет - это получается, что нужно всё выгрузить в powerBI и выглядит это так, будто SQLServer вообще не нужен.
Ну, т.е. 50 пользователей подключатся к PowerBI - там не поймёшь, что каждому нужно. У всех разные права доступа (на уровне строк), и разные цели. Как определить, что в PowerBI грузить нужно, а что нет?
Плюс, какую-то устаревшую информацию нужно из PowerBI как-то удалять.

Я спрашиваю, потому что не нашёл нормального обзорного описания PowerBI, его возможностях и технических ограничениях, где он полезен, а как лучше его не использовать и примеры архитектуры сетей с использованием PowerBI. Везде ограничиваются только: "вау, графики" или "а сейчас мы будем загружать данные".
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39713809
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен,

Выгружать не обязательно, есть Кубы, LiveConnection / DirectQuery к серверным системам поставки и обработки данных.

Удаление тоже как таковое - абстракция, т.к. обновляется весь набор данных (если выбрана Import модель, при Live тоже берётся то что на данный момент есть на сервере/источнике).

Вкратце и общих чертах - это примерно как Excel (с его-же Power View / Power Query / Pivot-Table / Таблицами)
(своеобразный Self-Service BI где тоже можно строить модели данных из таблиц и подключаться к разным источникам данных)
но меньше под расчёты
и больше предназначен для отчётности и визуализаций,
плюс размещение в Web и модель безопасности.

В том-же Excel (или SSRS) - под разные отчёты в него грузятся разные данные, так-же с PBI - разные файлы Power BI (можно группировать похожие классы отчётов в одном файле с однотипным источником/моделью) и естественно модели данных под разные требования (департаментов/пользователей/безопасности/ типа отчёта).

Так что это никак не замена серьёзных баз данных и средств ETL, хотя и содержит такую функциональность (ограниченно).

В остальном могу посоветовать всё-же вернутся к поискам технического описания Power BI, его преимуществ/ограничений, сценариев применения, т.к. на самом деле в сети материалов вполне хватает.

У тебя около 50% активности в ПТ, так что судя по формату, типу и качеству вопросов (в т.ч. приложенных усилий для ознакомления с поверхностной общедоступной информацией) всё больше в некоторой степени начинает напоминать тролинг.
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39713837
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а по-моему, в пт у всех активность была большая)

Обо мне:
У кулинарная, так сказать, компания и находимся в 8 городах европейской части России.
Создал большой проект. Из 1С и пары других систем данные через SSIS идут в DWH, оттуда в OLAP SSAS
В качестве клиента OLAP - excel и мной написанная прога на C#. Реализовано построчное разделение прав в DWH и SSAS.
Всё работало отлично. Но без спецэффектов.
Сам я после этого перешёл к выполнению задач на C++ и мелкие программки вспомогательные на C#+WPF (wpf без надобности, просто попробовать решил).

Людям захотелось графики.
Поступил запрос - что за PowerBI и нужен ли он нам.
Я стал изучать этот вопрос. Хотел найти внятную презентацию (статью или видео - что угодно), описывающую архитектуру PowerBI в контексте промышленного внедрения. Какое место Microsoft отводит ему, какое оставляет SSEngine и SSAS. Какие варианты взаимодействия - не просто на уровне "PowerBI может высосать данные откуда угодно", а именно в контексте разумного взаимодействия.

И уже имея эти данные решить, искать нам спеца или нет. Какую квалификацию с него спрашивать.

Все презентации PowerBI сводятся к намозолившим мне глаз "столбикам на карте мира" и "вааау, ты посмотри какие диаграммки", а ещё "PowerBI очень мощная вещь и источниками данных может служить что угодно".
Если бы я планировал изучать PowerBI - то да, я бы пошёл на курсы, изучал бы его со всех сторон, протестировал бы объёмы данных и уже на собственном опыте понял бы, что годится, а что нет.


хорошо я согласенСпасибо, это очень интформативно и развёрнуто.
я на самом деле был в курсе 80% того, что было сказано в вашем первом комментарии. Напр., в PowerQuery прощупал язык M этот, пока пробовал. Просто "пионерка должна быть вежливой" - я поблагодарил за уделённое время и описанную информацию.

Мне не нужна практическая информация - именно не то, что можно прощупать (синтаксис M и пр.), а описание архитектурны и корректного использования. Поэтому и стал задавать вопросы. Я не тролль :)

Вот, пока ищу такую информацию.
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39713839
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а исходные данные такие:
компания, 500 пользователей аналитики, у каждого индивидуальные права (смотрят только своих подчинённых, либо свою отрасль, либо только себя, либо на список офисов, и т.д.)
В Москве есть источники данных (1с и Journal (наша самописная прога, туда все сотрудники свои успехи вносят)), скидывают в текстовый файлик в расшаренную папочку.

SSIS собирает, отправляет в DWH и каждую ночь собирается куб в SSAS.

Пользователи коннектятся к SSAS из C# программки и любуются данными.

как впилить DWH?

Перенести DWH в SQL Database (т.е. в облаке) - или отказаться от SQL Servera вообще, т.к. PowerBI всё равно хранит данные? А надёжно хранит, не потеряются? А бекапы? А разделение прав (да, спасибо за первый коммент, на это отвечено)

Через Data Gateway наполнять базу, напр., SQL Database, а оттуда в PowerBI - сразу всю кучу без остатка?

Где должна храниться какая-нибудь клиентская (админская т.е.) прога, в которой можно будет указывать разделение прав? Я её напишу на C#, но что это, где должна располагаться, - не понятно. Аналогичная сейчас работает в нынешнем клиенте на C# - там админы могут распределять права доступа индивидуально для каждого пользователя. Группы не годятся.

Короче, вот примерно такие архитектурные недопонимания у меня есть.
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39714314
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен,

У Power BI есть такие ограничения
- миллион строк на всю модель при работе с DirectQuery
- модель данных не может быть больше 1Г
- при работе с DirectQuery пользователь должен сам обновить модель

(см. https://docs.microsoft.com/ru-ru/power-bi/power-bi-reports-performance)

Прикиньте, влезает ли ваша аналитика в эти ограничения. Если да, то Power BI ваша тема. Если нет, то ищите другое решение для дашбордов. SSRS или ещё что-то. Я пару лет назад использовал для этой цели Datazen, но сейчас его купил MS и этот продукт распилили на кусочки, распихав их по SSRS

Вот тут можно почитать и скачать домайкрософтовский Datazen - https://www.osp.ru/winitpro/2015/08/13046596/
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39714334
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вот этот коммент очень здорово пролил свет на происходящее.
Спасибо!! Прямо вот то, что нужно. Теперь всё встало на свои места.
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39714356
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iShvedsky(см. https://docs.microsoft.com/ru-ru/power-bi/power-bi-reports-performance )
очень забавные вещи пишут в приведённой статье.
Распространенная ошибка заключается в том, что в представлении по умолчанию не используется фильтрация, то есть отображается более 100 млн строк. Данные для этих строк должны загружаться в память и распаковываться при каждом обновлении. Это приводит к чрезмерной загрузке памяти. Чтобы решить эту проблему, сократите максимальное количество элементов, которые отображаются в таблице, с помощью фильтра "Ведущие N"
Каждый день пользователи вводят данные в базу о своих покупках и продажах.
А аналитик теперь захотел посмотреть график по годам за весь период.
Не понимаю, о каких "последних 10000 элементах" (как написано в статье) может идти речь, если речь идёт о визуализации. Т.е. о графиках.
График на последних 10 000 записей о доходах и график на всех 200 000 000 записях о доходах на выбранном периоде с 2010 по 2018 года - это два совершенно разных графика.

Да пусть даже с 2014 по 2018 года. Всё равно не понятно, как "ведущие N" можно вообще применять.
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39714381
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласенС помощью PowerBI нужно делать аналитику, напр., за несколько последних лет - это получается, что нужно всё выгрузить в powerBI и выглядит это так, будто SQLServer вообще не нужен.
ну если 50 пользователей будут удовлетворены, то да, не нужен, но на практике обычно начинаются разные проблемы ...

попробуйте прикрутить опытно PowerBI поверх ваших кубов и ДВХ. вполне возможно что пару "красивых" графиков нужно двум пользователям, а остальные продолжать мучать эксельки
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39714386
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласена по-моему, в пт у всех активность была большая)
.
ага, однажды, целый один раз, я туда зашел
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39714399
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен,

Да сам удивлён странностями PowerBI. Тот ещё фрукт.

Обходить ограничение в 1Г на модель - это значит использовать DirectQuery (см. https://docs.microsoft.com/ru-ru/power-bi/desktop-use-directquery , https://docs.microsoft.com/ru-ru/power-bi/desktop-directquery-about )

Обходить ограничение на 1М строк на модель с DirectQuery - использовать шлюз (см. https://docs.microsoft.com/ru-ru/power-bi/service-gateway-onprem-indepth , https://docs.microsoft.com/ru-ru/power-bi/service-gateway-onprem-indepth ) который заберёт данные из нужного источника под учёткой текущего пользователя. RLS реализовывается на уровне источника данных и соотв. возвращаемое количество строк получится меньше.

DirectQuery, кстати, накладывает ограничения - не весь DAX можно использовать.

Облака я вообще не рассматриваю. Не видел пока бизнеса, кот. готов хранить свои (пусть и агрегированные) данные в Azure, например.

Лично для себя решил не перетаскивать у себя управленческие дашборды с Datazen на Power BI.

На мой взгляд, PowerBI нужен, чтобы надо победить Excel Hell (а он всё ещё не побеждён!). Ну и заодно поднять ЧСВ пользователя - он же теперь BI-аналитик. Ну это уже лирика.
...
Рейтинг: 0 / 0
Как просмотреть исходные данные в PowerBI?
    #39714400
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен Всё равно не понятно, как "ведущие N" можно вообще применять.

-когда я держу айфон 4мя пальцами, сеть не ловится
- не держите его так!
(С) стив джобс
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Как просмотреть исходные данные в PowerBI?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]