Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Power BI, создание файла с данными и его последующее открытие в памяти / 13 сообщений из 13, страница 1 из 1
01.03.2018, 10:07
    #39608861
SpellBuilder
SpellBuilder
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
Здравствуйте, коллеги.

Слышал что Power BI может создавать промежуточные файлы данных с поколоночным хранением, чтобы в последующем открывать их в памяти. Аналогично QlikView.

Расскажите поподробней про это и как потестить в Power BI Desktop
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 10:17
    #39608866
Полковник.
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
SpellBuilder,

Тут дока. msdn
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 10:56
    #39608895
Дедушка
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
Полковник.,

Ну, эт не как в клике.
Это сохранение всего и модель и отчёты и данные в файл.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 11:19
    #39608905
Полковник.
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
Дедушка,

А кто сказал, что будет как в клике? Я про это нигде не слышал, м.б. что то пропустил?
Можно сохранить файл без отчёта и использовать данные из него.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 11:21
    #39608907
SpellBuilder
SpellBuilder
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
Тогда получается быстро update не сделать.

Скажем 400 мил. получаю из источника (отложенные в сторону аналог qvd) за 4 минуты
Затем добираю инкремент из оракле 1 день (2 мил.) + 4 минуты итого 8 минут

Тут как один день обновить в файле обновить,
заново 402 миллиона 800 минут в файл *.pbix грузить?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 11:22
    #39608909
SpellBuilder
SpellBuilder
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
Полковник.Дедушка,

А кто сказал, что будет как в клике? Я про это нигде не слышал, м.б. что то пропустил?
Можно сохранить файл без отчёта и использовать данные из него.

Это pbit?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 11:30
    #39608915
Полковник.
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
SpellBuilder,

На мой взгляд, могу ошибаться, эта штука без ssas - игрушка для крошки Мими.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 11:31
    #39608916
Полковник.
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
SpellBuilder,

В доке написано, что это тот же самый файл - pbix
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 12:59
    #39608985
SpellBuilder
SpellBuilder
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
Загрузил примерно 1 мил. строк. добавил 1 кросс табличку. Причем при добавление таблички в Qlik задействованная память подросла немного, в Power BI же начался ахтунг, появилась верхняя строчка в скриншоте.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 16:38
    #39609197
SpellBuilder
SpellBuilder
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
Все оказалось не так страшно.
Закрыл открыл заново первая строчка стала намного меньше
465 Mb при открытии, потом упала до 327 Мб, при перезагрузке данных поднималась до 539Мб
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 16:57
    #39609212
SpellBuilder
SpellBuilder
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
Вопрос.
Как использовать *.pbix как источник с данными
или как и во что сохранить данные в *.pbix, чтобы поднять их потом, со скоростью от 300тыс./сек. не покупая другие продукты.
Т.е. обновить данные в целевой *.pbix
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 17:04
    #39609220
vikkiv
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
SpellBuilderЗагрузил примерно 1 мил. строк. добавил 1 кросс табличку..Vertipaq/xVelocity идущие ещё с начальных этапов PowerPivot (SSAS_Tabular) всегда были InMemory, в принципе конечно можно перейти на системы больше полагающиеся на файловый обмен (особенно во время SSD) - но при нынешних возможностях и цене железа (в т.ч. RAM) нет особого смысла, легче разделить по нишам, что-то больше подходит для сервер->клиент приложений, что-то больше для локальных под разные нужды.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2018, 17:16
    #39609234
vikkiv
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Power BI, создание файла с данными и его последующее открытие в памяти
они не напрасно ограничивают (пока), может потом появятся конекторы/драйверы, но пока можно либо в облаке , либо on premises (gateway)

в принципе думаю что есть полноценный API для автоматицации локальных файлов (видел даже какие-то PowerShell модули для работы с Power BI ), но сам пока с ними не работал
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Power BI, создание файла с данными и его последующее открытие в памяти / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 147ms
Закрыть
start [/forum/topic.php?fid=49&mobile=1&tid=1857961]:
 0ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 37ms
get topic data:
 9ms
get forum data:
 3ms
get page messages:
 53ms
get tp. blocked users:
 1ms
others: 12ms
total:  147ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]