|
|
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Jurii, Много слов. Российские суровые бухи все это прекрасно делают в excel. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 14:02 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
2 Полковник: Много слов. Российские суровые бухи все это прекрасно делают в excel. Много слов, поскольку я все это не раз автоматизировал, а потом еще обучал этому Искусственный интеллект. В Челябинске вероятно это не так актуально, но в других регионах бухгалтера менее суровы, и Excel притормаживает на больших объемах данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 14:26 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
JuriiЧто интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Юрий, простите, Вас ваша мама вежливости не учила? Извольте не превращать сообщество в балаган. Я тут. Просто сделали замечание что меня слишком много, я принял мнение коллег к сведению. Сходку - готов организовать. Предлагаю когда чуть потеплеет. Со slovnet с удовольствием познакомлюсь. Родственников, которые занимаются BI, к сожалению, нет. Привычки писать под несколькими аккаунтами не имею. Дедушкая не большой спец по Qlik, более знающие коллеги поправят...Жаль. Толковые люди нужны как воздух. Хотя, толковы люди и так нужны, вне зависимости от системы.Дедушкат.к. Qlik создаёт qvd файлы (каждый файл одна таблица)не совсем. один QVD файл может содержать данные из нескольких таблиц. Данный файл может быть источником данных как для одного приложения, так и для нескольких, также можно его преобразовывать в другие qvd-файлы. Да по сути мы имеем файловое ХД (там лежит дамп памяти, скорость загрузки с диска в память очень высокая) КэптенЛюбой мало-мальский спец в логистике знает, что есть цепочки поставок, а не цепи ;)Не позорьтесь, если не знаете. Это не ювелирный магазин. Специалисты как раз говорят " цепи поставок ". Roman KolchinGeorge Nordic, Может расскажешь о том, как организована работа бизнеса и ИТ вокруг системы на Qlik'е в двух кейсах? 1. Qlik без хранилища -- в каких случаях и для какого масштаба оно нормально работает; 2. Qlik без хранилища не обойдется -- в каком ландшафте и на каком масштабе без полноценного бэкенда на реляционке не жить.Ром, привет. Хороший вопрос. Действительно, 2 разных подхода есть. Я лично сторонник DWH, так как Qlik - это ADWH, DWH в первую очередь решает другие задачи, в первую очередь связанные с хранением исторических данных. Qlik - это выгрузка, слепок... использовать его для хранения - неразумно, хотя я и видел пример (чеки хранили). Если в компании есть учетная система, в которой хранятся транзакции и мастер-данные предприятия (например Dynamics), то в DWH зачастую нет необходимости - данную функцию выполняет сама учетная система. Или учетная система + отдельно транзакционная (POS, EAM, WMS) - по сути, имеем 2 хранилища, Qlik может брать данные сразу из множества систем. Так что для средних предприятий Qlik можно натравить и напрямую. Даже в банках подобные примеры видел - Запсибкомбанк в одном приложении Qlik загрузили и связали всех клиентов, клиентские продукты, счета, карты, операции по картам, и транзакции + несколько сот миллионов остатков. При этом считают, что отсутствие необходимости DWH - это плюс. А это 61й банк в рейтинге, на секундочку. Но, как я и говорил, я сторонник связки DWH+ADWH: в DWH необходимо хранить минимум необходимой информации, где нужна историчность, которая будет использоваться + ADWH для решения аналитических задач. Как-то так. Да, коллеги, чтобы хорошо проследить метаданные в Qlik есть хорошее решение от Nodegraph . Больше информации на комьюнити . С Уважением, Георгий. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 15:12 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Георгий, Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Юрий, простите, Вас ваша мама вежливости не учила? Извольте не превращать сообщество в балаган. Я тут. Просто сделали замечание что меня слишком много, я принял мнение коллег к сведению. Я думаю, что немного английского юмора не повредит нашей тусовке ;) Если серьезно, то я стараюсь у нас на форуме создать более интересный и разнообразный контент для обучения Искусственного интеллекта, который, надеюсь, через год сможет делать интересные селекты к нашему форуму ;) Сходку - готов организовать. Предлагаю когда чуть потеплеет. Со slovnet с удовольствием познакомлюсь. Вам нужно его активно хантить, он незаменимый сотрудник для Вашей коммерческой службы ;) Родственников, которые занимаются BI, к сожалению, нет. Привычки писать под несколькими аккаунтами не имею. Значит ИИ не выявит Вас как автора постов из под разных ников. А по поводу родственников - предлагаю на BI сходке обсудить этот вопрос, если конечно г-н Andy_OLAP посетит нашу сходку ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 15:36 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Andy_OLAP"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :) недельку ищешь владельца/ответственного за эти данные, потом месяц согласовываешь изменения, потом плюешь и тихо правишь у себя в двх )))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 17:35 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Jurii2 slovnet: Добавил новую таблицу в выгрузку, свёл её в снежинку. Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет. В традиционном ХД сначала проводки из разных баз попадают в одну таблицу фактов, потом присоединяются трансформационные правила, которые либо отсутствуют для такой-то проводки, либо превращают одну проводку в одну или несколько управленческих записей, без потери связи с этой проводкой. Гладко этот процесс никогда не происходит, нужно выверять трансформированные данные. Вопрос в том, можно ли в Клике играться с OUTER JOINs, чтобы вывести трансформационные правила, для которых не нашлись проводки, а также вывести проводки, для которых не нашлись трансформационные правила? Будем считать, что каждое правило задается для комбинации диапазона дат, организации, счета Дт, Счета Кт и набора кодов или значений субконто (номенклатура, контрагент, статья затрат, и т.п.). И поддерживает ли Клик связи между таблицами, когда не только задано равенство по совпадающим названиям полей, а когда названия полей в связях не совпадают, когда добавляются условия что дата между ДатыС и ДатыПо, можно ли дополнительные условия задавать что такое-то поле не равно другому полю или не равно набору констант, и т.п. Поскольку в Qlik всё считается на лету, то (в идеале) не надо заранее задавать никакие правила. Выборка юзера по любой комбинации измерений автоматически отфильтрует все записи. Если надо дать возможность отфильтровать по отсутствию данных в каком-либо измерении (или группе измерений), можно при загрузке вписать в соответствующие поля значение вроде "NotDefined" и дать юзеру фильтровать по этому значению. Разумеется, можно ввести флаги которые отмечают пуста ли некая группа измерений и дать юзеру фильтровать по ним и смотреть в каких записях поднят данный флаг. Связь по одноимённым полям - техническая деталь, ничему не мешает, если надо, поля переименовывaются при загрузке. Условие по диапозону дат - это условие для фильтра, задаётся на лету, при чём здесь связи между таблицами? JuriiP.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;) P.S. Если Ваш "интеллект" - такой же плоский параноик и конспиролог как его создатель, не стоит его допускать в продакшн - свяжет всех контрагентов в одного потому что они "вместе не пишут" или "похожи на родственников", определит клиентов в поставщики потому что "разговаривают как продавцы" завалит бизнес и будет оправдываться английским юмором (при полном его отсутствии и космическом занудстве). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 17:41 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
StarikNavyAndy_OLAP"лезешь в учетную систему" - ой-вей, у Вас все так легко и просто, что даже можно таки совсем чуть-чуть позавидовать. Но мы конечно этого делать не будем :) недельку ищешь владельца/ответственного за эти данные, потом месяц согласовываешь изменения, потом плюешь и тихо правишь у себя в двх )))) А это только в клике так при большом количестве данных и их источников? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 17:46 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
StarikNavy, у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 17:49 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
КритикStarikNavy, у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH ) )))))))))))))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2018, 18:00 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
КритикStarikNavy, у нас в прошлом году обнаружил, что в учетной системе золото в граммах и тройских унциях имело один код - никто менять (и брать на себя риски) не хотел, пришлось ставить костылик в DWH ) Когда в источнике они всё-таки поменяют, это же учётная система, то твой костыль от'едет ((( Сказка про русских программистов трёх поросят - они так быстро строят свой домик из г-вна и палок, что серый волк - заказчик не успевает его разрушать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2018, 08:07 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
2 slovnet: Типичный пример - есть несколько баз 1С. Есть правила трансформации из бух. учета в управленческий учет. Поскольку в Qlik всё считается на лету, то (в идеале) не надо заранее задавать никакие правила. Выборка юзера по любой комбинации измерений автоматически отфильтрует все записи. Так, есть у нас 10 тысяч правил трансформации факта из БУ в УУ. Берем мы Клик, и каждое правило по очереди настраиваем в фильтрах, смотрим на экране какие проводки под него подпадают. Потом берем калькулятор, умножаем сумму каждой проводки на коэффициент (удельный вес) управленческого ЦФО, на который надо разнести часть этой бухгалтерской проводки, на бумаге пишем список управленческих проводок. Потом этот миллион новых управленческих проводок за месяц экономисты с бумаги переносят в Excel ;) Инновационный подход, расскажу о нем в своем докладе на ближайшей конференции по Искусственному интеллекту ;) Если надо дать возможность отфильтровать по отсутствию данных в каком-либо измерении (или группе измерений), можно при загрузке вписать в соответствующие поля значение вроде "NotDefined" и дать юзеру фильтровать по этому значению. Разумеется, можно ввести флаги которые отмечают пуста ли некая группа измерений и дать юзеру фильтровать по ним и смотреть в каких записях поднят данный флаг. В целом идея понятная, но к трансформации факта его применить нельзя. Вероятно Вы просто пока не решали подобные задачи. Условие по диапозону дат - это условие для фильтра, задаётся на лету, при чём здесь связи между таблицами? Например, есть таблица с себестоимостью товара, с полями ДатаС, ДатаПо, КодТовара, СебестоимостьРуб. Есть таблица продаж, с полями ДатаПродажи, КодТовара, КоличествоПродаж, Цена. Эти таблицы связываются по полю КодТовара и одновременно по условию, что ДатаПродажи между ДатаС и ДатаПо. Аналогично и правила трансформации факта - например правило по комбинации счетов и субконто, но в летний сезон у него удельные веса управленческих ЦФО отличаются от зимнего сезона, поэтому кроме привязки по счетам и по субконто нужно делать условие, что дата проводки попадает в диапазон дат, в который действует это правило. P.S. Что интересно, когда появляется г-н slovnet - Георгий куда-то исчезает ;) Было бы интересно на ближайшей BI сходке увидеть Георгия и г-на slovnet. Понятно, что они родственники, но вот насколько близкие... ;) P.S. Если Ваш "интеллект" - такой же плоский параноик и конспиролог как его создатель, не стоит его допускать в продакшн - свяжет всех контрагентов в одного потому что они "вместе не пишут" или "похожи на родственников", определит клиентов в поставщики потому что "разговаривают как продавцы" завалит бизнес и будет оправдываться английским юмором (при полном его отсутствии и космическом занудстве). Когда мы повысим Ваш IQ и у Вас появится немного чувства юмора, Ваши умозаключения станут более релевантными ;) По поводу контрагентов - у Вас интересные идеи, но ИИ таких грубых ошибок не допускает. А по поводу того, что Вы - родственник Георгия, можно поспорить на 1 Хракойн, что г-н Andy_OLAP, чья репутация не вызывает сомнений, на основе полученной о Вас с Георгием информации скажет, "что вы таки являетесь дальними родственниками, поскольку вы оба - потомки Адама и Евы" ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2018, 09:53 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Полковник. то твой костыль от'едет ((( . на то он и костыль, да и костыли разные бывают ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2018, 11:16 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
JuriiТак, есть у нас 10 тысяч правил трансформации факта из БУ в УУ. Берем мы Клик, и каждое правило по очереди настраиваем в фильтрах, смотрим на экране какие проводки под него подпадают. Потом берем калькулятор, умножаем сумму каждой проводки на коэффициент (удельный вес) управленческого ЦФО, на который надо разнести часть этой бухгалтерской проводки, на бумаге пишем список управленческих проводок. Да отстаньте вы от Клика с трансформацией учета и костингом. Ему и без этих задач есть чем заняться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2018, 15:10 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Roman Kolchin, можно сказать даже больше - отстаньте в теме по Power BI, так понимаю (судя по первой странице форума) что клико-когновские темы непопулярны и экзотическая редкость (да и те больше из серии сам с собой веду беседу), вот горе-продаваны постоянно и присовывают куда не попадя (да ещё и во всеобщее обозрение открыто постоянно лаются между собой) , т.к. некуда больше да и мало кому интересно в профильных темах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2018, 16:17 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
2 Roman Kolchin: Да отстаньте вы от Клика с трансформацией учета и костингом. Ему и без этих задач есть чем заняться. В результате подобных дискуссий появляется много полезной информации. Мы нашли одну важную задачу, которую стоит делать с помощью ИИ в традиционном ХД, а не в Клике. Мы оценили уровень самоуверенности специалистов по продажам Клика, оценили их опыт и кругозор, это защитит заказчиков от потерь денег, теперь они сразу выберут правильное решение. Теперь нам легче будет принять решение, ставить крест на Клике полностью или дать ему шанс занимать свою узкую нишу. 2 vikkiv: можно сказать даже больше - отстаньте в теме по Power BI, так понимаю (судя по первой странице форума) что клико-когновские темы непопулярны и экзотическая редкость (да и те больше из серии сам с собой веду беседу), вот горе-продаваны постоянно и присовывают куда не попадя (да ещё и во всеобщее обозрение открыто постоянно лаются между собой) , т.к. некуда больше да и мало кому интересно в профильных темах. Предложите Вашу кандидатуру на должность модератора форума. Тогда Вы сможете банить каждого, кто в такой-то теме позволит себе упомянуть другой программный продукт. Пока Вы модератором не стали, думаю Вы сможете оценить полезность создаваемого контента для обучения Искусственного интеллекта. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2018, 17:12 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
Jurii, вы многое говорите верно. Но по-моему не у меня одного возникает ощущение, что вы как необученый chatbot со своим ИИ. Хватит уже, так можно совсем вызвать отвращение к ИИ у новичков. Флаг для ИИ: категория Юмор. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2018, 19:38 |
|
||
|
Правильное хранилище данных для power bi
|
|||
|---|---|---|---|
|
#18+
так можно совсем вызвать отвращение к ИИ у новичков Новички думаю не будут переживать, для них интересна возможность майнинга Хракойнов ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2018, 19:45 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39602422&tid=1857978]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
167ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
57ms |
get tp. blocked users: |
1ms |
| others: | 42ms |
| total: | 308ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...