Гость
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Системы класса Data Governance. Для чего? / 19 сообщений из 19, страница 1 из 1
12.07.2021, 14:04
    #40083369
Master_Detail
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Доброго дня,

Коллеги, прочитал 100500 статей с общей информацией, но так толком и не уяснил, с чем профит с использования систем класса Data Governance. Что в них есть, что они показывают, какие возможности предоставляют? Если рассматривать, к примеру, банковскую деятельность, где в общем одна структура, где есть:

- АБС
- Какой-нибудь debt manager
- Какая-то CRM (физики+корпы)
- Какие-то еще системы
- И, наверняка, есть некий ODS слой, куда все это сливается, после чего работают потребители:
-- какое-нибудь ХД и отчетность, на нем же BI
-- всякие системки/подсистемки для отправки данных в кредитное бюре, фонд гарантирования вкладов и прочее
-- etc

Ну и есть регулятор, жаждущий отчетности.

Где здесь в этом зоопарке живет Data Governance и в чем ее профит на конкретном сценарии?
Благодарю!
...
Рейтинг: 0 / 0
12.07.2021, 14:27
    #40083374
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Master_Detail,

Сначала надо понять ГДЕ в этой схеме живет Data Management.
А уж потом искать КЕМ осуществляется Data Governance.
...
Рейтинг: 0 / 0
12.07.2021, 14:47
    #40083382
Master_Detail
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
ShIgor
Master_Detail,

Сначала надо понять ГДЕ в этой схеме живет Data Management.
А уж потом искать КЕМ осуществляется Data Governance.


Ну обычно он живет в ДИТ, которые ведует всем этим хозяйством - разрабатывает архитектуру, строит ее, переносит данные и все это дело мониторит. Или речь о другом?
...
Рейтинг: 0 / 0
12.07.2021, 15:57
    #40083398
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
не всегда.
владельцем данных может быть не только структура относящаяся к конкретному предприятию, поэтому с т.з. DG, предприятие выступает в роли потребителя, но у него в штате могут быть ответственные за интеграцию внешних данных в модель данных предприятия.
...
Рейтинг: 0 / 0
12.07.2021, 20:42
    #40083443
Master_Detail
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
ShIgor,

Можете привести пример DG на примере банка со стандартными процессами?
...
Рейтинг: 0 / 0
12.07.2021, 22:24
    #40083449
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Master_Detail,

нет, не могу, это будет прямой рекламой конкретного продукта.
но могу сказать, что мне озвучили цену за 5 авторских лицензий и 50 пользовательских в 70000 евро в год с обязательным контрактом минимум на 3 года. и DG там было включено как обязательная часть всего процесса Data Lineage.
...
Рейтинг: 0 / 0
12.07.2021, 22:36
    #40083452
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Master_Detail,

DG - это не "системы", это стратегия/методология/рецепты, которые позволяют просто получать бизнес-эффект от ваших правильных данных. По сути - очередная маркетинговая лапша на уши, т.к. все это и ранее применялось.
...
Рейтинг: 0 / 0
12.07.2021, 23:35
    #40083462
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Критик,

так а кто спорит что-ли? просто если все сведено в одном месте, имеет описание источников, данных, бизнес правил, определяет роли и права доступа на основании которых делаются все дальнейшие телодвижения с данными, это разве не система? не в плане ПО, а в плане организации работы с данными. А ПО - это только удобный интерфейс ведения всей этой документации и графического представления всевозможных связей и трансформаций удовлетворяющее требованиям всякого рода стандартам.
...
Рейтинг: 0 / 0
13.07.2021, 06:32
    #40083481
Master_Detail
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Критик
Master_Detail,

DG - это не "системы", это стратегия/методология/рецепты, которые позволяют просто получать бизнес-эффект от ваших правильных данных. По сути - очередная маркетинговая лапша на уши, т.к. все это и ранее применялось.


Спасибо за ответ. Не могли бы привести пример из вашего опыта, где вы заметили профит такого рода систем стратегий/методологий/рецептов? "Вот были у нас такие данные, мы вот это сделали и вот такой выхлоп получили"
...
Рейтинг: 0 / 0
13.07.2021, 07:02
    #40083483
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Master_Detail,

К примеру внедрили вики-систему, которая автоматом брала описания из метаданных полей/таблиц, а также зависимости кода (где-какая таблица использовалась). Соответственно, пользователи и разработчики могли залезть туда и прочитать, что и где хранится, а по префиксам понять последовательность. А таблицы без метаданных в релиз не шли. То есть получили "самообновляющую" документацию.

Или внедрили правило, что данные, поступающие в stage-зону dwh, должны 1-в-1 соответствовать данным источника (кроме пунктов а-б-в) - избавились от кучи ненужной доки.

Или внедрили/использовали оркестратор etl, к которому дали доступ для чтения пользователям, в результате получили отличную наглядность + пользователи никого не дергали с вопросами "когда же посчитается"

По сути, всё, что облегчает вам и пользователям работу, можно смело называть элементами DG.
Вообще, этим должен ваш архитектор заниматься )
...
Рейтинг: 0 / 0
13.07.2021, 07:03
    #40083484
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Да даже правила наименования относятся к DG )
...
Рейтинг: 0 / 0
13.07.2021, 07:46
    #40083490
Master_Detail
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Критик,

Все более чем понятно про подходы, спасибо! Как вы и говорили "все это и ранее применялось".

Но если все же про системы типа Informatica Axon DG или Qlick Catalog Manager говорить, то как описанные вами сценарии в них будут реализованы? Просто над всеми правилами, принятыми в организации данных, появляется еще один уровень абстракции(собственно эта самая система), который надо ручками отрисовать и ручками же поддерживать, но зато все эти правила будут в красивом виде представлены пользователю?
...
Рейтинг: 0 / 0
13.07.2021, 13:56
    #40083574
sergeyns
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Master_Detail
Критик,

Все более чем понятно про подходы, спасибо! Как вы и говорили "все это и ранее применялось".

Ну одно дело что некие best-practice которые хорошо бы придерживаться, но можно на них и положить.. А другое - стоит до хрена, внедрено приказом по предприятию.. Вот и получается что вроде бы и раньше все знали, но реально не работало.. а вот взяло и заработало )))
...
Рейтинг: 0 / 0
13.07.2021, 14:05
    #40083579
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Master_Detail
Критик,
надо ручками отрисовать и ручками же поддерживать

в таком виде никогда не работает
...
Рейтинг: 0 / 0
14.07.2021, 09:47
    #40083713
Master_Detail
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Ivan Durak
Master_Detail
Критик,
надо ручками отрисовать и ручками же поддерживать

в таком виде никогда не работает

Согласен, от того и больше вопросов в целесообразности всего этого. Но по сути идея этого ПО в этом?
...
Рейтинг: 0 / 0
14.07.2021, 14:33
    #40083787
George Nordic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Master_Detail
Но если все же про системы типа Informatica Axon DG или Qlick Catalog Manager говорить, то как описанные вами сценарии в них будут реализованы?
Qlik Data Catalog - он немного не про то. Это Data MarketPlace, в нем прописаны источники (внутренние, внешние, любые), при этом можно показать только часть полей (например, только "сертифицированные") или переименовать их из внутреннего формата в человеческий, и правила выдачи данных - кому источники показываем, кому нет и кому какие данные можно выдавать. Аналитик или просто пользователь видит список доступных ему данных с описанием, полнотой, актуальностью (как часто обновляются) и популярностью источников и данных (как часто запрашивают). Таким образом, это позволяет самостоятельно собрать модель данных, не строя витрину, без привлечения ИТ-специалистов.

Работает с любым BI-продуктом, но в связке с Qlik Sense позволяет самостоятельно генерировать слой данных Qlik (qvd файл). Так как большинство современных BI задач - это не "отчетность по всей компании", а решение локальных задач функциональных групп и отдельных пользователей, использование Qlik Data Catalog, как и прочих Data MarketPlace, позволяет разгрузить IT-отдел, так как пользователи сами видят данные и им не надо каждый раз витрину делать или по их запросу данные выдавать / отчеты рисовать.

Это не отменяет прочих правил ДГ, таких как наименование полей, ведение каталога данных и отчетов, регламентов доступа к данным и т.д.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
14.07.2021, 16:49
    #40083829
bideveloper
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
sergeyns

Ну одно дело что некие best-practice которые хорошо бы придерживаться, но можно на них и положить.. А другое - стоит до хрена, внедрено приказом по предприятию.. Вот и получается что вроде бы и раньше все знали, но реально не работало.. а вот взяло и заработало )))

И как эта одна система будет поддерживать best practice по данным во всех системах предприятия?
...
Рейтинг: 0 / 0
14.07.2021, 17:12
    #40083847
Master_Detail
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
George Nordic,

Спасибо за столь обстоятельный ответ! Да, продукты на самом деле разные... Сразу не понял этого. Получается, что под капотом уже прописаны все связки между данными, а пользователь просто накидывает нужные ему показателю в свой отчет? Или же связи ему самому нужно понимать и указывать?

Если так(связи уже прописаны), то функционально это в некотором роде схоже с тем, что предоставляет Oracle BI Answer, кода из готового куба пользователь мог бы накидать себе отчетики (по факту, конечно, ни разу не видел такого пользователя, кто бы это освоил, если он далек от IT :) )


bideveloper,
да никак, она и не сможет этого сделать
...
Рейтинг: 0 / 0
14.07.2021, 17:26
    #40083851
George Nordic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Системы класса Data Governance. Для чего?
Master_Detail
Получается, что под капотом уже прописаны все связки между данными, а пользователь просто накидывает нужные ему показателю в свой отчет? Или же связи ему самому нужно понимать и указывать?
можно прописать + Qlik sense сам анализирует наборы данных и строит модель по пересекающимся данным.
Master_Detail
Если так(связи уже прописаны), то функционально это в некотором роде схоже с тем, что предоставляет Oracle BI Answer, кода из готового куба пользователь мог бы накидать себе отчетики (по факту, конечно, ни разу не видел такого пользователя, кто бы это освоил, если он далек от IT
Можно. Но надо обучать - внутреннее обучение, дата-марафоны и так далее. Чтобы инсталляция заработала на сотни и больше пользователей в режиме самообслуживания, каждый 4й пользователь должен уметь разрабатывать отчеты. В общем, я как больше этим теперь и занимаюсь - Data Literacy.

Но могу и каталог дать погонять бесплатно - я ж в Qlik работаю, так что обращайтесь.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Системы класса Data Governance. Для чего? / 19 сообщений из 19, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]