powered by simpleCommunicator - 2.0.43     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Системы класса Data Governance. Для чего?
19 сообщений из 19, страница 1 из 1
Системы класса Data Governance. Для чего?
    #40083369
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго дня,

Коллеги, прочитал 100500 статей с общей информацией, но так толком и не уяснил, с чем профит с использования систем класса Data Governance. Что в них есть, что они показывают, какие возможности предоставляют? Если рассматривать, к примеру, банковскую деятельность, где в общем одна структура, где есть:

- АБС
- Какой-нибудь debt manager
- Какая-то CRM (физики+корпы)
- Какие-то еще системы
- И, наверняка, есть некий ODS слой, куда все это сливается, после чего работают потребители:
-- какое-нибудь ХД и отчетность, на нем же BI
-- всякие системки/подсистемки для отправки данных в кредитное бюре, фонд гарантирования вкладов и прочее
-- etc

Ну и есть регулятор, жаждущий отчетности.

Где здесь в этом зоопарке живет Data Governance и в чем ее профит на конкретном сценарии?
Благодарю!
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083374
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Master_Detail,

Сначала надо понять ГДЕ в этой схеме живет Data Management.
А уж потом искать КЕМ осуществляется Data Governance.
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083382
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ShIgor
Master_Detail,

Сначала надо понять ГДЕ в этой схеме живет Data Management.
А уж потом искать КЕМ осуществляется Data Governance.


Ну обычно он живет в ДИТ, которые ведует всем этим хозяйством - разрабатывает архитектуру, строит ее, переносит данные и все это дело мониторит. Или речь о другом?
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083398
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
не всегда.
владельцем данных может быть не только структура относящаяся к конкретному предприятию, поэтому с т.з. DG, предприятие выступает в роли потребителя, но у него в штате могут быть ответственные за интеграцию внешних данных в модель данных предприятия.
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083443
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ShIgor,

Можете привести пример DG на примере банка со стандартными процессами?
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083449
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Master_Detail,

нет, не могу, это будет прямой рекламой конкретного продукта.
но могу сказать, что мне озвучили цену за 5 авторских лицензий и 50 пользовательских в 70000 евро в год с обязательным контрактом минимум на 3 года. и DG там было включено как обязательная часть всего процесса Data Lineage.
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083452
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Master_Detail,

DG - это не "системы", это стратегия/методология/рецепты, которые позволяют просто получать бизнес-эффект от ваших правильных данных. По сути - очередная маркетинговая лапша на уши, т.к. все это и ранее применялось.
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083462
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик,

так а кто спорит что-ли? просто если все сведено в одном месте, имеет описание источников, данных, бизнес правил, определяет роли и права доступа на основании которых делаются все дальнейшие телодвижения с данными, это разве не система? не в плане ПО, а в плане организации работы с данными. А ПО - это только удобный интерфейс ведения всей этой документации и графического представления всевозможных связей и трансформаций удовлетворяющее требованиям всякого рода стандартам.
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083481
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Критик
Master_Detail,

DG - это не "системы", это стратегия/методология/рецепты, которые позволяют просто получать бизнес-эффект от ваших правильных данных. По сути - очередная маркетинговая лапша на уши, т.к. все это и ранее применялось.


Спасибо за ответ. Не могли бы привести пример из вашего опыта, где вы заметили профит такого рода систем стратегий/методологий/рецептов? "Вот были у нас такие данные, мы вот это сделали и вот такой выхлоп получили"
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083483
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Master_Detail,

К примеру внедрили вики-систему, которая автоматом брала описания из метаданных полей/таблиц, а также зависимости кода (где-какая таблица использовалась). Соответственно, пользователи и разработчики могли залезть туда и прочитать, что и где хранится, а по префиксам понять последовательность. А таблицы без метаданных в релиз не шли. То есть получили "самообновляющую" документацию.

Или внедрили правило, что данные, поступающие в stage-зону dwh, должны 1-в-1 соответствовать данным источника (кроме пунктов а-б-в) - избавились от кучи ненужной доки.

Или внедрили/использовали оркестратор etl, к которому дали доступ для чтения пользователям, в результате получили отличную наглядность + пользователи никого не дергали с вопросами "когда же посчитается"

По сути, всё, что облегчает вам и пользователям работу, можно смело называть элементами DG.
Вообще, этим должен ваш архитектор заниматься )
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083484
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да даже правила наименования относятся к DG )
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083490
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Критик,

Все более чем понятно про подходы, спасибо! Как вы и говорили "все это и ранее применялось".

Но если все же про системы типа Informatica Axon DG или Qlick Catalog Manager говорить, то как описанные вами сценарии в них будут реализованы? Просто над всеми правилами, принятыми в организации данных, появляется еще один уровень абстракции(собственно эта самая система), который надо ручками отрисовать и ручками же поддерживать, но зато все эти правила будут в красивом виде представлены пользователю?
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083574
sergeyns
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Master_Detail
Критик,

Все более чем понятно про подходы, спасибо! Как вы и говорили "все это и ранее применялось".

Ну одно дело что некие best-practice которые хорошо бы придерживаться, но можно на них и положить.. А другое - стоит до хрена, внедрено приказом по предприятию.. Вот и получается что вроде бы и раньше все знали, но реально не работало.. а вот взяло и заработало )))
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083579
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Master_Detail
Критик,
надо ручками отрисовать и ручками же поддерживать

в таком виде никогда не работает
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083713
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ivan Durak
Master_Detail
Критик,
надо ручками отрисовать и ручками же поддерживать

в таком виде никогда не работает

Согласен, от того и больше вопросов в целесообразности всего этого. Но по сути идея этого ПО в этом?
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083787
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Master_Detail
Но если все же про системы типа Informatica Axon DG или Qlick Catalog Manager говорить, то как описанные вами сценарии в них будут реализованы?
Qlik Data Catalog - он немного не про то. Это Data MarketPlace, в нем прописаны источники (внутренние, внешние, любые), при этом можно показать только часть полей (например, только "сертифицированные") или переименовать их из внутреннего формата в человеческий, и правила выдачи данных - кому источники показываем, кому нет и кому какие данные можно выдавать. Аналитик или просто пользователь видит список доступных ему данных с описанием, полнотой, актуальностью (как часто обновляются) и популярностью источников и данных (как часто запрашивают). Таким образом, это позволяет самостоятельно собрать модель данных, не строя витрину, без привлечения ИТ-специалистов.

Работает с любым BI-продуктом, но в связке с Qlik Sense позволяет самостоятельно генерировать слой данных Qlik (qvd файл). Так как большинство современных BI задач - это не "отчетность по всей компании", а решение локальных задач функциональных групп и отдельных пользователей, использование Qlik Data Catalog, как и прочих Data MarketPlace, позволяет разгрузить IT-отдел, так как пользователи сами видят данные и им не надо каждый раз витрину делать или по их запросу данные выдавать / отчеты рисовать.

Это не отменяет прочих правил ДГ, таких как наименование полей, ведение каталога данных и отчетов, регламентов доступа к данным и т.д.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083829
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sergeyns

Ну одно дело что некие best-practice которые хорошо бы придерживаться, но можно на них и положить.. А другое - стоит до хрена, внедрено приказом по предприятию.. Вот и получается что вроде бы и раньше все знали, но реально не работало.. а вот взяло и заработало )))

И как эта одна система будет поддерживать best practice по данным во всех системах предприятия?
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083847
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
George Nordic,

Спасибо за столь обстоятельный ответ! Да, продукты на самом деле разные... Сразу не понял этого. Получается, что под капотом уже прописаны все связки между данными, а пользователь просто накидывает нужные ему показателю в свой отчет? Или же связи ему самому нужно понимать и указывать?

Если так(связи уже прописаны), то функционально это в некотором роде схоже с тем, что предоставляет Oracle BI Answer, кода из готового куба пользователь мог бы накидать себе отчетики (по факту, конечно, ни разу не видел такого пользователя, кто бы это освоил, если он далек от IT :) )


bideveloper,
да никак, она и не сможет этого сделать
...
Рейтинг: 0 / 0
Системы класса Data Governance. Для чего?
    #40083851
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Master_Detail
Получается, что под капотом уже прописаны все связки между данными, а пользователь просто накидывает нужные ему показателю в свой отчет? Или же связи ему самому нужно понимать и указывать?
можно прописать + Qlik sense сам анализирует наборы данных и строит модель по пересекающимся данным.
Master_Detail
Если так(связи уже прописаны), то функционально это в некотором роде схоже с тем, что предоставляет Oracle BI Answer, кода из готового куба пользователь мог бы накидать себе отчетики (по факту, конечно, ни разу не видел такого пользователя, кто бы это освоил, если он далек от IT
Можно. Но надо обучать - внутреннее обучение, дата-марафоны и так далее. Чтобы инсталляция заработала на сотни и больше пользователей в режиме самообслуживания, каждый 4й пользователь должен уметь разрабатывать отчеты. В общем, я как больше этим теперь и занимаюсь - Data Literacy.

Но могу и каталог дать погонять бесплатно - я ж в Qlik работаю, так что обращайтесь.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
19 сообщений из 19, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Системы класса Data Governance. Для чего?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]