powered by simpleCommunicator - 2.0.39     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
12 сообщений из 12, страница 1 из 1
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097597
Charles Weyland
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что если BI является не конечной точкой в цепи ИС, а промежуточной? Как вы реализовывали подобную архитектуру? Приходилось ли?

Есть KPI, вычисленный в кубе/в отчёте на основе данных из DWH, собранных из десятка систем.
Т.е. если необходимо построить систему, которая производит операционную обработку и анализ этих KPI? Например, "как только показатели A, B и C продержатся выше 60% на протяжении 120 дней, отправляется заявка на премирование", или пусть будет "как только показатель активности клиента А стал ниже 10%, отправить в CRM по MQ уведомление" и т.п.
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097611
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в топку легаси с кубами. без кубов считать KPI, писать в кафка топик, стриминг джоб читает кафку, пишет что-то в другие топики/источники.
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097613
Агрох
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По такому описанию звучит почти как использование одной витрины данных для построения другой витрины данных. Как бы достаточно рядовая ситуация.
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097671
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А в чем проблема? Операционная система же может послать запрос кубу на требуемые KPI.
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097694
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Charles Weyland,

Кубы тут лишние
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097720
Ибн Хоттаб
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Наблюдал в природе потребление данных из ActivePivot движками которые считают риски/ликвидность/сценарии и тп. Слышал по радио что аналогичным образом использовался местами и Essbase. Это так и называлось - machine consumers.
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097728
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БиАй по расписанию может сформировать выборки (csv, xls), которые можно подхватить в любую систему.
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097731
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Charles Weyland
Что если BI является не конечной точкой в цепи ИС, а промежуточной? Как вы реализовывали подобную архитектуру? Приходилось ли?

1. Есть отдельный класс систем - проактивная аналитика, которая собирает информацию с ряда источников и автоматически принимает решения. Классический пример - сбор данных с датчиков и корректировка параметров (например, режима работы турбины) и выдача уведомлений (о необходимой замене агрегата или его некорректной работе). Обычно близко к риал-тайм, но возможны варианты, например, выдача задний проверить ценник если SKU никто не покупает несколько часов / дней.

2. Есть Alerting - зачастую встроенная функциональность, которая рассылает уведомления при изменении определенного показателя на определенное значение или процент. Куча сторонних решений + самописка не так сложна. Зачастую работает поверх BI или является его частью, что облегчает задачу (например, в клике так и называется, "Alerting").

Charles Weyland
Есть KPI, вычисленный в кубе/в отчёте на основе данных из DWH, собранных из десятка систем.
Т.е. если необходимо построить систему, которая производит операционную обработку и анализ этих KPI? Например, "как только показатели A, B и C продержатся выше 60% на протяжении 120 дней, отправляется заявка на премирование", или пусть будет "как только показатель активности клиента А стал ниже 10%, отправить в CRM по MQ уведомление" и т.п.

Чистой воды Alerting. Просто тут как минимум 2 варианта, или делать все на DWH / витрине, тогда кубы не нужны. Но если уже этот "самолет" собран на кубах, то перебрать его на уровне DWH - так себе задача, особенно когда бизнес постоянно добавляет новые критерии, которые также считаются в кубах.
Агрох
По такому описанию звучит почти как использование одной витрины данных для построения другой витрины данных. Как бы достаточно рядовая ситуация.
+100500
H5N1
в топку легаси с кубами. без кубов считать KPI, писать в кафка топик, стриминг джоб читает кафку, пишет что-то в другие топики/источники.
Да нафиг там кафка и стриминг? Не турбина, чай. Пусть пишет в промежуточную таблицу показатель и время расчета, потом просто сравнивать показатели по заданным параметрам при появлении новых записей. Или по триггеру, или просто по schedule'ру.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097764
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordic
Да нафиг там кафка и стриминг? Не турбина, чай. Пусть пишет в промежуточную таблицу показатель и время расчета, потом просто сравнивать показатели по заданным параметрам при появлении новых записей. Или по триггеру, или просто по schedule'ру.

что бы не заниматься ерундой и не изобретать велосипед. зачем кому-то потом гадать, ваш велосипед на по тригеру, шедуллеру или еще как прикручен, если есть промышленное решение, которое из коробки гарантирует read only once, fault tolerant, умеет все делать в параллель и прочая ?
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097841
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Charles Weyland
Что если BI является не конечной точкой в цепи ИС, а промежуточной? Как вы реализовывали подобную архитектуру? Приходилось ли?


Как бы ситуация распространенная, например BI считает рекомендации и выдает их потребителю. Я даже видел на основе куба была реализована панель в интернет магазине, которая показывала, сколько каких товаров в какой категории есть в наличии при примененных фильтрах.

С архитектурой ничего сложного -- просто полученный результат надо превратить в таблицу и выгрузить на сторону потребителя. В OLTP систему.

Я, например, считал топ 100 продаж в каждом направлении и выгружал на сайт, где они показывались в соответствующих разделах.
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097940
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
что бы не заниматься ерундой и не изобретать велосипед. зачем кому-то потом гадать, ваш велосипед на по тригеру, шедуллеру или еще как прикручен, если есть промышленное решение, которое из коробки гарантирует ...Вы вместо велосипеда предлагаете заморочится с атомным реактором. Приобрести его, изучить, развернуть, настроить, чтобы зажечь лампочку в сарае.
Обычно такое предлагают инфоцыгане. С вейпом и на гироскутерах. :)

Чаще всего достаточно одной примитивной зачитки OLTP -> BI -> OLTP в сутки. Причем доделать только вторую стрелочку, т.к. первая обычно уже готова. В простых случаях это можно сделать за 10 минут.
...
Рейтинг: 0 / 0
Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
    #40097970
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
L_argo
Вы вместо велосипеда предлагаете заморочится с атомным реактором. Приобрести его, изучить, развернуть, настроить, чтобы зажечь лампочку в сарае.
Обычно такое предлагают инфоцыгане. С вейпом и на гироскутерах. :)

Чаще всего достаточно одной примитивной зачитки OLTP -> BI -> OLTP в сутки. Причем доделать только вторую стрелочку, т.к. первая обычно уже готова. В простых случаях это можно сделать за 10 минут.

мне кажется вы занимаетесь не своим делом, если для вас кафка это атомный реактор и топите за наколенные нашлепки с кронтабом и тригерами. "отправить в CRM по MQ уведомление" - самое место в тригерах.
ладно. наверно оно и к лучшему, в мире где кафка уже ядерный реактор у меня зп выше
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Что если потребитель BI - не человек, а операционная программа?Как вы такое реализовывали?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]