Гость
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Является ли ETL/ELT худшим выбором перед rabbitMQ? / 15 сообщений из 15, страница 1 из 1
02.12.2021, 01:08
    #40116590
Charles Weyland
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Является ли ETL/ELT худшим выбором перед rabbitMQ?
Между всеми системами взаимодействие настроено через AMQP.

Правильно ли я понимаю, что однозначно лучше передавать сообщения в озёра данных посредством rabbitMQ, чем используя ELT? В онлайн аналитике так-то потребности нет, хотя, возможно, когда-то понадобится.

ELT выглядит так, будто он "устарел". В чём его преимущество? Есть ли смысл в его использовании?
Если ещё и ссылочки на что-нибудь подкинете, то вообще прекрасно будет. Пока сам пытаюсь найти.

Одни недостатки вижу:
  • персонально пишется под каждую систему вразрез существующим интеграционным потокам
  • невозможно создать онлайн аналитику
  • нагрузка на сервера по ночам - не подходит международным компаниям: в Британии засыпают, во Владивостоке уже разгар дня.
  • как только кто-то что-то на своей стороне поменяет, обмен рушится. Не успели под новые данные подстроиться, настроить change tracking - как уже часть данных уже затёрта и изменена. А по ELT как пришло - так и уложил.
  • зачастую бывает невозможно скрыть часть данных от озера, если вдруг это надо. Типа - это покажу, это не покажу. Напр., в ячейке реляционной БД есть json, один-два атрибута которого необходимо скрыть.
...
Рейтинг: 0 / 0
02.12.2021, 06:51
    #40116604
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Является ли ETL/ELT худшим выбором перед rabbitMQ?
Charles Weyland,
А почему не Kafka? <:o)
...
Рейтинг: 0 / 0
02.12.2021, 13:24
    #40116716
Charles Weyland
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Является ли ETL/ELT худшим выбором перед rabbitMQ?
не могу как-то аргументировать, потому как RMQ не я ставил. Поставили бы Kafka - можно было бы ожидать аналогичный вопрос "почему не RMQ".
...
Рейтинг: 0 / 0
02.12.2021, 15:37
    #40116742
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Является ли ETL/ELT худшим выбором перед rabbitMQ?
Charles Weyland
не могу как-то аргументировать, потому как RMQ не я ставил. Поставили бы Kafka - можно было бы ожидать аналогичный вопрос "почему не RMQ".


а как преодолеть недостаток "персонально пишется под каждую систему вразрез существующим интеграционным потокам"
если база источник сама ничего в RMQ или даже kafka отдавать не будет?
Правильно - писать кастомный код по каждый такой сорс.
...
Рейтинг: 0 / 0
02.12.2021, 15:39
    #40116743
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Является ли ETL/ELT худшим выбором перед rabbitMQ?
Charles Weyland
  • зачастую бывает невозможно скрыть часть данных от озера, если вдруг это надо. Типа - это покажу, это не покажу. Напр., в ячейке реляционной БД есть json, один-два атрибута которого необходимо скрыть.
  • что-то не понял в чем тут разница с очередями? так же придется кастомно определять - что брать что не брать
    ...
    Рейтинг: 0 / 0
    02.12.2021, 15:41
        #40116744
    Ivan Durak
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Charles Weyland
  • невозможно создать онлайн аналитику

  • В целом да. Но жизнь показывает что очереди яля кафка тоже приходится батчевать/упаковыввать в пакеты покрупнее и по реже. Иначе никаких ресурсов не хватит каждую запись отдеьно процесить.
    Ну и еще что показывает жизнь- 99% данных полный онлайн не нужен.
    ...
    Рейтинг: 0 / 0
    11.12.2021, 21:11
        #40119323
    Критик
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Ivan Durak
    Ну и еще что показывает жизнь- 99% данных полный онлайн не нужен.


    может и так, но в случае очереди вы растягиваете пиковые нагрузки на 24 часа вместо ночи,
    раз в 6(+-) снижая требования к железу
    ...
    Рейтинг: 0 / 0
    13.12.2021, 10:34
        #40119574
    Ivan Durak
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Критик
    Ivan Durak
    Ну и еще что показывает жизнь- 99% данных полный онлайн не нужен.


    может и так, но в случае очереди вы растягиваете пиковые нагрузки на 24 часа вместо ночи,
    раз в 6(+-) снижая требования к железу

    в теории да. На практике же оказывается что бывают моменты когда очередь не справляется и latency у нее в итоге выше и главное непредсказуемей батчей. Ну и по факту рулит, внезапно!, как всегда золотая середина из онлайн очередей и батчей разных размеров
    ...
    Рейтинг: 0 / 0
    13.12.2021, 14:11
        #40119642
    .Евгений
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Работаю с кроликом, вижу у такого взаимодействия лишь один существенный недостаток: максимально достижимая скорость заведомо меньше, чем ELT без фазы T (с ней, понятно, по-всякому). Например, у меня обрабатывается до 1К сообщений в секунду (XML 1-10Kb), тогда как прямая перегрузка БД-БД на 1-2 порядка быстрее.

    В то же время я крайне доволен шиной как источником, т.к. она сняла все проблемы получения изменений данных из других систем. Загрузка ХД получает сообщения, приближенные к бизнес-сущностям, большая часть проблем решается на уровне аналитиков и поддержки. С другой стороны, нужна отказоустойчивость обработки сообщений и очень желателен их архив.

    Кроме того, очень удобно маршрутизировать потоки данных между системами и средами (Exchange+Routing Key). Ну и всяческий онлайн, да.
    ...
    Рейтинг: 0 / 0
    13.12.2021, 14:19
        #40119646
    George Nordic
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Евгений, мне кажется что при таких вводных уже стоит смотреть на CDC. Не смотрели? И почему не используете? Прямо ваш сценарий.

    С Уважением,
    Георгий
    ...
    Рейтинг: 0 / 0
    13.12.2021, 14:29
        #40119647
    .Евгений
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    George Nordic,

    зачем мне смотреть на CDC?
    Скорость работы загрузки меня вполне устраивает. Не то, чтобы системы-источники не могли отдавать быстрее - теоретически они могут. Просто либо другие системы-получатели, либо шина упадут гораздо раньше (прецедент был). Где-то даже картинка валялась со скриншотами навески сообщений для разных систем...
    ...
    Рейтинг: 0 / 0
    13.12.2021, 14:39
        #40119650
    .Евгений
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Нашел.
    ...
    Рейтинг: 0 / 0
    10.01.2022, 10:51
        #40125452
    Charles Weyland
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Очень интересно увидеть контекст этого скриншота. Откуда он?
    ...
    Рейтинг: 0 / 0
    10.01.2022, 11:20
        #40125460
    .Евгений
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Charles Weyland,

    это три очереди систем-потребителей данных; каждая из систем по-разному получает сообщения из шины. Скриншотил лично.
    ...
    Рейтинг: 0 / 0
    15.01.2022, 13:39
        #40126823
    Дедушка
    Участник
    Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Charles Weyland
    Правильно ли я понимаю, что однозначно лучше передавать сообщения в озёра данных посредством rabbitMQ, чем используя ELT?
    А в озеро кто сообщения из очереди складывает? Если отдельный сервис или коннектор, то он и есть ваш "ELT"
    (в общем случае, он же ещё и формат перепаковывает, например, в паркет и обеспечивает семантику однократной доставки)...
    То, что вы поставили перед ним очередь (как кэш), а не воткнули его непосредственно в источник это особенности вашей архитектуры.
    ELT это не конкретный фреймворк или тулл, это архитектурный паттерн. Подразумевающий, что вам нужна трансформация данных (не важно какая) и вы будете делать это на стороне приёмника.
    ...
    Рейтинг: 0 / 0
    Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Является ли ETL/ELT худшим выбором перед rabbitMQ? / 15 сообщений из 15, страница 1 из 1
    Целевая тема:
    Создать новую тему:
    Автор:
    Найденые пользователи ...
    Разблокировать пользователей ...
    Читали форум (0):
    Пользователи онлайн (0):
    x
    x
    Закрыть


    Просмотр
    0 / 0
    Close
    Debug Console [Select Text]