ReSQL.ru
     
powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Является ли ETL/ELT худшим выбором перед rabbitMQ?
15 сообщений из 15, страница 1 из 1
Является ли ETL/ELT худшим выбором перед rabbitMQ?
    #40116590
Charles Weyland
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Charles Weyland
Участник
Между всеми системами взаимодействие настроено через AMQP.

Правильно ли я понимаю, что однозначно лучше передавать сообщения в озёра данных посредством rabbitMQ, чем используя ELT? В онлайн аналитике так-то потребности нет, хотя, возможно, когда-то понадобится.

ELT выглядит так, будто он "устарел". В чём его преимущество? Есть ли смысл в его использовании?
Если ещё и ссылочки на что-нибудь подкинете, то вообще прекрасно будет. Пока сам пытаюсь найти.

Одни недостатки вижу:
  • персонально пишется под каждую систему вразрез существующим интеграционным потокам
  • невозможно создать онлайн аналитику
  • нагрузка на сервера по ночам - не подходит международным компаниям: в Британии засыпают, во Владивостоке уже разгар дня.
  • как только кто-то что-то на своей стороне поменяет, обмен рушится. Не успели под новые данные подстроиться, настроить change tracking - как уже часть данных уже затёрта и изменена. А по ELT как пришло - так и уложил.
  • зачастую бывает невозможно скрыть часть данных от озера, если вдруг это надо. Типа - это покажу, это не покажу. Напр., в ячейке реляционной БД есть json, один-два атрибута которого необходимо скрыть.
...
Рейтинг: 0 / 0
02.12.2021, 01:08
| Ответить | Цитировать | Написать  
Является ли ETL/ELT худшим выбором перед rabbitMQ?
    #40116604
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
Charles Weyland,
А почему не Kafka? <:o)
...
Рейтинг: 0 / 0
02.12.2021, 06:51
| Ответить | Цитировать | Написать  
Является ли ETL/ELT худшим выбором перед rabbitMQ?
    #40116716
Charles Weyland
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Charles Weyland
Участник
не могу как-то аргументировать, потому как RMQ не я ставил. Поставили бы Kafka - можно было бы ожидать аналогичный вопрос "почему не RMQ".
...
Рейтинг: 0 / 0
02.12.2021, 13:24
| Ответить | Цитировать | Написать  
Является ли ETL/ELT худшим выбором перед rabbitMQ?
    #40116742
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Charles Weyland
не могу как-то аргументировать, потому как RMQ не я ставил. Поставили бы Kafka - можно было бы ожидать аналогичный вопрос "почему не RMQ".


а как преодолеть недостаток "персонально пишется под каждую систему вразрез существующим интеграционным потокам"
если база источник сама ничего в RMQ или даже kafka отдавать не будет?
Правильно - писать кастомный код по каждый такой сорс.
...
Рейтинг: 0 / 0
02.12.2021, 15:37
| Ответить | Цитировать | Написать  
Является ли ETL/ELT худшим выбором перед rabbitMQ?
    #40116743
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Charles Weyland
  • зачастую бывает невозможно скрыть часть данных от озера, если вдруг это надо. Типа - это покажу, это не покажу. Напр., в ячейке реляционной БД есть json, один-два атрибута которого необходимо скрыть.
    • что-то не понял в чем тут разница с очередями? так же придется кастомно определять - что брать что не брать
    ...
    Рейтинг: 0 / 0
    02.12.2021, 15:39
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40116744
    Ivan Durak
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Ivan Durak
    Участник
    Charles Weyland
  • невозможно создать онлайн аналитику

    • В целом да. Но жизнь показывает что очереди яля кафка тоже приходится батчевать/упаковыввать в пакеты покрупнее и по реже. Иначе никаких ресурсов не хватит каждую запись отдеьно процесить.
    Ну и еще что показывает жизнь- 99% данных полный онлайн не нужен.
    ...
    Рейтинг: 0 / 0
    02.12.2021, 15:41
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40119323
    Фотография Критик
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Критик
    Участник
    Ivan Durak
    Ну и еще что показывает жизнь- 99% данных полный онлайн не нужен.


    может и так, но в случае очереди вы растягиваете пиковые нагрузки на 24 часа вместо ночи,
    раз в 6(+-) снижая требования к железу
    ...
    Рейтинг: 0 / 0
    11.12.2021, 21:11
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40119574
    Ivan Durak
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Ivan Durak
    Участник
    Критик
    Ivan Durak
    Ну и еще что показывает жизнь- 99% данных полный онлайн не нужен.


    может и так, но в случае очереди вы растягиваете пиковые нагрузки на 24 часа вместо ночи,
    раз в 6(+-) снижая требования к железу

    в теории да. На практике же оказывается что бывают моменты когда очередь не справляется и latency у нее в итоге выше и главное непредсказуемей батчей. Ну и по факту рулит, внезапно!, как всегда золотая середина из онлайн очередей и батчей разных размеров
    ...
    Рейтинг: 0 / 0
    13.12.2021, 10:34
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40119642
    .Евгений
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    .Евгений
    Участник
    Работаю с кроликом, вижу у такого взаимодействия лишь один существенный недостаток: максимально достижимая скорость заведомо меньше, чем ELT без фазы T (с ней, понятно, по-всякому). Например, у меня обрабатывается до 1К сообщений в секунду (XML 1-10Kb), тогда как прямая перегрузка БД-БД на 1-2 порядка быстрее.

    В то же время я крайне доволен шиной как источником, т.к. она сняла все проблемы получения изменений данных из других систем. Загрузка ХД получает сообщения, приближенные к бизнес-сущностям, большая часть проблем решается на уровне аналитиков и поддержки. С другой стороны, нужна отказоустойчивость обработки сообщений и очень желателен их архив.

    Кроме того, очень удобно маршрутизировать потоки данных между системами и средами (Exchange+Routing Key). Ну и всяческий онлайн, да.
    ...
    Рейтинг: 0 / 0
    13.12.2021, 14:11
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40119646
    Фотография George Nordic
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    George Nordic
    Участник
    Евгений, мне кажется что при таких вводных уже стоит смотреть на CDC. Не смотрели? И почему не используете? Прямо ваш сценарий.

    С Уважением,
    Георгий
    ...
    Рейтинг: 0 / 0
    13.12.2021, 14:19
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40119647
    .Евгений
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    .Евгений
    Участник
    George Nordic,

    зачем мне смотреть на CDC?
    Скорость работы загрузки меня вполне устраивает. Не то, чтобы системы-источники не могли отдавать быстрее - теоретически они могут. Просто либо другие системы-получатели, либо шина упадут гораздо раньше (прецедент был). Где-то даже картинка валялась со скриншотами навески сообщений для разных систем...
    ...
    Рейтинг: 0 / 0
    13.12.2021, 14:29
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40119650
    .Евгений
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    .Евгений
    Участник
    Нашел.
    ...
    Рейтинг: 0 / 0
    13.12.2021, 14:39
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40125452
    Charles Weyland
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Charles Weyland
    Участник
    Очень интересно увидеть контекст этого скриншота. Откуда он?
    ...
    Рейтинг: 0 / 0
    10.01.2022, 10:51
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40125460
    .Евгений
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    .Евгений
    Участник
    Charles Weyland,

    это три очереди систем-потребителей данных; каждая из систем по-разному получает сообщения из шины. Скриншотил лично.
    ...
    Рейтинг: 0 / 0
    10.01.2022, 11:20
    | Ответить | Цитировать | Написать  
    Является ли ETL/ELT худшим выбором перед rabbitMQ?
        #40126823
    Фотография Дедушка
    		Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
    Дедушка
    Участник
    Charles Weyland
    Правильно ли я понимаю, что однозначно лучше передавать сообщения в озёра данных посредством rabbitMQ, чем используя ELT?
    А в озеро кто сообщения из очереди складывает? Если отдельный сервис или коннектор, то он и есть ваш "ELT"
    (в общем случае, он же ещё и формат перепаковывает, например, в паркет и обеспечивает семантику однократной доставки)...
    То, что вы поставили перед ним очередь (как кэш), а не воткнули его непосредственно в источник это особенности вашей архитектуры.
    ELT это не конкретный фреймворк или тулл, это архитектурный паттерн. Подразумевающий, что вам нужна трансформация данных (не важно какая) и вы будете делать это на стороне приёмника.
    ...
    Рейтинг: 0 / 0
    15.01.2022, 13:39
    | Ответить | Цитировать | Написать  
    15 сообщений из 15, страница 1 из 1
    Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Является ли ETL/ELT худшим выбором перед rabbitMQ?
    Целевая тема:
    Создать новую тему:
    Автор:
    Закрыть
    Цитировать
    Найденые пользователи ...
    Разблокировать пользователей ...
    Читали тему (1): Анонимы (1)
    Читали форум (1): Анонимы (1)
    Пользователи онлайн (8): Анонимы (6), Bing Bot, Yandex Bot 1 мин.
    Польз. соглашение
    NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
    Закрыть
    Start [/forum/topic.php?fid=33&tid=1547035&gotonew=1]:
    		 0ms
    get settings:
    		 0ms
    get forum list:
    		 6ms
    check forum access:
    		 0ms
    check topic access:
    		 0ms
    track hit:
    		 29ms
    get topic data:
    		 2ms
    get first new msg:
    		 1ms
    get forum data:
    		 1ms
    get page messages:
    		 15ms
    update_topic_read_status (1547035): 15.01.2022 13:39:57:
    		 0ms
    get tp. blocked users:
    		 1ms
    get online users:
    		 12ms
    check new:
    		 1ms
    others: 79ms
    total:  147ms
    созд. / загр.: 147ms (нв.: 1ms)
    x
    x
    Закрыть


    Просмотр
    0 / 0
    Close
    Debug Console [Select Text]