powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
9 сообщений из 9, страница 1 из 1
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40026625
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Топология: Cистема А <---> RabbitMQ <---> Б. Канонично, конечно, так:
  • В системе А изменяется сущность.
  • Она кладёт её копию в очередь
  • Система Б мониторит очередь, забирает сущность, сохраняет к себе.
Т.е. инициатор - система А. Насколько правильным будет решение, когда
    Система Б ночью запрашивает "дельту" за прошедшие сутки, отправляя сообщение в рэббит Система А получает сообщение, отправляет в rabbitMQ 2000 сущностей (с 50 полями каждая в виде XML) Система Б записывает их к себе.
Причина - система А (точнее, 1С) никого не уведомляет о событиях, к ней можно подцепиться только по RestAPI. Объём данных может достигать 100 МБ. Меня немного напрягает сращивать "ужа с ежом", т.е. по сути, это какой-то ETL, когда идёт подключение, выгрузка, трансформация и и загрузка к себе. Но через rabbitMQ. Это буде рабочим решением? Вопрос абстрактный на порассуждать, у каждого могут быть свои не абстрактные, а рабочие примеры.
...
Рейтинг: 0 / 0
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40026680
Serguei
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен
Насколько правильным будет решение, когда
  • Система Б ночью запрашивает "дельту" за прошедшие сутки, отправляя сообщение в рэббит
  • Система А получает сообщение, отправляет в rabbitMQ 2000 сущностей (с 50 полями каждая в виде XML)
  • Система Б записывает их к себе.
Меня немного напрягает сращивать "ужа с ежом", т.е. по сути, это какой-то ETL, когда идёт подключение, выгрузка, трансформация и и загрузка к себе. Но через rabbitMQ. Это буде рабочим решением?

Вопрос абстрактный на порассуждать, у каждого могут быть свои не абстрактные, а рабочие примеры.


Если система Б уже получила дельту через REST, то при чем тут Система А и rabbitMQ? почему система Б не запишет сразу к себе изменения?
...
Рейтинг: 0 / 0
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40026754
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен

Вопрос абстрактный на порассуждать, у каждого могут быть свои не абстрактные, а рабочие примеры.


Почему RabbitMQ, а не Kafka или Hadoop?! :-)

А так...
С "дельтами" вы огребете такое количество проблем, что будет очень интересно и весело. :-)
...
Рейтинг: 0 / 0
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40027157
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Объем копеечный, поэтому смотрите на систему с точки зрения стоимости поддержки решения - если есть специалисты со знаниями RabbitMQ, то делайте. Если нет, то хоть перегружайте данные полностью.

Но схема странная, как планируете класть со стороны 1С сообщения в очередь?
В одной транзакции с изменением? А если очередь в момент изменения не функционирует, то что?
...
Рейтинг: 0 / 0
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40027181
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен
[li]В системе А изменяется сущность.
  • Она кладёт её копию в очередь
демон пусть каждые X секунд собирает, всё что изменилось, и отправляет куда-то вдаль
либо внешний демон пусть запросы шлёт
...
Рейтинг: 0 / 0
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40029699
ъъъъъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
хорошо я согласен
система А (точнее, 1С) никого не уведомляет о событиях

А нельзя ли завязаться на события СУБД, над которой сидит 1С?
...
Рейтинг: 0 / 0
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40034992
Serguei
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен
Меня немного напрягает сращивать "ужа с ежом", т.е. по сути, это какой-то ETL, когда идёт подключение, выгрузка, трансформация и и загрузка к себе. Но через rabbitMQ. Это буде рабочим решением?

При чем тут ETL и MQ? MQ это просто транспорт- и какая должна быть стратегия передачи данных определяет заказчик выставляя требования.

"Правильных" решений не существует. Существуют работающие решения.
...
Рейтинг: 0 / 0
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40037757
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен

Меня немного напрягает сращивать "ужа с ежом", т.е. по сути, это какой-то ETL, когда идёт подключение, выгрузка, трансформация и и загрузка к себе. Но через rabbitMQ. Это буде рабочим решением?

Вопрос абстрактный на порассуждать, у каждого могут быть свои не абстрактные, а рабочие примеры.

Я-бы пошел от оптимизации систем хранения. В конце концов они определяют перформанс. А там где
хороший перформанс и меньше побочных эффектов.

Я вижу так.

1) Система А в течение дня трекает изменения и кладет их в отдельную табличку daily_changes
2) Выкладывает ее на общее хранилище с датой в виде префикса или фолдера в вие XML/JSON/CSV неважно.
3) Система B затягивает к себе daily_changes во временную табличку.
4) Система B делает merge временной таблички в основную.

Мой сценари исходит из практики ETL. Табличек может быть много и нормальнизовнных но суть таже.

Всякие кролики и прочие Кафки - нужны там где вы хотите в онлайне видеть изменения. А ваш кейс
другой. Вам не нужны оперативные данные. Вам достаточно сутошных снимков.

Загрузите за 1 минутку ваши 2к сущностей. И незачем тянуть кота за хвост.
...
Рейтинг: 0 / 0
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
    #40037796
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, я согласен
ъъъъъ
хорошо я согласен
система А (точнее, 1С) никого не уведомляет о событиях

А нельзя ли завязаться на события СУБД, над которой сидит 1С?

Не вариант заставить такое сделать.


Тему сейчас перечитал - спасибо, много дельных советов и интересных мнений
...
Рейтинг: 0 / 0
9 сообщений из 9, страница 1 из 1
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]