|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
Топология:
... |
|||
:
Нравится:
Не нравится:
|
|||
10.12.2020, 22:47 |
|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
хорошо я согласен
Насколько правильным будет решение, когда
Вопрос абстрактный на порассуждать, у каждого могут быть свои не абстрактные, а рабочие примеры. Если система Б уже получила дельту через REST, то при чем тут Система А и rabbitMQ? почему система Б не запишет сразу к себе изменения? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.12.2020, 08:32 |
|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
хорошо я согласен Вопрос абстрактный на порассуждать, у каждого могут быть свои не абстрактные, а рабочие примеры. Почему RabbitMQ, а не Kafka или Hadoop?! :-) А так... С "дельтами" вы огребете такое количество проблем, что будет очень интересно и весело. :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.12.2020, 11:58 |
|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
Объем копеечный, поэтому смотрите на систему с точки зрения стоимости поддержки решения - если есть специалисты со знаниями RabbitMQ, то делайте. Если нет, то хоть перегружайте данные полностью. Но схема странная, как планируете класть со стороны 1С сообщения в очередь? В одной транзакции с изменением? А если очередь в момент изменения не функционирует, то что? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.12.2020, 16:30 |
|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
хорошо я согласен [li]В системе А изменяется сущность.
либо внешний демон пусть запросы шлёт ... |
|||
:
Нравится:
Не нравится:
|
|||
12.12.2020, 17:08 |
|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
хорошо я согласен система А (точнее, 1С) никого не уведомляет о событиях А нельзя ли завязаться на события СУБД, над которой сидит 1С? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 12:57 |
|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
хорошо я согласен Меня немного напрягает сращивать "ужа с ежом", т.е. по сути, это какой-то ETL, когда идёт подключение, выгрузка, трансформация и и загрузка к себе. Но через rabbitMQ. Это буде рабочим решением? При чем тут ETL и MQ? MQ это просто транспорт- и какая должна быть стратегия передачи данных определяет заказчик выставляя требования. "Правильных" решений не существует. Существуют работающие решения. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.01.2021, 09:40 |
|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
хорошо я согласен Меня немного напрягает сращивать "ужа с ежом", т.е. по сути, это какой-то ETL, когда идёт подключение, выгрузка, трансформация и и загрузка к себе. Но через rabbitMQ. Это буде рабочим решением? Вопрос абстрактный на порассуждать, у каждого могут быть свои не абстрактные, а рабочие примеры. Я-бы пошел от оптимизации систем хранения. В конце концов они определяют перформанс. А там где хороший перформанс и меньше побочных эффектов. Я вижу так. 1) Система А в течение дня трекает изменения и кладет их в отдельную табличку daily_changes 2) Выкладывает ее на общее хранилище с датой в виде префикса или фолдера в вие XML/JSON/CSV неважно. 3) Система B затягивает к себе daily_changes во временную табличку. 4) Система B делает merge временной таблички в основную. Мой сценари исходит из практики ETL. Табличек может быть много и нормальнизовнных но суть таже. Всякие кролики и прочие Кафки - нужны там где вы хотите в онлайне видеть изменения. А ваш кейс другой. Вам не нужны оперативные данные. Вам достаточно сутошных снимков. Загрузите за 1 минутку ваши 2к сущностей. И незачем тянуть кота за хвост. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.01.2021, 20:07 |
|
ETL через RabbitMQ. Передача каждую ночь, а не online - насколько это адекватно?
|
|||
---|---|---|---|
#18+
Да, я согласен ъъъъъ хорошо я согласен система А (точнее, 1С) никого не уведомляет о событиях А нельзя ли завязаться на события СУБД, над которой сидит 1С? Не вариант заставить такое сделать. Тему сейчас перечитал - спасибо, много дельных советов и интересных мнений ... |
|||
:
Нравится:
Не нравится:
|
|||
22.01.2021, 00:04 |
|
|
start [/forum/topic.php?fid=33&msg=40026754&tid=1547071]: |
0ms |
get settings: |
11ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
62ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
others: | 15ms |
total: | 166ms |
0 / 0 |