|
RabbitMQ и пакетные ежесуточные обмены
|
|||
---|---|---|---|
#18+
Добрый день! Есть rabbitMQ. Оперативно доставляет данные между систем. А что если каким-то системам нужные итоговые данные за сутки? Т.е. подход сродни ETL. Ежесуточно нужно получать информацию о каких-нибудь количествах чего-нибудь в других базах. Например, одной системе нужно знать количество заказов, разбитых по сотрудникам или т.п. И обмены могут занимать в несколько сотен мегабайт. Правильно ли эти таблицы по таймеру в 2 часа ночи пихать в рэббит? Какие у вас есть подобные случаи, какие вы подходы используете? P.s. речь не о КХД, а об OLTP системах. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2021, 11:01 |
|
RabbitMQ и пакетные ежесуточные обмены
|
|||
---|---|---|---|
#18+
Charles Weyland, Та же лямбда-архитектура предполагает использование как поточную, так и пакетную загрузку. А что, кролик не справляется? Его же легко можно масштабировать. Ну, или просто упаковать многомегабайтное сообщение любым архиватором. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.10.2021, 23:40 |
|
|
Start [/forum/topic.php?fid=33&tid=1547053]: |
0ms |
get settings: |
22ms |
get forum list: |
8ms |
check forum access: |
4ms |
check topic access: |
4ms |
get topic data: |
14ms |
get forum data: |
4ms |
get page messages: |
246ms |
get tp. blocked users: |
2ms |
others: | 311ms |
total: | 615ms |
0 / 0 |