Коллеги, добрый день.

Подскажите как организован у вас обмен на больших объемах и большом количестве баз.

Есть организация с большим количеством филиалов (приближается к 200 филиалов).

У каждого филиала стоит своя БД. В целом по структуре они однотипные, могут отличаться в момент обновлений. Так как они растянуты по времени из-за часовых поясов.

Особенности в том, что обмен должен происходить многие ко многим. То есть из одного филиала данные могут уйти в несколько и прийти в него из других. Нет централизованной БД и по политическим решениям руководства не будет.

При изменении данных срабатывают определенные правила, где решается в какой филиал они будут отправлены. Еще важна пакетная отправка. То есть все данные в пределах одной транзакции должны быть доставлены одновременно. Плюс к этим данным, по правилам могут быть добавлены еще другие произвольны данные, для целостности информации по клиентам.
Например изменили данные по платежам, указали город отправки Санкт-Петербург, срабатывает правило, которое отправляет данные в Санкт-Петербург и к этим данным нужно еще отправить всю контактную информацию по клиенту и данные его отгрузки.

Смотрел в сторону CDC и CDR, но так и не смог понять, как там указывать правила куда отправляем и как привязывать дополнительные данные.

Может есть какое то другое решение и я его просто не смог нагуглить? Поделитесь решением, как можно организовать обмен между многими БД.

Спасибо.

Есть у нас и обмен через шину, но количество записей для обмена велико для шины, за день может быть по 90 млн записей

Я бы сказал 3-5к/с у нас.

Тут больше вопрос не в транспорте, а как фиксировать изменения и накладывать правила. Сейчас регистрация и выгрузка/загрузка идет через собственный софт. Интересуют как раз промышленные решения, которые позволяют регистрировать и отправлять большой объем. Желательно поддерживающий целостность пакетных данных.

Но чтобы что-то отправить через шину, надо сначала понять какие данные отправлять и куда. Интересует больше эти моменты пока. Просто повешать события на триггеры недостаточно как я понимаю, так по данному изменению может вообще ничего не надо отправлять согласно правилам обмена.

Можете подсказать, что почитать по выкачиванию данных по ссылкам?

Да, есть такое. К сожалению на создание централизованного сервера получили категорический отказ руководства.

У нас используется IBM MQ, для различных интеграций.

Проблема как раз в удобном инструменте регистрации для обмена и большом объеме данных. Кроме этого есть еще особенность при загрузке, так как есть таблицы итогов, которые при загрузке необходимо пересчитывать по ключам.

Насколько понимаю по данной статье https://habr.com/ru/post/514500/ нам подходит вариант CDC, но я пока не понял как настраивать правила, по которым определять куда и какие данные необходимо отправлять и как выполнять дополнительные действия при загрузке.

Хотят чтобы в случаем проблем с центральной базой, филиалы могли независимо работать, плюс беспокоятся насчет безопасности данных, чтобы никто не видел лишнюю информацию