Всем привет! Подскажите пожалуйста как правильно встроить кафку в структуру клиент - сервер?
Описываю ситуацию. Есть классическая трехзвенка браузер + томкат + бд. Запросы приходят в томкат, томкат получив данные из запроса отправляет запрос в бд, полученную информацию отправляет браузеру. Мне нужно сделать горизонтальное масштабирование слоя бд. Я хочу чтобы томкат отправлял запросы в кафку и получал ответы из кафки, как подружить кафку с бд знаю. Есть ли какие либо стандарты на это счёт или нужно изобретать велосипед?
У меня есть ряд вопросов/сомнений на счёт правильности моих мыслей. Опишу их ниже.
1. Пришедший запрос я отправляю в топик "in"
2. Подписчик забирает запрос из топика "in" и обрабатывает в бд, результат отправляет в топик "out"
Дальше вопросов больше чем ответов :) В томкате я должен подписаться на топик "out" и ждать своих данных, вот тут вопрос создавать подписчика с нуля или брать из пула. Когда я получаю сообщения из общего потока я должен выбрать только свои. Вероятно будут запросы которые отвалились пока ждали ответа и их ответы будут мёртвым грузом лежать какое то время в очереди, а это лишняя нагрузка на их обработку. Я вроде как чувствую, что думаю в правильном направлении, но как реализовать детали пока не знаю, подскажите пожалуйста :)

vas0,

Это можно конечно делать, мы сейчас так и делаем :) У нас пока 1 кластер бд и всё просто, но "завтра" планируется 1000 кластеров бд, и мне придётся описывать 1000 пулов соединений в томкате, наверное это ничего страшного но мне кажется что это не правильно, почему не знаю но чувствую :)

PetroNotC Sharp,

Все очень просто. Есть OLTP система. Электронный документооборот 100500 документов разных и столько же пользователей, крутить всё это на одном сервере рано или поздно будет не возможно, соответственно надо делить данные по разным БД. Каждый коннект, после авторизации знает где лежат его данные, надо пойти в нужную бд и взять их. На уровне балансировщика, например haproxy, это сделать нельзя потому как haproxy не знает куда отправить коннект, а слой томкатов уже знает. В принципе ничего страшного нет в том что в томкате будет много пулов соединений, только режет глаз эта "не эстетическая картина" с JDBC пулами :)

забыл никВ правильной архитектуре у тебя будет балансировщик нагрузки, который раскидывает реквесты на N инстансов томката, каждый из которых смотрит на определенную базу. Как уже правильно тебе сказали, в модели запрос - ответ, нету места мессадж пассингу. Kafka она для интеграции приложений, а не введения асинхронности.

Вот отличная идея!!! Спасибо огромное!!!