mayton,

для себя я кролик пока совсем не рассматриваю. у меня на работе юзают spark+kafka и выглядит что мне по любому в нее придется погрузиться. плюс у powerbi вроде к кафке есть коннектор, к кролику нет. потому если переделывать на очередь собирусь, наверно все же кафка. но пока я думаю, вот прямо сейчас под той нагрузкой что есть, никакого смысла кроме как пообучаться нет смысла в полновесной очереди. весной вроде из кафки выкинут zookeeper, с которым у нас боль на хадупах, может это будет тригером для меня.

что касается кролика, у меня знакомые пилят какую-то фигню для обмена валют и крипты и навелосипедили что-то свое для обмена сообщениями. говорят, что бы в пол секунды укладывать весь обмен. мне интересно на сколько кролик быстрее кафки на задаче доставки маленького сообщения, но как можно быстрее. и на сколько мое представление о том что кролик им бы идеально подошел, а кафка все таки больше про большие данные прокачивать, а не респонс тайм.

в мире хадупов есть понятие лямда архитектуры, там быстрый слой это прокачка больших данных через очередь. у всяких ораклов есть решения на тему репликации стримить оракловый лог в кафку. на сколько я знаю мы тоже пишем уже не малые данные в кафку.

понимаю. причем даже в курсе того что в самой популярно бигдата связке со spark там и реалтайма нет, spark streaming нифига не честный стриминг, а под низом spark на самом микробатчи устраивает. потому и считал кафку ближе к прокачке данных, зачастую больших, а кролика ближе к скоростной передачи мелких сообщений, но не данных.



на основной работе у нас zookeeper выбирает кто главный, а кто в режиме standby работает и станет главным, если с главнюку поплохеет. на мой вкус сложно как-то вышло. теперь в команде нужны люди которые глубоко понимают поведение zookeeper, знают где логи и на что обращать внимание. плюс оказалось, что выбор главнюка лишь малая часть, верно отреагировать на смену лидера бывает не так просто, не раз и не два вылавливали в этой части баги и знаем что еще какие-то есть.
сталкивались с тем что zookeeper моет быть чувствителен к i/o, он что-то типа своего лог транзакций ведет и если диск кем-то занят начинались приключения. были странные переключения когда процессор клиента занят, видимо zookeeper сервер не получил вовремя heartbeat и инициировал смену лидера.
по мне хорошая тема для отдельного топика, за одно почитать почему кафка выпиливает зукипер.