А с чего вы взяли что в топике с включенным компакшеном эти цифры будут сходится? Это же даже ребёнку очевидо, что если среди записанных есть мессаджи с одинаковыми ключами, то компакшен будет сжимать данные согласно настройкам. Тут вам нужно сначала настройки компакшена на топике посмотреть, если их нет на топике то смотрите глобальные настойки на брокере. В жирных топиках компакшен за раз как правило всё не сожмёт, потому что его эффективность ограниченна размером скользящего буфера и числу ключей для дедупликации которое ему разрешили удерживать в оперативной памяти.

В общем кидайте сюда все настройки топика, все настройки брокера а также версию брокера, и мы вам всё растолкуем.



Нет не решен. Вы же так ничего и не поняли. Кстате что касается вашего кода на вертексе. Я вам скинул пример как пофиксить багу в вашем коде, связанную с тем что вы комитите мессаджи до их фактической обработке, и написал что это код ещё не окончательный. Вы даже не удосужились подумать, а что там дальше нужно улучшить. Так вот сообщаю - читая мессаджи в одном потоке и скидывая их дальнейшую обработку в экзекьютор, вы теоритически можете нарушить причинно следственные связи для мессаджей с одним ключом, так как порядок их обработки в екзекьюторе не известен, и два логически взаимосвязанных события: снял штаны и посрал могут при обработке у вас переставиться местами.



Какие цифры? Объясните в терминах кафки, какие именно цифры у вас несходятся, и как вы их получаете.


Поправте два зачеркнутых слова выделенных жирным текстом. С точки зрения терминологии кафки вы написали полный бред, я не могу его расшифровать.