а кто тебе сказал что на демке оно повторится? может мне тебе скинуть 50 гигабайт образов где полностью вся инфра развертывается? и прогнать все 150 тысяч тесткейсов после которых оно проявляется? а ты такой глядя на 50 гигов поковыряешь в носу и выдашь без звизды ценное мнение что "тут что то не так".

какую демку?

смотри.. есть бд. есть сервис. сервис все создания изменения удаления сущностей спамит в некий топик. то есть ключ записи равен ключу в бд. итого у нас в топике всегда должно быть количество ключей равно количеству записей в бд (или БОЛЬШЕ. но не меньше). если из бд убирают запись в топик шлется тамбстон, в топике эта запись "исчезает" (вопрос как). далее, я вытягиваю всю цепь из ключей и у меня должно получиться 1 к 1му с бд. ну то есть если там миллион записей то и у меня должен быть миллион уникальных ключей.

у меня же миллиона НЕТ. у меня нет не то чтоб потерь в 1-2% у меня потери процентов 40.
как это выглядит? я начинаю тянуть из топика сообщения и у меня происходит то что выше оффсет меняется +1 +1 +1 а потом раз и +25444

во что это выливается? я теряю ключи я не имею копию того что лежит в бд. а я должен ее иметь в некоем сферическом моенте времени когда в бд никаких обновлений нет и очередь сообщений вся пройдена они должны быть идентичными.

твои сообщения не несут никакого смысла.

так может это не кафка? может это тамбстоны так себя ведут?

что тебе даст тот факт что на демо это не воспроизводится? или наоборот воспроизводится?

ммм

During consuming messages, the consumer (subscriber) sends his current offset to the broker. This is the place where data loss can happen. There are, at least, two plots when it may happen.

The first scenario is consuming in parallel. Imagine a situation where 2 messages come to a consumer: A and B. All the messages are processed in parallel. Processing the messages, B was successful, and the offset was committed. However, handling the message, A produced an error. Because the message B has a larger offset, Kafka will save the latest offset and the message A never comes back to the consumer.



медитирую.

подробнее?
я собираю айдишки. и у меня не совпадает.
тут товарищ предложил выгрузить все партиции в текстовые файлы и уже их парсить (90 миллионов записей ну такое)

петя, здесь много других прекрасных и замечательных тем где очень не хватает твоего присутствия. я серьезно. люди страдают людям надо срочно узнать твое мнение. там.

короче, 100500 проблем. я кажется, догадываюсь почему в некоторых топиках намеренно не делают больше одной партиции.

не понял про запись в другую базу и каунт.

я это сейчас и делаю. запись в другую базу и каунт - нету 30-40% записей. причем перечитываю топик - каждый раз количество собранных мессаджей РАЗНОЕ и разное не на 10-20 там )) а на сотни тысяч или миллионы )))
залогировал как меняются оффсеты. как они меняются я написал сверху.

вот прям сейчас распределение оффсетов по партициям.
внимание.. читает ОДИН консамер. стартовые позиции были примерно равны (т.е. в районе 7 миллионов каждый).

{
"0": 730933,
"1": 773311,
"2": 967338,
"3": 796927,
"4": 786933,
"5": 379265,
"6": 1152434,
"7": 968764,
"8": 966905,
"9": 1171124,
"10": 1173417,
"11": 1168902
}

причем,если читает 12 консамеров, то количество прочтенных сообщений больше чем если читает один )

это што воще такое.
зы. групайди и т.п. это 100% что он уникален и никто не подчитывает ничего на стороне.