|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
а вот какая картина по оффсетам через промежуток времени когда был отправлен предыдущий джейсон в этот форум { "0": 264172, "1": 340090, "2": 348882, "3": 334139, "4": 378872, "5": 201531, "6": 336337, "7": 334124, "8": 334185, "9": 451485, "10": 450798, "11": 439557 } скорость чтения - 400 мессаджей раз в 300 мс полл. где они мать их? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:35 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
по девятой партиции было 1.7 миллиона, а теперь 451к, за три минуты читая одним консамером с 12ти топиков по 1000 сообщений в секунду? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:36 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT PetroNotC Sharp петя, здесь много других прекрасных и замечательных тем где очень не хватает твоего присутствия. я серьезно. люди страдают людям надо срочно узнать твое мнение. там. Ну ты же все равно будешь делать демку))))) Уже начал) ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:37 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
прошло еще немного времени с предыдущего сообщения (меньше минуты): { "0": 241237, "1": 337006, "2": 341507, "3": 312288, "4": 366697, "5": 189414, "6": 334069, "7": 240546, "8": 252302, "9": 427357, "10": 425334, "11": 425320 } ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:37 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
а вот код: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27.
код - практически копипаста с доки вертикса. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:41 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT, Ну вот. А ты с 10 декабря с петей боролся ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:44 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT, Логи то где, программизд? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:47 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp andreykaT, Логи то где, программизд? какие логи? в логах ничего нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:49 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT PetroNotC Sharp andreykaT, Логи то где, программизд? какие логи? в логах ничего нет. logger.info("Consumer={}. Processing {} records from th... ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:51 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp andreykaT пропущено... какие логи? в логах ничего нет. logger.info("Consumer={}. Processing {} records from th... там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 17:59 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT PetroNotC Sharp пропущено... logger.info("Consumer={}. Processing {} records from th... там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль. Если всегда одно и тоже то выкинь это из кода. Где логирование твоих офсетов и пропажи сообщений? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 18:07 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp andreykaT пропущено... там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль. Если всегда одно и тоже то выкинь это из кода. Где логирование твоих офсетов и пропажи сообщений? логирование оффсетов есть. сверху джейсон это то что пишется в логи. я не пойму как тебе поможет кусок лога где оффсет был -1 -1 -1 -1 -1 -1 -1 -1 -100500? между такими резкими изменениями в логах ничего нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 18:13 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Петро вобщем-то прав. Логи являются формальным доказательством некого факта внутри кода. Мы-же не можем в уме скомпилировать и воспроизвести? Даже скудные логи - это пруф. А словесные комментарии заставляют нас морщить лоб и пытаться вникнуть в суть метафор которых можно было-бы просто избежать. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 18:28 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton Петро вобщем-то прав. Логи являются формальным доказательством некого факта внутри кода. Мы-же не можем в уме скомпилировать и воспроизвести? Даже скудные логи - это пруф. А словесные комментарии заставляют нас морщить лоб и пытаться вникнуть в суть метафор которых можно было-бы просто избежать. Этому джуну бесполезно. Он тут для развлечения работающих. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 18:36 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT, >я не пойму как тебе поможет.... Идут испытания нового лекарства. Пациенты поделены на две группы - опытную и контрольную. Один из пациентов заходит к врачу: - Доктор, почему вы заменили мой препарат? Доктор (очень осторожно): - А что заставляет вас думать, что я его заменил? - Понимаете, раньше, когда я кидал эти таблетки в унитаз, они плавали, а теперь вдруг стали тонуть. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 18:44 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT вот прям сейчас распределение оффсетов по партициям. внимание.. читает ОДИН консамер. стартовые позиции были примерно равны (т.е. в районе 7 миллионов каждый). { "0": 730933, "1": 773311, "2": 967338, "3": 796927, "4": 786933, "5": 379265, "6": 1152434, "7": 968764, "8": 966905, "9": 1171124, "10": 1173417, "11": 1168902 } Это простите распределение каких офсетов??? Офсет первого мессаджа в партиции? Офсет последнего мессаджа в партиции? Офсет который консумер закомитил? Офсет до которого консумер дочитал? Офсет последнего мессаджа который может быть прочитан(aka watermark)? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 19:08 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT а вот код: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27.
код - практически копипаста с доки вертикса. Это не есть самозапускаемый код который любой из нас может запустить и найти в нём ошибку. Делайте как положено на maven или gradle самодостаточный проект на гитхаб. Ну это конечно если вам интересно понять где у вас пробелы и закрыть их. Если ответы на вопросы и повышение собственной квалификации вас на самом деле интересуют, а вы здесь для того чтобы просто бездаказуемо потрындеть как Навальный что кафка теряет мессаджи, то продолжайте в том же духе. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 19:14 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT вот прям сейчас распределение оффсетов по партициям. внимание.. читает ОДИН консамер. стартовые позиции были примерно равны (т.е. в районе 7 миллионов каждый). { "0": 730933, "1": 773311, "2": 967338, "3": 796927, "4": 786933, "5": 379265, "6": 1152434, "7": 968764, "8": 966905, "9": 1171124, "10": 1173417, "11": 1168902 } Это простите распределение каких офсетов??? Офсет первого мессаджа в партиции? Офсет последнего мессаджа в партиции? Офсет который консумер закомитил? Офсет до которого консумер дочитал? Офсет последнего мессаджа который может быть прочитан(aka watermark)? с каждым поллом и коммитом числа стремятся к нулю. то есть когда дошли до "конца" топика - стал ноль. 0-11 это партиции ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 21:33 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT а вот код: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27.
код - практически копипаста с доки вертикса. Это не есть самозапускаемый код который любой из нас может запустить и найти в нём ошибку. Делайте как положено на maven или gradle самодостаточный проект на гитхаб. Ну это конечно если вам интересно понять где у вас пробелы и закрыть их. Если ответы на вопросы и повышение собственной квалификации вас на самом деле интересуют, а вы здесь для того чтобы просто бездаказуемо потрындеть как Навальный что кафка теряет мессаджи, то продолжайте в том же духе. никто из вас даже не удосужится собрать и запустить. смысл мне анонить и лопатить несколько тысяч строк кода чтоб на него только посмотрели со стороны? выше вон уже предложили запустить локально. ок. запустил. работает. оффсеты не прыгают. что дальше? баг не воспроизводится? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 21:34 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT, >никто из вас даже не удосужится собрать и запустить У ленивых ТС так и есть. Их топик читают по диагонали и проходят мимо. Кинул портянку конфига вместо 3 ключевых параметров и код в ктором логеры не нужны так как они ноль всегда показывают. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 21:46 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Тебе не надо ничего лопатить. Ты можешь взять свой конфиг + hello world который просто воспроизводит нагрузку. Но это должен сделать ты. Никто из здесь присутствующих не мотивирован искусственно шатать кафку, доказывая наличие бага. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 21:49 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT по девятой партиции было 1.7 миллиона, а теперь 451к, за три минуты читая одним консамером с 12ти топиков по 1000 сообщений в секунду? Это надо умудриться создать всего одного читателя на аж 10 партиций. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 21:52 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton, А кто ему что локально предложил? Где? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 21:54 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT причем,если читает 12 консамеров, то количество прочтенных сообщений больше чем если читает один ) это што воще такое. зы. групайди и т.п. это 100% что он уникален и никто не подчитывает ничего на стороне. Рано тебе до кафки. Надо два читателя в одной группе + 2 партишена + выкл автокоммита + коммит ручками +логирование + прямые руки. Иди работай! ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 21:59 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT никто из вас даже не удосужится собрать и запустить. смысл мне анонить и лопатить несколько тысяч строк кода чтоб на него только посмотрели со стороны? С чего такое заранее негативное отношение на форуме друзей? Я например консультирую по вопросам внедрения кафки и помогаю с оптимизациями у себя в компании. Если код будет самозапускаемым мне не сложно будет за пару минут найти баг в твоём коде. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 22:14 |
|
|
start [/forum/topic.php?fid=59&msg=40029924&tid=2120562]: |
0ms |
get settings: |
23ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
51ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
431ms |
get tp. blocked users: |
2ms |
others: | 306ms |
total: | 850ms |
0 / 0 |