|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT vimba пропущено... Это простите распределение каких офсетов??? Офсет первого мессаджа в партиции? Офсет последнего мессаджа в партиции? Офсет который консумер закомитил? Офсет до которого консумер дочитал? Офсет последнего мессаджа который может быть прочитан(aka watermark)? с каждым поллом и коммитом числа стремятся к нулю. то есть когда дошли до "конца" топика - стал ноль. 0-11 это партиции Спешу вас огорчить это не офсеты. С комитами уменьшается consumer lag - что есть разница между верхней границей того что написал продьюсер и того что закомитил продьюсер . Я специально написал закомитил, а не обработал, потому что можно комитить не обрабатывая, более того даже не читая. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 22:28 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba, Вау! Ты перевернул мир! ТС пол жизни отдал в борьбе с оффсетами) ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 22:30 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT, авторчто за..? загуглил на эту тему написали что да вот де бывает ребаланс и может скипануть. взял другой топик. там только одна партиция. тоже самое запустил шарманку. ничего не скипает. Вам стыдно дать ссылку на ваш ответ по ребалансу? И какой может быть ребаланс с ОДНОЙ партицией? Два простых вопроса и совсем без кода) "не мытьем, так катаньем" (с) ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 23:23 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp andreykaT по девятой партиции было 1.7 миллиона, а теперь 451к, за три минуты читая одним консамером с 12ти топиков по 1000 сообщений в секунду? Это надо умудриться создать всего одного читателя на аж 10 партиций. если ты чуть более внимателен был бы - то увидел бы что партиций 12. читателей значения нет сколько. 1 или 12. вернее есть. если читатель 1 то какой то волшебный процесс происходит чаще и мессаджей "теряется" больше. если читателей 12 то иногда получается выгребсти почти 90% мессаджей. но это не тебе сказано. можешь не читать. ) ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 23:30 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT пропущено... с каждым поллом и коммитом числа стремятся к нулю. то есть когда дошли до "конца" топика - стал ноль. 0-11 это партиции Спешу вас огорчить это не офсеты. С комитами уменьшается consumer lag - что есть разница между верхней границей того что написал продьюсер и того что закомитил продьюсер . Я специально написал закомитил, а не обработал, потому что можно комитить не обрабатывая, более того даже не читая. эти числа я получаю так: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21.
а получаю текущее значение оффсетов по партициям так: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
эти числа сверху что бы они не показывали они показывают то сколько осталось мессаджей до того момента когда консамеры стали слушать топик. и да. когда оно доходит до нуля (плюс-минус несколько сообщений) - далее движения никакого НЕТ. то есть полл проходит - сообщений ноль. я пробовал ставить в бесконечность - та же фигня. что бы это ни было как бы это ни было. когда оно становится нулем новые сообщения не выгребаются. до тех пор пока их кто нибудь не запостит в топик. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 23:36 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
как можно коммитить не читая? можно читать и не коммитить. но коммитить и не читать? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2020, 23:38 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT PetroNotC Sharp пропущено... Это надо умудриться создать всего одного читателя на аж 10 партиций. если ты чуть более внимателен был бы - то увидел бы что партиций 12. читателей значения нет сколько. 1 или 12. вернее есть. если читатель 1 то какой то волшебный процесс происходит чаще и мессаджей "теряется" больше. если читателей 12 то иногда получается выгребсти почти 90% мессаджей. но это не тебе сказано. можешь не читать. ) Бред какой то)) Повторюсь: авторРано тебе до кафки. Надо два читателя в одной группе + 2 партишена + выкл автокоммита + коммит ручками +логирование + прямые руки. Иди работай! ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 00:01 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Когда у меня не работает кастомная конфигурация - я переключаюсь на дефолтную. Потом осторожно. Параметр за параметром начинаю применять изменения. Да - современные системы - сложные как ракета. И их конечно можно ушатать конфигурациями. Но должен-же быть какой-то итеративный процесс внесения изменений. Даже архитекторы и кафка-саппорт не сделают диагностику по самому факту потери сообщений. Им нужны дампы памяти и стек-трейсы всех работающих потоков. Нужны счетчики событий по JMX компонентам. Нужны снапшоты с операционной системы по статистике TCP/IP. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 00:24 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT как можно коммитить не читая? можно читать и не коммитить. но коммитить и не читать? Что значит как? Берёшь и дергаешь commit на консумере передавая как параметр смещения в партициях которое хочешь закомитить. Более того можно комитить не то что не читая, можно комитить мессаджи которые даже ещё не записаны продьюсером, тобишь комитить наперёд. Внимательно читайте документацию к технологии которую используете. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 01:22 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Получается наш дорогой сквернослов ТС не разобрался в коммитах. Кроме того не слушал советы другого форума про ребаланс. В своем коде (мы его не видим) не делал коммитов и кафка посчитала что клиент мёртв/отвалился. Следовательно сделала ребаланс партишенов. Появились дырки в оффсетах и ТС заклинило от них. Это догадки так как кода нет уже 4 страницы. Наш форум самый терпеливый (с) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 09:02 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT как можно коммитить не читая? можно читать и не коммитить. но коммитить и не читать? Что значит как? Берёшь и дергаешь commit на консумере передавая как параметр смещения в партициях которое хочешь закомитить. Более того можно комитить не то что не читая, можно комитить мессаджи которые даже ещё не записаны продьюсером, тобишь комитить наперёд. Внимательно читайте документацию к технологии которую используете. ээээ. в вертиксе коммит передается без параметра. окей спасибо уточню. я думаю оно само знает текущие прочитанные оффсеты и их и засылает. возможно вы правы и это вообще косяк вертикса. я пробовал выбрать автокоммит. ничего не изменилось в поведении. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 11:53 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Получается наш дорогой сквернослов ТС не разобрался в коммитах. Кроме того не слушал советы другого форума про ребаланс. В своем коде (мы его не видим) не делал коммитов и кафка посчитала что клиент мёртв/отвалился. Следовательно сделала ребаланс партишенов. Появились дырки в оффсетах и ТС заклинило от них. Это догадки так как кода нет уже 4 страницы. Наш форум самый терпеливый (с) если ты хотя бы посмотришь код выше то увидишь что коммит происходит по факту успешного получения и процессинга мессаджей. собссно то о чем я и говорил. выкладывать портки кода смысла нет - их никто не читает. и ты это подтвердил. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 11:55 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT, >я пробовал Кто ж тебе поверит?)) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 11:55 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT PetroNotC Sharp Получается наш дорогой сквернослов ТС не разобрался в коммитах. Кроме того не слушал советы другого форума про ребаланс. В своем коде (мы его не видим) не делал коммитов и кафка посчитала что клиент мёртв/отвалился. Следовательно сделала ребаланс партишенов. Появились дырки в оффсетах и ТС заклинило от них. Это догадки так как кода нет уже 4 страницы. Наш форум самый терпеливый (с) если ты хотя бы посмотришь код выше то увидишь что коммит происходит по факту успешного получения и процессинга мессаджей. собссно то о чем я и говорил. выкладывать портки кода смысла нет - их никто не читает. и ты это подтвердил. Мы остановились на логировании. А я ленивых прогеров не обслуживаю. Ссылку как тебя послали на другом форуме ты тоже не дал. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 11:57 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
так игнорируй меня. я же тебе это предложил еще вчера? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 12:13 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT как можно коммитить не читая? можно читать и не коммитить. но коммитить и не читать? Что значит как? Берёшь и дергаешь commit на консумере передавая как параметр смещения в партициях которое хочешь закомитить. Более того можно комитить не то что не читая, можно комитить мессаджи которые даже ещё не записаны продьюсером, тобишь комитить наперёд. Внимательно читайте документацию к технологии которую используете. да. нашел метод коммита где явно надо указывать партицию и оффсеты. пожалуй, попробую явным образом. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 12:14 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT так игнорируй меня. я же тебе это предложил еще вчера? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 12:14 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
сделал ручные коммиты с вытаскиванием оффсета из рекорда и отсылкой оффсета коммитом назад. запустил. смотрю. жду. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 14:00 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
та же хрень. читаю рекорды при полле. у рекорда оффсет 1.2.3.4.5.6.7.8.2001.2002.2003.2004.50001.50002.50003.....52333.1000001.1000002.. коммичу естественно 1 к 1 то что прочитал. при полле прилетают оффсеты с прыжками. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 14:10 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT, Ребаланс был или нет, чучело. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 14:19 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaTзагуглил на эту тему написали что да вот де бывает ребаланс 10 дней назад наш молодой прогер написал. Дальше он две недели стонет и за петей гоняется ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 14:23 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
короче качаю все мессаджи в файл. посчитаю по файлу должно быть порядка ста лямов. есби будет сто лямов значит вертикс на помойку. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 14:46 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Где-то в середине лекции Алименков предлагает различные сценарии по улучшению взаимодействия JMS систем. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 14:51 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
передача ключей мессаджей это один из стандартных шаблонов интеграции. ничего особо нового :) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 14:52 |
|
|
start [/forum/topic.php?fid=59&msg=40030083&tid=2120562]: |
0ms |
get settings: |
24ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
51ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
469ms |
get tp. blocked users: |
1ms |
others: | 323ms |
total: | 901ms |
0 / 0 |