| 
 | 
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  а вот какая картина по оффсетам через промежуток времени когда был отправлен предыдущий джейсон в этот форум { "0": 264172, "1": 340090, "2": 348882, "3": 334139, "4": 378872, "5": 201531, "6": 336337, "7": 334124, "8": 334185, "9": 451485, "10": 450798, "11": 439557 } скорость чтения - 400 мессаджей раз в 300 мс полл. где они мать их? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:35 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  по девятой партиции было 1.7 миллиона, а теперь 451к, за три минуты читая одним консамером с 12ти топиков по 1000 сообщений в секунду? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:36 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT PetroNotC Sharp петя, здесь много других прекрасных и замечательных тем где очень не хватает твоего присутствия. я серьезно. люди страдают людям надо срочно узнать твое мнение. там. Ну ты же все равно будешь делать демку))))) Уже начал) ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:37 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  прошло еще немного времени с предыдущего сообщения (меньше минуты): { "0": 241237, "1": 337006, "2": 341507, "3": 312288, "4": 366697, "5": 189414, "6": 334069, "7": 240546, "8": 252302, "9": 427357, "10": 425334, "11": 425320 } ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:37 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  а вот код: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. код - практически копипаста с доки вертикса. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:41 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT, Ну вот. А ты с 10 декабря с петей боролся ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:44 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT, Логи то где, программизд? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:47 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp andreykaT, Логи то где, программизд? какие логи? в логах ничего нет. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:49 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT PetroNotC Sharp andreykaT, Логи то где, программизд? какие логи? в логах ничего нет. logger.info("Consumer={}. Processing {} records from th... ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:51 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp andreykaT пропущено... какие логи? в логах ничего нет. logger.info("Consumer={}. Processing {} records from th... там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 17:59 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT PetroNotC Sharp пропущено... logger.info("Consumer={}. Processing {} records from th... там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль. Если всегда одно и тоже то выкинь это из кода. Где логирование твоих офсетов и пропажи сообщений? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 18:07 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  PetroNotC Sharp andreykaT пропущено... там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль. Если всегда одно и тоже то выкинь это из кода. Где логирование твоих офсетов и пропажи сообщений? логирование оффсетов есть. сверху джейсон это то что пишется в логи. я не пойму как тебе поможет кусок лога где оффсет был -1 -1 -1 -1 -1 -1 -1 -1 -100500? между такими резкими изменениями в логах ничего нет. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 18:13 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Петро вобщем-то прав. Логи являются формальным доказательством некого факта внутри кода. Мы-же не можем в уме скомпилировать и воспроизвести? Даже скудные логи - это пруф. А словесные комментарии заставляют нас морщить лоб и пытаться вникнуть в суть метафор которых можно было-бы просто избежать. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 18:28 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  mayton Петро вобщем-то прав. Логи являются формальным доказательством некого факта внутри кода. Мы-же не можем в уме скомпилировать и воспроизвести? Даже скудные логи - это пруф. А словесные комментарии заставляют нас морщить лоб и пытаться вникнуть в суть метафор которых можно было-бы просто избежать. Этому джуну бесполезно. Он тут для развлечения работающих. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 18:36 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT, >я не пойму как тебе поможет.... Идут испытания нового лекарства. Пациенты поделены на две группы - опытную и контрольную. Один из пациентов заходит к врачу: - Доктор, почему вы заменили мой препарат? Доктор (очень осторожно): - А что заставляет вас думать, что я его заменил? - Понимаете, раньше, когда я кидал эти таблетки в унитаз, они плавали, а теперь вдруг стали тонуть. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 18:44 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT вот прям сейчас распределение оффсетов по партициям. внимание.. читает ОДИН консамер. стартовые позиции были примерно равны (т.е. в районе 7 миллионов каждый). { "0": 730933, "1": 773311, "2": 967338, "3": 796927, "4": 786933, "5": 379265, "6": 1152434, "7": 968764, "8": 966905, "9": 1171124, "10": 1173417, "11": 1168902 } Это простите распределение каких офсетов??? Офсет первого мессаджа в партиции? Офсет последнего мессаджа в партиции? Офсет который консумер закомитил? Офсет до которого консумер дочитал? Офсет последнего мессаджа который может быть прочитан(aka watermark)? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 19:08 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT а вот код: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. код - практически копипаста с доки вертикса. Это не есть самозапускаемый код который любой из нас может запустить и найти в нём ошибку. Делайте как положено на maven или gradle самодостаточный проект на гитхаб. Ну это конечно если вам интересно понять где у вас пробелы и закрыть их. Если ответы на вопросы и повышение собственной квалификации вас на самом деле интересуют, а вы здесь для того чтобы просто бездаказуемо потрындеть как Навальный что кафка теряет мессаджи, то продолжайте в том же духе. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 19:14 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  vimba andreykaT вот прям сейчас распределение оффсетов по партициям. внимание.. читает ОДИН консамер. стартовые позиции были примерно равны (т.е. в районе 7 миллионов каждый). { "0": 730933, "1": 773311, "2": 967338, "3": 796927, "4": 786933, "5": 379265, "6": 1152434, "7": 968764, "8": 966905, "9": 1171124, "10": 1173417, "11": 1168902 } Это простите распределение каких офсетов??? Офсет первого мессаджа в партиции? Офсет последнего мессаджа в партиции? Офсет который консумер закомитил? Офсет до которого консумер дочитал? Офсет последнего мессаджа который может быть прочитан(aka watermark)? с каждым поллом и коммитом числа стремятся к нулю. то есть когда дошли до "конца" топика - стал ноль. 0-11 это партиции ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 21:33 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  vimba andreykaT а вот код: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. код - практически копипаста с доки вертикса. Это не есть самозапускаемый код который любой из нас может запустить и найти в нём ошибку. Делайте как положено на maven или gradle самодостаточный проект на гитхаб. Ну это конечно если вам интересно понять где у вас пробелы и закрыть их. Если ответы на вопросы и повышение собственной квалификации вас на самом деле интересуют, а вы здесь для того чтобы просто бездаказуемо потрындеть как Навальный что кафка теряет мессаджи, то продолжайте в том же духе. никто из вас даже не удосужится собрать и запустить. смысл мне анонить и лопатить несколько тысяч строк кода чтоб на него только посмотрели со стороны? выше вон уже предложили запустить локально. ок. запустил. работает. оффсеты не прыгают. что дальше? баг не воспроизводится? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 21:34 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT, >никто из вас даже не удосужится собрать и запустить У ленивых ТС так и есть. Их топик читают по диагонали и проходят мимо. Кинул портянку конфига вместо 3 ключевых параметров и код в ктором логеры не нужны так как они ноль всегда показывают. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 21:46 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Тебе не надо ничего лопатить. Ты можешь взять свой конфиг + hello world который просто воспроизводит нагрузку. Но это должен сделать ты. Никто из здесь присутствующих не мотивирован искусственно шатать кафку, доказывая наличие бага. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 21:49 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT по девятой партиции было 1.7 миллиона, а теперь 451к, за три минуты читая одним консамером с 12ти топиков по 1000 сообщений в секунду? Это надо умудриться создать всего одного читателя на аж 10 партиций. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 21:52 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  mayton, А кто ему что локально предложил? Где? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 21:54 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT причем,если читает 12 консамеров, то количество прочтенных сообщений больше чем если читает один ) это што воще такое. зы. групайди и т.п. это 100% что он уникален и никто не подчитывает ничего на стороне. Рано тебе до кафки. Надо два читателя в одной группе + 2 партишена + выкл автокоммита + коммит ручками +логирование + прямые руки. Иди работай! ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 21:59 | 
  
  
  
   | 
||
| 
 
не совсем джава но вдруг. кафка. 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  andreykaT никто из вас даже не удосужится собрать и запустить. смысл мне анонить и лопатить несколько тысяч строк кода чтоб на него только посмотрели со стороны? С чего такое заранее негативное отношение на форуме друзей? Я например консультирую по вопросам внедрения кафки и помогаю с оптимизациями у себя в компании. Если код будет самозапускаемым мне не сложно будет за пару минут найти баг в твоём коде. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.12.2020, 22:14 | 
  
  
  
   | 
||
| 
 | 

start [/forum/topic.php?fid=59&msg=40029853&tid=2120562]:  | 
    0ms | 
get settings:  | 
    10ms | 
get forum list:  | 
    13ms | 
check forum access:  | 
    4ms | 
check topic access:  | 
    4ms | 
track hit:  | 
    52ms | 
get topic data:  | 
    13ms | 
get forum data:  | 
    3ms | 
get page messages:  | 
    56ms | 
get tp. blocked users:  | 
    1ms | 
| others: | 13ms | 
| total: | 169ms | 

| 0 / 0 | 

На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даете согласие с использованием данных технологий.