|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton Ты уже реализовал передачу пачек? формат мессаджа предусматривает что там может приходить 1+н элементов. но шлют практически всегда 1 элемент. если ты об этом. я ничего не передаю я только слушаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 16:01 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Правильно ли я понимаю что ты не влияешь на producer? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 16:09 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton Правильно ли я понимаю что ты не влияешь на producer? ни на продюсер ни на конфиг кафки. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 16:11 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Как-то все ... печально. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 16:21 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton Как-то все ... печально. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 16:29 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton Как-то все ... печально. выкачиваю весь топик в файл. проанализирую дальше видно будет. пока уже мессаджей выкачал больше чем по моим подсчетам выходило через вертикс. если так то выкину вертикс на помойку. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 16:37 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT mayton Как-то все ... печально. выкачиваю весь топик в файл. проанализирую дальше видно будет. пока уже мессаджей выкачал больше чем по моим подсчетам выходило через вертикс. если так то выкину вертикс на помойку. 10 дней по 8 часов это 80 часов ты обещал непрестанно это)). Если поискать слово вертикс и кафка, то по всему веб только андрейка упоминается))) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 16:53 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Что такое вертикс? Поиск выдает слишком много разного материала. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 17:00 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton Что такое вертикс? Поиск выдает слишком много разного материала. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 17:08 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT короче качаю все мессаджи в файл. посчитаю по файлу должно быть порядка ста лямов. есби будет сто лямов значит вертикс на помойку. То что вертекс на помойку это даже не обсуждается. Но! Прежде чем его выкинуть нужно понять где проблема. Лень разбираться с ним(в том числе из-за того что вы не предоставили самозапускаемый проект), поэтому просто поспекулирую что vertx.executeBlocking не блокирует текущий тред, а направляет таску в какой-то тред пулл, эту гипотезу легко роверить добавив логирование текущего треда в код таски которую ты передаешь vertex. Так вот самое интересно как себя поведёт vertex когда ты начинаешь читать из кафки мессаджи бестрее чем этот тредпул пережовывает? Это вам нужно выяснить, есть такое предположение что он просто выкидывает таски которые не помещаются в очередь, или возникает эксепшен который вы не перехватываете. Ну и опять же в продолжение спецкуляции - если текущий тред не блокируется при вызове vertx.executeBlocking , то вы комитет мессаджи до их фактической обработки, что может привести к потерям, если с обработкой что-то не задалось. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 17:09 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
В это форуме давно уже никого нет. Я не знаю кому пишет вопросы Андрейка. Здесь остались как в старом баре - завсегдатаи. 3 человека которые сидят за барной стойкой и лениво переругиваясь смотрят телевизор. И никто новый сюда не придет. Все остальные 99% - ушли в Дедофорум. Пэтому мы здесь просто треплемся. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 17:27 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT короче качаю все мессаджи в файл. посчитаю по файлу должно быть порядка ста лямов. есби будет сто лямов значит вертикс на помойку. То что вертекс на помойку это даже не обсуждается. Но! Прежде чем его выкинуть нужно понять где проблема. Лень разбираться с ним(в том числе из-за того что вы не предоставили самозапускаемый проект), поэтому просто поспекулирую что vertx.executeBlocking не блокирует текущий тред, а направляет таску в какой-то тред пулл, эту гипотезу легко роверить добавив логирование текущего треда в код таски которую ты передаешь vertex. Так вот самое интересно как себя поведёт vertex когда ты начинаешь читать из кафки мессаджи бестрее чем этот тредпул пережовывает? Это вам нужно выяснить, есть такое предположение что он просто выкидывает таски которые не помещаются в очередь, или возникает эксепшен который вы не перехватываете. Ну и опять же в продолжение спецкуляции - если текущий тред не блокируется при вызове vertx.executeBlocking , то вы комитет мессаджи до их фактической обработки, что может привести к потерям, если с обработкой что-то не задалось. выкачал. получилось 13 гигов текстовый файл. посчитал все мессаджи. вышло порядка 18 миллионов. а здесь: { "0": 730933, "1": 773311, "2": 967338, "3": 796927, "4": 786933, "5": 379265, "6": 1152434, "7": 968764, "8": 966905, "9": 1171124, "10": 1173417, "11": 1168902 } при старте (когда я зашел с параметром фром бегиннинг, снял максимально возможные оффсеты для каждой партиции,получил первое сообщение и его текущий оффсет и сделал 1 раз МАКС - ТЕКУЩИЙ) при старте у меня показывало дельту по каждой партиции по примерно 7 миллионов. итого я ожидал получить 7 миллионов * 12 = 84 миллиона. по факту я получил примерно 18 миллионов. где еще 70 миллионов? консольный консамер не думаю что что то мог бы потерять. позже попробую посчитать уники среди этих 7 миллионов. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 17:53 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT короче качаю все мессаджи в файл. посчитаю по файлу должно быть порядка ста лямов. есби будет сто лямов значит вертикс на помойку. То что вертекс на помойку это даже не обсуждается. Но! Прежде чем его выкинуть нужно понять где проблема. Лень разбираться с ним(в том числе из-за того что вы не предоставили самозапускаемый проект), поэтому просто поспекулирую что vertx.executeBlocking не блокирует текущий тред, а направляет таску в какой-то тред пулл, эту гипотезу легко роверить добавив логирование текущего треда в код таски которую ты передаешь vertex. Так вот самое интересно как себя поведёт vertex когда ты начинаешь читать из кафки мессаджи бестрее чем этот тредпул пережовывает? Это вам нужно выяснить, есть такое предположение что он просто выкидывает таски которые не помещаются в очередь, или возникает эксепшен который вы не перехватываете. Ну и опять же в продолжение спецкуляции - если текущий тред не блокируется при вызове vertx.executeBlocking , то вы комитет мессаджи до их фактической обработки, что может привести к потерям, если с обработкой что-то не задалось. там везде бросается эксепшн который останавливает вообще консамер целиком на любой эксепшн. и да - это работает. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 17:55 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Давай сведем твой исходник к банальности. Уж если вообще ничего непонятно - то самое простое - самое истинное. Уберем вообще любые алгоритмы и оставим только вычитывание событи и посдчет штук. Код: java 1. 2. 3.
И еще. Почему здесь линии else {...} не существует. Добавь чтоли. Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24.
Оберни все try{...} catch еще раз. Черт его знает вдруг у тебя там валит NPE. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 19:13 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT vimba пропущено... То что вертекс на помойку это даже не обсуждается. Но! Прежде чем его выкинуть нужно понять где проблема. Лень разбираться с ним(в том числе из-за того что вы не предоставили самозапускаемый проект), поэтому просто поспекулирую что vertx.executeBlocking не блокирует текущий тред, а направляет таску в какой-то тред пулл, эту гипотезу легко роверить добавив логирование текущего треда в код таски которую ты передаешь vertex. Так вот самое интересно как себя поведёт vertex когда ты начинаешь читать из кафки мессаджи бестрее чем этот тредпул пережовывает? Это вам нужно выяснить, есть такое предположение что он просто выкидывает таски которые не помещаются в очередь, или возникает эксепшен который вы не перехватываете. Ну и опять же в продолжение спецкуляции - если текущий тред не блокируется при вызове vertx.executeBlocking , то вы комитет мессаджи до их фактической обработки, что может привести к потерям, если с обработкой что-то не задалось. там везде бросается эксепшн который останавливает вообще консамер целиком на любой эксепшн. и да - это работает. Что работает??? Вы хоть осознали что вы комитите мессаджи до их фактической обработки? Я немного почитал доки к этой шайтан машине, как и ожидалось runBlocking вызывающий тред не блочится, вместо этого выполнение уводится в отдельный экзекьютор а результат можно получить через callback. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 20:35 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT пропущено... там везде бросается эксепшн который останавливает вообще консамер целиком на любой эксепшн. и да - это работает. Что работает??? Вы хоть осознали что вы комитите мессаджи до их фактической обработки? Я немного почитал доки к этой шайтан машине, как и ожидалось runBlocking вызывающий тред не блочится, вместо этого выполнение уводится в отдельный экзекьютор а результат можно получить через callback. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 20:37 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba andreykaT пропущено... там везде бросается эксепшн который останавливает вообще консамер целиком на любой эксепшн. и да - это работает. Что работает??? Вы хоть осознали что вы комитите мессаджи до их фактической обработки? Я немного почитал доки к этой шайтан машине, как и ожидалось runBlocking вызывающий тред не блочится, вместо этого выполнение уводится в отдельный экзекьютор а результат можно получить через callback. код там получает результат через колбэк и падает с убийством консамера ЕСЛИ блокирующая таска бросит ЛЮБОЙ эксепшн. этого достаточно чтоб НЕ пропустить, а просто упасть с концами. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.12.2020, 23:18 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
andreykaT, Если бы я был твоим коллегой, то либо меня бы в дурку забрали, либо я бы тебя прикопал бы где-нибудь, чтобы никто не нашел, третьего не дано. Я даже не знаю какие слова найти, чтобы объяснить тебе совершенно очевидную вещь, что ты в общем случае коммитишь мессаджи до того их фактической обработки. Попробую последний раз объяснить кодом, если слова не помогают, и на этом пожалуй умываю руки, потому что случай явно патологический. А код тебе нужно переписать хотя бы так: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39.
... |
|||
:
Нравится:
Не нравится:
|
|||
23.12.2020, 09:45 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
vimba, >прикопал бы где-нибудь Могу организовать). Толку от ТС все равно никакого. Имидж кафки портит. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.12.2020, 10:19 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Не гоните. Андрейка - хороший. Просто он с разработкой не связан. Я так думаю ... |
|||
:
Нравится:
Не нравится:
|
|||
23.12.2020, 11:48 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton, Угу. Ему чел говорит: "Дело в очередности!". А он радостно: "я выгрузил 70млн сообщений!" Это не разработка, а логика банальная. Взимосвязь вещей в природе. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.12.2020, 11:55 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
Он взял задачу которая ему не по зубам. Это очевидно. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.12.2020, 12:01 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton, Я не знаю почему он не любит классику программировния, как любишь ее ты val = new.... )) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.12.2020, 12:07 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
По поводу val. Я думаю что у каждой вещи есть своё предназначение. У жопы - срать. У val/var - тоже есть смысл. И он идет КМК дальше чем просто сокращение кода. А рефакторинг с Код: java 1.
идет лучше с явной декларацией интерфейса. Здесь бабушка Варвара Лискова довольно кивает. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.12.2020, 13:00 |
|
не совсем джава но вдруг. кафка.
|
|||
---|---|---|---|
#18+
mayton, Согласен. Хотя я больше о том что он сразу прыгнул на flux, message oriented middleware не пройдя путь обычных сервлетов и операторов new. Жизненный цикл классов, конструктор, десктруктор, каллбэки вместо GoTo и поток выполнения кода. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.12.2020, 13:18 |
|
|
start [/forum/topic.php?fid=59&msg=40030406&tid=2120562]: |
0ms |
get settings: |
7ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
32ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
388ms |
get tp. blocked users: |
0ms |
others: | 298ms |
total: | 736ms |
0 / 0 |