powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / не совсем джава но вдруг. кафка.
25 сообщений из 258, страница 3 из 11
не совсем джава но вдруг. кафка.
    #40029842
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а вот какая картина по оффсетам через промежуток времени когда был отправлен предыдущий джейсон в этот форум

{
"0": 264172,
"1": 340090,
"2": 348882,
"3": 334139,
"4": 378872,
"5": 201531,
"6": 336337,
"7": 334124,
"8": 334185,
"9": 451485,
"10": 450798,
"11": 439557
}

скорость чтения - 400 мессаджей раз в 300 мс полл. где они мать их?
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029843
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
по девятой партиции было 1.7 миллиона, а теперь 451к, за три минуты читая одним консамером с 12ти топиков по 1000 сообщений в секунду?
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029844
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
PetroNotC Sharp
пропущено...

Ходим по кругу.
13 декабря 22247377

петя, здесь много других прекрасных и замечательных тем где очень не хватает твоего присутствия. я серьезно. люди страдают людям надо срочно узнать твое мнение. там.

Ну ты же все равно будешь делать демку)))))
Уже начал)
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029847
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
прошло еще немного времени с предыдущего сообщения (меньше минуты):

{
"0": 241237,
"1": 337006,
"2": 341507,
"3": 312288,
"4": 366697,
"5": 189414,
"6": 334069,
"7": 240546,
"8": 252302,
"9": 427357,
"10": 425334,
"11": 425320
}
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029851
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а вот код:

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
    private void startPollPartitionsTask() {
        vertx.setPeriodic(pollDelay, timerId -> {
            timerIds.put(timerId, true);
            kafkaConsumer.poll(Duration.ofMillis(pollDelay), ar1 -> {
                if (ar1.succeeded()) {
                    KafkaConsumerRecords<String, T> records = ar1.result();
                    logger.info("Consumer={}. Processing {} records from the topic={}", consumerId, records.size(), topic);
                    for (int i = 0; i < records.size(); i++) {
                        KafkaConsumerRecord<String, T> record = records.recordAt(i);
                        vertx.executeBlocking(promise -> executeOnRecordReceivedAction(record, promise, recordReceivedAction), res -> {
                            if (res.result() instanceof Exception) {
                                logger.error("Consumer: {}. Fail to ingest entity. key: {}. Stopping process", consumerId, record.key());
                                ((Exception) res.result()).printStackTrace();
                                killConsumer();
                                logger.error("Consumer: {}. Polling process is stopped", consumerId);
                            }
                        });
                    }
                    kafkaConsumer.commit();
                }
                if (ar1.failed()) {
                    logger.error("Consumer={}. Polling process failed", consumerId);
                    ar1.cause().printStackTrace();
                }
            });
        });
    }


код - практически копипаста с доки вертикса.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029853
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,

Ну вот. А ты с 10 декабря с петей боролся
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029854
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,

Логи то где, программизд?
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029855
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
andreykaT,

Логи то где, программизд?

какие логи? в логах ничего нет.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029857
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
PetroNotC Sharp
andreykaT,

Логи то где, программизд?

какие логи? в логах ничего нет.

logger.info("Consumer={}. Processing {} records from th...
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029861
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
andreykaT
пропущено...

какие логи? в логах ничего нет.

logger.info("Consumer={}. Processing {} records from th...

там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029863
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
PetroNotC Sharp
пропущено...

logger.info("Consumer={}. Processing {} records from th...

там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль.
ох и болтун. Тебя еще не уволили?
Если всегда одно и тоже то выкинь это из кода.
Где логирование твоих офсетов и пропажи сообщений?
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029866
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
andreykaT
пропущено...

там всегда значение равное максимальному количеству сообщений принимаемых при полле. когда очередь пройдена - то ноль.
ох и болтун. Тебя еще не уволили?
Если всегда одно и тоже то выкинь это из кода.
Где логирование твоих офсетов и пропажи сообщений?

логирование оффсетов есть. сверху джейсон это то что пишется в логи. я не пойму как тебе поможет кусок лога где оффсет был -1 -1 -1 -1 -1 -1 -1 -1 -100500? между такими резкими изменениями в логах ничего нет.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029871
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Петро вобщем-то прав.

Логи являются формальным доказательством некого факта внутри кода.
Мы-же не можем в уме скомпилировать и воспроизвести? Даже скудные логи
- это пруф.

А словесные комментарии заставляют нас морщить лоб и пытаться вникнуть в суть
метафор которых можно было-бы просто избежать.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029874
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Петро вобщем-то прав.

Логи являются формальным доказательством некого факта внутри кода.
Мы-же не можем в уме скомпилировать и воспроизвести? Даже скудные логи
- это пруф.

А словесные комментарии заставляют нас морщить лоб и пытаться вникнуть в суть
метафор которых можно было-бы просто избежать.

Этому джуну бесполезно.
Он тут для развлечения работающих.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029875
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,

>я не пойму как тебе поможет....
Идут испытания нового лекарства. Пациенты
поделены на две группы - опытную и контрольную.
Один из пациентов заходит к врачу:
- Доктор, почему вы заменили мой препарат?
Доктор (очень осторожно):
- А что заставляет вас думать, что я его
заменил?
- Понимаете, раньше, когда я кидал эти
таблетки в унитаз, они плавали, а теперь
вдруг стали тонуть.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029879
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
вот прям сейчас распределение оффсетов по партициям.
внимание.. читает ОДИН консамер. стартовые позиции были примерно равны (т.е. в районе 7 миллионов каждый).

{
"0": 730933,
"1": 773311,
"2": 967338,
"3": 796927,
"4": 786933,
"5": 379265,
"6": 1152434,
"7": 968764,
"8": 966905,
"9": 1171124,
"10": 1173417,
"11": 1168902
}

Это простите распределение каких офсетов??? Офсет первого мессаджа в партиции? Офсет последнего мессаджа в партиции? Офсет который консумер закомитил? Офсет до которого консумер дочитал? Офсет последнего мессаджа который может быть прочитан(aka watermark)?
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029881
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
а вот код:

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
    private void startPollPartitionsTask() {
        vertx.setPeriodic(pollDelay, timerId -> {
            timerIds.put(timerId, true);
            kafkaConsumer.poll(Duration.ofMillis(pollDelay), ar1 -> {
                if (ar1.succeeded()) {
                    KafkaConsumerRecords<String, T> records = ar1.result();
                    logger.info("Consumer={}. Processing {} records from the topic={}", consumerId, records.size(), topic);
                    for (int i = 0; i < records.size(); i++) {
                        KafkaConsumerRecord<String, T> record = records.recordAt(i);
                        vertx.executeBlocking(promise -> executeOnRecordReceivedAction(record, promise, recordReceivedAction), res -> {
                            if (res.result() instanceof Exception) {
                                logger.error("Consumer: {}. Fail to ingest entity. key: {}. Stopping process", consumerId, record.key());
                                ((Exception) res.result()).printStackTrace();
                                killConsumer();
                                logger.error("Consumer: {}. Polling process is stopped", consumerId);
                            }
                        });
                    }
                    kafkaConsumer.commit();
                }
                if (ar1.failed()) {
                    logger.error("Consumer={}. Polling process failed", consumerId);
                    ar1.cause().printStackTrace();
                }
            });
        });
    }


код - практически копипаста с доки вертикса.


Это не есть самозапускаемый код который любой из нас может запустить и найти в нём ошибку. Делайте как положено на maven или gradle самодостаточный проект на гитхаб. Ну это конечно если вам интересно понять где у вас пробелы и закрыть их. Если ответы на вопросы и повышение собственной квалификации вас на самом деле интересуют, а вы здесь для того чтобы просто бездаказуемо потрындеть как Навальный что кафка теряет мессаджи, то продолжайте в том же духе.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029912
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vimba
andreykaT
вот прям сейчас распределение оффсетов по партициям.
внимание.. читает ОДИН консамер. стартовые позиции были примерно равны (т.е. в районе 7 миллионов каждый).

{
"0": 730933,
"1": 773311,
"2": 967338,
"3": 796927,
"4": 786933,
"5": 379265,
"6": 1152434,
"7": 968764,
"8": 966905,
"9": 1171124,
"10": 1173417,
"11": 1168902
}

Это простите распределение каких офсетов??? Офсет первого мессаджа в партиции? Офсет последнего мессаджа в партиции? Офсет который консумер закомитил? Офсет до которого консумер дочитал? Офсет последнего мессаджа который может быть прочитан(aka watermark)?

с каждым поллом и коммитом числа стремятся к нулю. то есть когда дошли до "конца" топика - стал ноль. 0-11 это партиции
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029913
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vimba
andreykaT
а вот код:

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
    private void startPollPartitionsTask() {
        vertx.setPeriodic(pollDelay, timerId -> {
            timerIds.put(timerId, true);
            kafkaConsumer.poll(Duration.ofMillis(pollDelay), ar1 -> {
                if (ar1.succeeded()) {
                    KafkaConsumerRecords<String, T> records = ar1.result();
                    logger.info("Consumer={}. Processing {} records from the topic={}", consumerId, records.size(), topic);
                    for (int i = 0; i < records.size(); i++) {
                        KafkaConsumerRecord<String, T> record = records.recordAt(i);
                        vertx.executeBlocking(promise -> executeOnRecordReceivedAction(record, promise, recordReceivedAction), res -> {
                            if (res.result() instanceof Exception) {
                                logger.error("Consumer: {}. Fail to ingest entity. key: {}. Stopping process", consumerId, record.key());
                                ((Exception) res.result()).printStackTrace();
                                killConsumer();
                                logger.error("Consumer: {}. Polling process is stopped", consumerId);
                            }
                        });
                    }
                    kafkaConsumer.commit();
                }
                if (ar1.failed()) {
                    logger.error("Consumer={}. Polling process failed", consumerId);
                    ar1.cause().printStackTrace();
                }
            });
        });
    }


код - практически копипаста с доки вертикса.


Это не есть самозапускаемый код который любой из нас может запустить и найти в нём ошибку. Делайте как положено на maven или gradle самодостаточный проект на гитхаб. Ну это конечно если вам интересно понять где у вас пробелы и закрыть их. Если ответы на вопросы и повышение собственной квалификации вас на самом деле интересуют, а вы здесь для того чтобы просто бездаказуемо потрындеть как Навальный что кафка теряет мессаджи, то продолжайте в том же духе.

никто из вас даже не удосужится собрать и запустить. смысл мне анонить и лопатить несколько тысяч строк кода чтоб на него только посмотрели со стороны?

выше вон уже предложили запустить локально. ок. запустил. работает. оффсеты не прыгают. что дальше? баг не воспроизводится?
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029917
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,
>никто из вас даже не удосужится собрать и запустить
У ленивых ТС так и есть. Их топик читают по диагонали и проходят мимо.
Кинул портянку конфига вместо 3 ключевых параметров и код в ктором логеры не нужны так как они ноль всегда показывают.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029921
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тебе не надо ничего лопатить.

Ты можешь взять свой конфиг + hello world который просто воспроизводит нагрузку.

Но это должен сделать ты.

Никто из здесь присутствующих не мотивирован искусственно шатать кафку, доказывая наличие бага.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029922
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
по девятой партиции было 1.7 миллиона, а теперь 451к, за три минуты читая одним консамером с 12ти топиков по 1000 сообщений в секунду?

Это надо умудриться создать всего одного читателя на аж 10 партиций.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029924
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
А кто ему что локально предложил? Где?
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029928
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
причем,если читает 12 консамеров, то количество прочтенных сообщений больше чем если читает один )

это што воще такое.
зы. групайди и т.п. это 100% что он уникален и никто не подчитывает ничего на стороне.

Рано тебе до кафки.
Надо два читателя в одной группе + 2 партишена + выкл автокоммита + коммит ручками +логирование + прямые руки.
Иди работай!
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40029934
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT

никто из вас даже не удосужится собрать и запустить. смысл мне анонить и лопатить несколько тысяч строк кода чтоб на него только посмотрели со стороны?

С чего такое заранее негативное отношение на форуме друзей? Я например консультирую по вопросам внедрения кафки и помогаю с оптимизациями у себя в компании. Если код будет самозапускаемым мне не сложно будет за пару минут найти баг в твоём коде.
...
Рейтинг: 0 / 0
25 сообщений из 258, страница 3 из 11
Форумы / Java [игнор отключен] [закрыт для гостей] / не совсем джава но вдруг. кафка.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]