ожидаемое поведение - стартуем 10 консамеров - все 10 консамеров гребут по 1000 сообщений.
это выглядит так (по крайней мере внешне) что полл дернул но ничего не пришло.
те конфиги что ты показал я естественно заиспользовал . размеры мессаджей там несоклкьо сотен килбоайт .
Осмыслите фрагменты выделенные жирным. Сколько стокилобайтных мессаджей влезает в 1Mb(дефолтная настройка )? Как вы с такими настройками и таким размером сообщений ожидаете, что poll вам за раз 1000 сообщений вернёт.
батч на полл как раз 500.
То же самое, если вы сами попросили более 500 за раз не давать, то откуда требования к ожидаемому поведению возвращать 1000 за один poll?
Интересно что вы имеете в виду. Полсекунды передается как параметр poll? Или что-то другое.
я поигрался с настройками, ты ставишь батч 500 тебе с 10-ти партиций прилетает только в 1-2. ставишь батч 50 - тебе прилетает со всех 10ти партиций. :) но.. оптяь же оно может и по 500 с 10-ти партиций слать, но гораздо реже.
Это легко объяснимо. При маленьком max.poll.records консумер упершись в лимит, то есть попав в ситуацию когда много вычитал с брокеров и не может вычитанное отдать в клиентский код за раз, старается избежать узурпации консумера одной отдельно взятой партицией, тобишь starvation в других партициях и пытается отдавать мессаджи по всем партициям равномерно.
