|
kafka дичь с оффсетами.
|
|||
---|---|---|---|
#18+
создаю топик вдруг кто сталкивался или я просто мануал не читал. есть топик. в нем десять партиций. каждая партиция. начало примерно 16миллионов (оффсет). конец, 21 миллион. итого я ожидаю суммарно получить где то 50 миллионов записей из нее. начинаем шагать. и снимать периодически показания о текущем оффсете по партициям. ну оно как бы равномерно уменьшается. прочел 1000 сообщений, увеличилось на 1000. прочел еще 2000 сообщений текущий оффсет увеличился на 2000. прочитал еще 1000 а текущий оффсет увеличился на... 3 миллиона. ШТО? читаем дальше текущий оффсет увеличился на 1к, там 2к,3к потом снова бабах и на полмиллиона. и так далее. собссно вопрос. почему не равномерно? что за фигня? у конфигурации установлено автокоммит. может ли быть такое что автокоммит шлепает больше чем выкачал? ну это же бред какой то. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2020, 21:23 |
|
|
Start [/forum/topic.php?fid=33&fpage=2&gotolast=1&tid=1547077]: |
0ms |
get settings: |
2ms |
get forum list: |
8ms |
check forum access: |
0ms |
check topic access: |
0ms |
track hit: |
42ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
6ms |
get tp. blocked users: |
0ms |
others: | 90ms |
total: | 152ms |
0 / 0 |