|
не совсем джава но вдруг. кафка.
|
||
|---|---|---|
Участник
Откуда: Санкт-Петербург
Сообщения: 2 190 |
||
| 29.12.2020, 12:16 |
|
|
|
|
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
fixxer Ордеринг это вообще очень дорогое свойство. Гораздо проще идемпотенцию процессинга обеспечить. кафка гарантирует ордеринг в рамках одного ключа (он же равен одной партиции) мне этого достаточно. если разные ключи будут прилетать в разном ордере - к этому система толерантна. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 00:01 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
andreykaT (он же равен одной партиции) Это ересь. Ордеринг гарантируется в рамках партиции. Партиция определяется по хеш-функции ключа, поэтому записи с одним ключом попадают в одну партицию. Но знак равенства между этими понятиями нельзя ставить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 03:14 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
andreykaT, Hello world когда будет? А то все что ты не скажешь - двойка получается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 07:55 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp andreykaT, Hello world когда будет? А то все что ты не скажешь - двойка получается. Так уже разобрались вроде. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 12:16 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
vimba PetroNotC Sharp andreykaT, Hello world когда будет? А то все что ты не скажешь - двойка получается. Так уже разобрались вроде. Где? Ссыль дай. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 12:18 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
fixxer andreykaT (он же равен одной партиции) Это ересь. Ордеринг гарантируется в рамках партиции. Партиция определяется по хеш-функции ключа, поэтому записи с одним ключом попадают в одну партицию. Но знак равенства между этими понятиями нельзя ставить. с чего вдруг? ордеринг гарантируется партицией один ключ попадает всегда в одну партицию. => ордеринг в рамках ключа гарантирован. т.е. если A = B и B = C то A = C или у тебя по ключу пришли три сообщения вчера сегодня завтра ты их назад и прочитаешь вначале вчера потом сегодня потом завтра. если без ключей начнешь накидывать в мультипартиционный топик - то там как карта ляжет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 14:16 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
andreykaT, >если.... Угу. Гарантируется, но вот если.... И поехало. - если публикатор одини тот же - если партиции по ключу который нужен и осмысленен - если стратегия по хешу ключа - если публикатор не указал Сам партицию... Другую. ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:11 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp andreykaT, >если.... Угу. Гарантируется, но вот если.... И поехало. - если публикатор одини тот же - если партиции по ключу который нужен и осмысленен - если стратегия по хешу ключа - если публикатор не указал Сам партицию... Другую. ... Не, тут ты уже отсебятину понес. Каждый ключ попадает в один партитишен, ордеринг внутри партитишена гарантируется кафкой, тут андрон прав. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:13 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
забыл ник, Про публикаторов только что прочитал. Если их несколько то не гарантируется. 2. Другую партицию можно? my:23:345 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:16 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp забыл ник, Про публикаторов только что прочитал. Если их несколько то не гарантируется. Пруф ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:17 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
В Кафке сообщения с одним и тем же ключом, от одного и того же производителя, доставляются потребителю по порядку https://coderoad.ru/29820384/Apache-порядок-сообщений-Кафки-с-несколькими-разделами ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:18 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
my:23:345 345 это адрес партиции. Тогда должен нарушится порядок ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:21 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp В Кафке сообщения с одним и тем же ключом, от одного и того же производителя, доставляются потребителю по порядку https://coderoad.ru/29820384/Apache-порядок-сообщений-Кафки-с-несколькими-разделами Эмм. Что это за хрень и как это опровергает мои слова? К тому же это явная неправда - неважно сколько producer, если они пишут в одну тему. Ордеринг внутри партитишена ГАРАНТИРОВАН. ТОЧКА ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:22 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
забыл ник, Ну неправда так неправда. Пусть ты 99% прав. Без кода 100 проц не бывает) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:30 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
забыл ник, >Ордеринг внутри партитишена ГАРАНТИРОВАН. ТОЧКА Спор был по термину ключик а не партиция. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:31 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
забыл ник, Возможно они пишут асинхронно. Это имелось ввиду. Какой уже тогда порядок то)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:32 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp забыл ник, Возможно они пишут асинхронно. Это имелось ввиду. Какой уже тогда порядок то)) Не, Петр. Смотри, ключ на то и ключ, что он попадает в одну партитицию, ну точный аналог HashMap в Java. Поэтому если ключ один и тот же - то он попадет в один партитишен 100%, даже при ребалансировке. Насчет асинхронности, тут такой момент - кафка гарантирует ордеринг внутри себя, УЖЕ ПОПАВШИХ мессаджей. То что это может не совпадать с точкой зрения одновременности тех кто пишет продьюсеров - это возможно, но это только потому что те кто писал продюсеры не понимают как работает кафка и многопоточность в широком смысле. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:38 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
забыл ник PetroNotC Sharp забыл ник, Возможно они пишут асинхронно. Это имелось ввиду. Какой уже тогда порядок то)) Не, Петр. Смотри, ключ на то и ключ, что он попадает в одну партитицию, ну точный аналог HashMap в Java. Поэтому если ключ один и тот же - то он попадет в один партитишен 100%, даже при ребалансировке. Насчет асинхронности, тут такой момент - кафка гарантирует ордеринг внутри себя, УЖЕ ПОПАВШИХ мессаджей. То что это может не совпадать с точкой зрения одновременности тех кто пишет продьюсеров - это возможно, но это только потому что те кто писал продюсеры не понимают как работает кафка и многопоточность в широком смысле. Можно сказать что требование ОРДЕРИНГА - это один из частных случаев СИНХРОНИЗМА? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:44 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
забыл ник, Угу. Думаю ты прав. Асинхронная по факту запись это должно быть за границей вопроса. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:46 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
mayton, Бывает практический юз кейс - найти конечное состояние клиента. А мессаги идут так: Пьян Трезв Полупьян Трезв ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:48 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp mayton, Бывает практический юз кейс - найти конечное состояние клиента. А мессаги идут так: Пьян Трезв Полупьян Трезв Теперь делим это на две партиции и нету конечного)))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:50 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
mayton забыл ник пропущено... Не, Петр. Смотри, ключ на то и ключ, что он попадает в одну партитицию, ну точный аналог HashMap в Java. Поэтому если ключ один и тот же - то он попадет в один партитишен 100%, даже при ребалансировке. Насчет асинхронности, тут такой момент - кафка гарантирует ордеринг внутри себя, УЖЕ ПОПАВШИХ мессаджей. То что это может не совпадать с точкой зрения одновременности тех кто пишет продьюсеров - это возможно, но это только потому что те кто писал продюсеры не понимают как работает кафка и многопоточность в широком смысле. Можно сказать что требование ОРДЕРИНГА - это один из частных случаев СИНХРОНИЗМА? Не совсем понял о чем ты. Ну ты же понимаешь что понятие времени и связанное с ним одновременности в распределенной системе очень сложная штука? В общем случае, при конкурентной записи двумя потоками мессаджей с одинаковыми айди - нельзя между ними установить отношение happens-before. Зато, порядок поступлений мессаджей в кафку уже упорядоченная вещь, одинаковая для всех слушателей(в рамках партитиции). Если один читатель видит что мессадж а получен перед мессаджем б, то и все другие читатели будут видеть систему в таком же состоянии. В принципе абсолютно аналогично с любой nosql системой типа mongodb - разные реплики могут выдавать разный результат, но он консистентен между собой, нельзя увидеть Б перед А ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:52 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp PetroNotC Sharp mayton, Бывает практический юз кейс - найти конечное состояние клиента. А мессаги идут так: Пьян Трезв Полупьян Трезв Теперь делим это на две партиции и нету конечного)))) Так вот именно. В кафке это на первой странице туториала и написано. гарантируется ордеринг только внтури одной партитиции. Кто не понимает - сам себе злобный буратино ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:55 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
забыл ник, Ну, весь топик был сыр бор про суслика, которого никто не видел. Про пропуски. Но всем лень за автора работать и ловить суслика. Потом он слился по тихому. Наверно ошибку нашел) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 15:58 |
|
||
|
не совсем джава но вдруг. кафка.
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp забыл ник, Ну, весь топик был сыр бор про суслика, которого никто не видел. Про пропуски. Но всем лень за автора работать и ловить суслика. Потом он слился по тихому. Наверно ошибку нашел) Я если честно пару раз пробовал вчитаться и понять что там не так, но так и не осилил. Такой банальный и общий кейс, когда мессаджи тупо теряются в дефолтной конфигурации он просто невозможен в технологии такого уровня как кафка. А разбирать поток сознаний и додумывать как же там реально надо - мне тупо лень. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2020, 16:01 |
|
||
|
|
start [/forum/topic.php?fid=59&msg=40032333&tid=2120562]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
64ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
72ms |
get tp. blocked users: |
2ms |
| others: | 13ms |
| total: | 200ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
