powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / не совсем джава но вдруг. кафка.
25 сообщений из 258, страница 9 из 11
не совсем джава но вдруг. кафка.
    #40032066
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fixxer
Ордеринг это вообще очень дорогое свойство. Гораздо проще идемпотенцию процессинга обеспечить.

кафка гарантирует ордеринг в рамках одного ключа (он же равен одной партиции) мне этого достаточно. если разные ключи будут прилетать в разном ордере - к этому система толерантна.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032091
Фотография fixxer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
(он же равен одной партиции)


Это ересь. Ордеринг гарантируется в рамках партиции. Партиция определяется по хеш-функции ключа, поэтому записи с одним ключом попадают в одну партицию. Но знак равенства между этими понятиями нельзя ставить.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032112
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,
Hello world когда будет?
А то все что ты не скажешь - двойка получается.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032177
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
andreykaT,
Hello world когда будет?
А то все что ты не скажешь - двойка получается.


Так уже разобрались вроде.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032178
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vimba
PetroNotC Sharp
andreykaT,
Hello world когда будет?
А то все что ты не скажешь - двойка получается.

Так уже разобрались вроде.

Где?
Ссыль дай.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032243
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fixxer
andreykaT
(он же равен одной партиции)


Это ересь. Ордеринг гарантируется в рамках партиции. Партиция определяется по хеш-функции ключа, поэтому записи с одним ключом попадают в одну партицию. Но знак равенства между этими понятиями нельзя ставить.

с чего вдруг? ордеринг гарантируется партицией один ключ попадает всегда в одну партицию. =>
ордеринг в рамках ключа гарантирован. т.е. если A = B и B = C то A = C или у тебя по ключу пришли три сообщения вчера сегодня завтра ты их назад и прочитаешь вначале вчера потом сегодня потом завтра. если без ключей начнешь накидывать в мультипартиционный топик - то там как карта ляжет.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032284
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,
>если....
Угу. Гарантируется, но вот если.... И поехало.
- если публикатор одини тот же
- если партиции по ключу который нужен и осмысленен
- если стратегия по хешу ключа
- если публикатор не указал Сам партицию... Другую.
...
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032289
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
andreykaT,
>если....
Угу. Гарантируется, но вот если.... И поехало.
- если публикатор одини тот же
- если партиции по ключу который нужен и осмысленен
- если стратегия по хешу ключа
- если публикатор не указал Сам партицию... Другую.
...

Не, тут ты уже отсебятину понес. Каждый ключ попадает в один партитишен, ордеринг внутри партитишена гарантируется кафкой, тут андрон прав.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032294
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,

Про публикаторов только что прочитал.
Если их несколько то не гарантируется.
2. Другую партицию можно?
my:23:345
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032296
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
забыл ник,

Про публикаторов только что прочитал.
Если их несколько то не гарантируется.

Пруф
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032299
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В Кафке сообщения с одним и тем же ключом, от одного и того же производителя, доставляются потребителю по порядку
https://coderoad.ru/29820384/Apache-порядок-сообщений-Кафки-с-несколькими-разделами
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032301
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
my:23:345
345 это адрес партиции.
Тогда должен нарушится порядок
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032303
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
В Кафке сообщения с одним и тем же ключом, от одного и того же производителя, доставляются потребителю по порядку
https://coderoad.ru/29820384/Apache-порядок-сообщений-Кафки-с-несколькими-разделами

Эмм. Что это за хрень и как это опровергает мои слова? К тому же это явная неправда - неважно сколько producer, если они пишут в одну тему. Ордеринг внутри партитишена ГАРАНТИРОВАН. ТОЧКА
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032313
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,
Ну неправда так неправда.
Пусть ты 99% прав. Без кода 100 проц не бывает)
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032315
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,
>Ордеринг внутри партитишена ГАРАНТИРОВАН. ТОЧКА
Спор был по термину ключик а не партиция.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032316
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,
Возможно они пишут асинхронно. Это имелось ввиду.
Какой уже тогда порядок то))
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032322
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
забыл ник,
Возможно они пишут асинхронно. Это имелось ввиду.
Какой уже тогда порядок то))

Не, Петр. Смотри, ключ на то и ключ, что он попадает в одну партитицию, ну точный аналог HashMap в Java. Поэтому если ключ один и тот же - то он попадет в один партитишен 100%, даже при ребалансировке. Насчет асинхронности, тут такой момент - кафка гарантирует ордеринг внутри себя, УЖЕ ПОПАВШИХ мессаджей. То что это может не совпадать с точкой зрения одновременности тех кто пишет продьюсеров - это возможно, но это только потому что те кто писал продюсеры не понимают как работает кафка и многопоточность в широком смысле.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032324
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник
PetroNotC Sharp
забыл ник,
Возможно они пишут асинхронно. Это имелось ввиду.
Какой уже тогда порядок то))

Не, Петр. Смотри, ключ на то и ключ, что он попадает в одну партитицию, ну точный аналог HashMap в Java. Поэтому если ключ один и тот же - то он попадет в один партитишен 100%, даже при ребалансировке. Насчет асинхронности, тут такой момент - кафка гарантирует ордеринг внутри себя, УЖЕ ПОПАВШИХ мессаджей. То что это может не совпадать с точкой зрения одновременности тех кто пишет продьюсеров - это возможно, но это только потому что те кто писал продюсеры не понимают как работает кафка и многопоточность в широком смысле.

Можно сказать что требование ОРДЕРИНГА - это один из частных случаев СИНХРОНИЗМА?
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032325
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,
Угу. Думаю ты прав.
Асинхронная по факту запись это должно быть за границей вопроса.
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032326
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Бывает практический юз кейс - найти конечное состояние клиента. А мессаги идут так:
Пьян
Трезв
Полупьян
Трезв
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032327
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
mayton,
Бывает практический юз кейс - найти конечное состояние клиента. А мессаги идут так:
Пьян
Трезв
Полупьян
Трезв

Теперь делим это на две партиции и нету конечного))))
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032329
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
забыл ник
пропущено...

Не, Петр. Смотри, ключ на то и ключ, что он попадает в одну партитицию, ну точный аналог HashMap в Java. Поэтому если ключ один и тот же - то он попадет в один партитишен 100%, даже при ребалансировке. Насчет асинхронности, тут такой момент - кафка гарантирует ордеринг внутри себя, УЖЕ ПОПАВШИХ мессаджей. То что это может не совпадать с точкой зрения одновременности тех кто пишет продьюсеров - это возможно, но это только потому что те кто писал продюсеры не понимают как работает кафка и многопоточность в широком смысле.

Можно сказать что требование ОРДЕРИНГА - это один из частных случаев СИНХРОНИЗМА?


Не совсем понял о чем ты.
Ну ты же понимаешь что понятие времени и связанное с ним одновременности в распределенной системе очень сложная штука?
В общем случае, при конкурентной записи двумя потоками мессаджей с одинаковыми айди - нельзя между ними установить отношение happens-before. Зато, порядок поступлений мессаджей в кафку уже упорядоченная вещь, одинаковая для всех слушателей(в рамках партитиции). Если один читатель видит что мессадж а получен перед мессаджем б, то и все другие читатели будут видеть систему в таком же состоянии. В принципе абсолютно аналогично с любой nosql системой типа mongodb - разные реплики могут выдавать разный результат, но он консистентен между собой, нельзя увидеть Б перед А
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032331
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
PetroNotC Sharp
mayton,
Бывает практический юз кейс - найти конечное состояние клиента. А мессаги идут так:
Пьян
Трезв
Полупьян
Трезв

Теперь делим это на две партиции и нету конечного))))

Так вот именно. В кафке это на первой странице туториала и написано. гарантируется ордеринг только внтури одной партитиции. Кто не понимает - сам себе злобный буратино
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032333
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,
Ну, весь топик был сыр бор про суслика, которого никто не видел. Про пропуски.
Но всем лень за автора работать и ловить суслика.
Потом он слился по тихому. Наверно ошибку нашел)
...
Рейтинг: 0 / 0
не совсем джава но вдруг. кафка.
    #40032336
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
забыл ник,
Ну, весь топик был сыр бор про суслика, которого никто не видел. Про пропуски.
Но всем лень за автора работать и ловить суслика.
Потом он слился по тихому. Наверно ошибку нашел)

Я если честно пару раз пробовал вчитаться и понять что там не так, но так и не осилил. Такой банальный и общий кейс, когда мессаджи тупо теряются в дефолтной конфигурации он просто невозможен в технологии такого уровня как кафка. А разбирать поток сознаний и додумывать как же там реально надо - мне тупо лень.
...
Рейтинг: 0 / 0
25 сообщений из 258, страница 9 из 11
Форумы / Java [игнор отключен] [закрыт для гостей] / не совсем джава но вдруг. кафка.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]