ReSQL.ru
     
powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / не совсем джава но вдруг. кафка.
25 сообщений из 258, страница 10 из 11
  10  все
не совсем джава но вдруг. кафка.
    #40032337
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vimba
Участник
PetroNotC Sharp
vimba
пропущено...

Так уже разобрались вроде.

Где?
Ссыль дай.

воть
...
Рейтинг: 0 / 0
29.12.2020, 16:05
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032338
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vimba
Участник
забыл ник
PetroNotC Sharp
andreykaT,
>если....
Угу. Гарантируется, но вот если.... И поехало.
- если публикатор одини тот же
- если партиции по ключу который нужен и осмысленен
- если стратегия по хешу ключа
- если публикатор не указал Сам партицию... Другую.
...

Не, тут ты уже отсебятину понес. Каждый ключ попадает в один партитишен, ордеринг внутри партитишена гарантируется кафкой, тут андрон прав.

Нет, Петька прав. Если publisher явно указал партицию, то ключ игнорируется. Вернее как игнорируется - в рекород то он пишется и его можно прочитать потом на консумере, но вот на то в какую партицию попадёт мессаджк ключ уже никак не влияет.
...
Рейтинг: 0 / 0
29.12.2020, 16:08
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032340
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vimba
Участник
PetroNotC Sharp
забыл ник,
Ну, весь топик был сыр бор про суслика, которого никто не видел. Про пропуски.
Но всем лень за автора работать и ловить суслика.
Потом он слился по тихому. Наверно ошибку нашел)

Да не слился. Консенсус найден, честь кафки восстановлена.
...
Рейтинг: 0 / 0
29.12.2020, 16:09
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032341
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
vimba
забыл ник
пропущено...

Не, тут ты уже отсебятину понес. Каждый ключ попадает в один партитишен, ордеринг внутри партитишена гарантируется кафкой, тут андрон прав.

Нет, Петька прав. Если publisher явно указал партицию, то ключ игнорируется. Вернее как игнорируется - в рекород то он пишется и его можно прочитать потом на консумере, но вот на то в какую партицию попадёт мессаджк ключ уже никак не влияет.

Я пропустил это. Согласен. Хотя никогда явно не указывал партитицию и даже не представляю когда это может быть нужно
...
Рейтинг: 0 / 0
29.12.2020, 16:11
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032344
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vimba
Участник
забыл ник,

это редкий кейс, но иногда нужен, я раза два за свою жизнь воспользовался.
...
Рейтинг: 0 / 0
29.12.2020, 16:13
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032359
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
vimba,
Я фигею.
Включить архивирование или сжатие и спрашивать про дырки?
Да. Клиника.
...
Рейтинг: 0 / 0
29.12.2020, 16:41
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032367
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
vimba,
Ну, мы сжатие бы увидели в логах если бы ТС умел разговаривать или демо представить.
А вот ты как догадался про
cleanup.policy - > compact
?)))
...
Рейтинг: 0 / 0
29.12.2020, 16:55
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032376
vimba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vimba
Участник
PetroNotC Sharp,

ТС первом сообщении об этом написал :-) просто никто не обратил на это сразу внимание(я тоже), ибо глаз там сразу цепляется на наезд на то что кафка теряет сообщения.
...
Рейтинг: 0 / 0
29.12.2020, 17:14
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032379
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
с моей стороны вопрос был номер раз: могут ли оффсеты прыгать? ответ - могут.
могут ли при этом "теряться" сообщения по ключу (при компакте ат лист один остается) - ответ нет.
то есть сам ап - прыгающие оффсеты не означает теряющиеся мессаджи.

то что в моей конфиге что то не так это уже моя конфига. основные утверждения я разобрал. вопросы к конфиге остались.

лог я вычитал лог тоже не отражает то что должен но как минимум он является точкой отсчета. то есть количество уникальных ключей должно быть одинаковым что в логе что в моем приложении. если я этого достиг то мой код - корректен.

остальное - частности.
...
Рейтинг: 0 / 0
29.12.2020, 17:19
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032381
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
PetroNotC Sharp
vimba,
Я фигею.
Включить архивирование или сжатие и спрашивать про дырки?
Да. Клиника.

петя ты усирался чуть выше что этого не может быть. теперь включил дурачка и говоришь да этож очевидно. :)
...
Рейтинг: 0 / 0
29.12.2020, 17:21
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032386
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
andreykaT,
Если человек грязный, матерится, сморкается и постоянно ловит 10млн записей, то его посты никто не читает. Ну почти никто. Через пять дней кто вник а кто мимо прошел.
Ваш кэп.
...
Рейтинг: 0 / 0
29.12.2020, 17:32
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032387
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
vimba,
))
...
Рейтинг: 0 / 0
29.12.2020, 17:32
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032389
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
andreykaT,
<прыгающие оффсеты не означает теряющиеся мессаджи.
Отправить частями "мама мыла раму" это верх разума для прогера)))))))
...
Рейтинг: 0 / 0
29.12.2020, 17:36
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032442
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
PetroNotC Sharp
andreykaT,
Если человек грязный, матерится, сморкается и постоянно ловит 10млн записей, то его посты никто не читает. Ну почти никто. Через пять дней кто вник а кто мимо прошел.
Ваш кэп.

ну да и видно что ты до сих пор не в теме раз тут топчешься постоянно и без толку :)
...
Рейтинг: 0 / 0
29.12.2020, 21:00
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40032453
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
andreykaT,
Скажи, зачем ты миллион сообщений ловил?)))))))
Вот сказано 13 декабря. Сегодня 29 декабря
22247370
Тебе не стыдно?
Теперь этот топик будет преследовать тебя всю жизнь.
...
Рейтинг: 0 / 0
29.12.2020, 21:53
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033599
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
короче все по цифрам сходится. и в бд и в сете и в логе и в консольном консамере и в моей халабуде на вертиксе.
...
Рейтинг: 0 / 0
05.01.2021, 13:55
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033603
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
но по поводу вертикса там всё же есть проблема с потерей где он тупо игнорирует блокинг код к исполнению. пока не ковырял. если вкратце если он долго исполняется то он по ходу просто в очередь следующий код к исполнению не ставит вообще. полечил тем что уменьшил набор данных к обработке чтоб было чаще но меньше, чем реже но дольше. понятно решение такое себе. копаю дальше в умеренном темпе.
...
Рейтинг: 0 / 0
05.01.2021, 13:59
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033670
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
andreykaT
короче все по цифрам сходится. и в бд и в сете и в логе и в консольном консамере и в моей халабуде на вертиксе.

Оно бы сошлось и на первой странице, если бы выложил пример с проблемой.
С конфигом в рантайме для hello world а не твоей портянкой.
...
Рейтинг: 0 / 0
05.01.2021, 18:00
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033674
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
andreykaT
но по поводу вертикса там всё же есть проблема с потерей где он тупо игнорирует блокинг код к исполнению. пока не ковырял. если вкратце если он долго исполняется то он по ходу просто в очередь следующий код к исполнению не ставит вообще. полечил тем что уменьшил набор данных к обработке чтоб было чаще но меньше, чем реже но дольше. понятно решение такое себе. копаю дальше в умеренном темпе.

Это очень напоминает игры с TCP/IP протоколом где большое окно - плохо. Потери сегментов. Малое окно - тоже плохо.
Излишний acknowlegde трафик.

Очень плохо конечно что мы в топике воеваели не с Кафкой а с какойто неведомой гребаной фигней под названием
вертикс.

Грустно терять время. Все таки постарайся постить вопросы не в формате блогов а более конкретно расписывая условия.
Понимаю что тебе лень. Но твоя лень обычно оборачивается боком.
...
Рейтинг: 0 / 0
05.01.2021, 18:40
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033698
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton,
Не вертикс. С петей он воевал.
Он включил архивирование-пакетирование топиков. При нем убираются все сообщения кроме последнего. Отсюда дырки в нумерации.
...
Рейтинг: 0 / 0
05.01.2021, 21:11
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033706
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Кстати в качестве следующего пятничного предлагаю поднять банальный вопрос.
Почему на 100 Мбит интерфейсе Ethernet мы никогда не достигаем этой скорости скачивания
для TPC/IP протокола.

Я эту тему спецом не хочу поднимать в Unix/Windows. Там сидят зануды и фарисеи которые только щеки надувают.
Вроде экспертиза есть а шаг влево и шаг вправо - они уже померли. Молчат и глазами моргают. Креатива - ноль.

Поэтому мне эту тему с программистами интереснее чем с админами обсуждать.

Этот-же вопрос релевантен и к 2.5/5 Ггц Wifi. Там тоже куча нюансов.
...
Рейтинг: 0 / 0
05.01.2021, 22:10
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033759
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Потому, что Ethernet это среда с конкурентным доступом и механизмом разрешения конфликтов.
"100 мегабит" это "физическая" скорость передачи, которая определяется "радиочастотными" характеристиками передатчика.
Протокол требует передать преамбулу, заголовки Ehternet, полезную нагрузку, контрольную сумму и "выдержать паузу" между передачей следующего пакета. Унаследованные со времён пассивных повторителей характеристики протокола ограничивают минимальный размер Ethernet-пакета величиной 512 бит.
Аккуратный учёт накладных расходов Ethernet (без учёта накладных расходов протоколов более высокого уровня) и ограничивает пропускную способность канала. Которая, внезапно, зависит от размера пакета (межпакетный интервал строго фиксирован).
Плюс арбитраж при одновременной работе нескольких передатчиков с одним приёмником. Сегодня этот арбитраж весьма эффективен, но расходы на него, всё-таки, ненулевые.

P.S.
"Щёки надувают" не потому, что снобы, а потому, что всё это давным-давно изложено в популярных книжках.
Нет тут предмета для обсуждения - надо просто "взять и п(р)очитать".
Лично я купил в своё время ISBN 5-7315-0014-2, а сильно позже, "где-то в сети", мне попадался неплохой обзор особенностей и отличий гигабитного Ethernet.
...
Рейтинг: 0 / 0
06.01.2021, 07:17
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033763
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
mayton
Почему на 100 Мбит интерфейсе Ethernet мы никогда не достигаем этой скорости скачивания
для TPC/IP протокола.
возьми "источник" с ssd, и 1Гб сетевухой
поставь хаб 100Мб
возьми "приемник" с ssd и 1Гб сетевухой
качай киношку в 10Гб
проверь

при скачивании ютуба мне удавалось получит скорость 90+
...
Рейтинг: 0 / 0
06.01.2021, 09:05
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033781
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Э как вас всех расколбасило. Значит тема резонирует. Можно поговорить про всякие окошковые алгоритмы и их настройки.
...
Рейтинг: 0 / 0
06.01.2021, 11:39
| Ответить | Цитировать | Написать  
не совсем джава но вдруг. кафка.
    #40033783
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Андрей Панфилов
Участник
mayton
Э как вас всех расколбасило. Значит тема резонирует. Можно поговорить про всякие окошковые алгоритмы и их настройки.


да не интересно, у нас вон в далеком 2004 году дедушка-хакер читал курс по сетям, у него еще тогда (думаю нужно еще лет 5 отнять) были подозрения что что-то не так: http://book.itep.ru/4/44/new_tcp.htm, а ты в 2021 про 100Mbps задвигаешь
...
Рейтинг: 0 / 0
06.01.2021, 11:48
| Ответить | Цитировать | Написать  
25 сообщений из 258, страница 10 из 11
  10  все
Форумы / Java [игнор отключен] [закрыт для гостей] / не совсем джава но вдруг. кафка.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=40033698&tid=2120562]:
 0ms
get settings:
 26ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 44ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 501ms
get tp. blocked users:
 1ms
others: 303ms
total:  902ms
созд. / загр.: 902ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]