Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Java [игнор отключен] [закрыт для гостей] / Как кафка понимает, что ноды в одном кластере? / 7 сообщений из 7, страница 1 из 1
09.10.2017, 17:13
    #39533593
questioner
questioner
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как кафка понимает, что ноды в одном кластере?
Читал

https://kafka.apache.org/quickstart

тут чтобы запустить 2 консумера правят server.properties

Код: java
1.
2.
3.
4.
config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1




а что если я хочу на одной машине запустить 2 кластера?

Есть догадка, что zookeeper определяет принадлежность к кластеру. Она верна?

может ли zookeeper обслуживать несколько кластеров?
может ли в рамках одного кластера быть несколько zookeeper-ов ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.10.2017, 22:26
    #39533704
vimba
vimba
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как кафка понимает, что ноды в одном кластере?
questioner,

Кафка собирается в кластер через зукипер, если хотите использовать один кластер зукипера, для множества кластеров кафки, то нужно сконфигурировать кафку так, чтобы она не писала в корень зукипера(как она это делает по умолчанию), а использовало поддерево, уникальное для каждого кластера.
Чтобы настроить поддерево зукипера, смотрите документацию к опции "zookeeper.connect", а конкретно абзац про "chroot".

Соответсвенно запустить несколько кластеров кафки на одной машине, не сложнее чем несколько нод одного кластера, айдишники нод должны быть уникальны только в рамках одного кластера, каждый кластер должен использовать свое поддерево в зукипере.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.10.2017, 10:55
    #39533899
questioner
questioner
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как кафка понимает, что ноды в одном кластере?
vimba,

Но если не вдаваться в такие дебри, то если у части нод кафки указать один инстанс зукипера, а у другой части - второй зукипер, то это будут 2 кластера кафки?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.10.2017, 11:06
    #39533904
vimba
vimba
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как кафка понимает, что ноды в одном кластере?
questioner,

Если это инстансы одного и того же кластера зукипера, то нет, дерево же у них общее.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.10.2017, 15:40
    #39534139
questioner
questioner
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как кафка понимает, что ноды в одном кластере?
vimbaquestioner,

Если это инстансы одного и того же кластера зукипера, то нет, дерево же у них общее.

ok. а как понять два зукипера отдельные или относятся к одному кластеру?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.10.2017, 15:58
    #39534162
vimba
vimba
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как кафка понимает, что ноды в одном кластере?
questioner,

если ты специально их в кластер не объединял, то каждая нода зукипера будет сама по себе.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.10.2017, 16:10
    #39534183
questioner
questioner
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как кафка понимает, что ноды в одном кластере?
vimba,

ok, понял, спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Java [игнор отключен] [закрыт для гостей] / Как кафка понимает, что ноды в одном кластере? / 7 сообщений из 7, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 327ms
Закрыть
start [/forum/topic.php?fid=59&tablet=1&tid=2122544]:
 0ms
get settings:
 7ms
get forum list:
 17ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 26ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 33ms
get tp. blocked users:
 1ms
others: 227ms
total:  327ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]