ReSQL.ru
     
powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
25 сообщений из 228, страница 7 из 10
  7  все
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102599
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Андрей Панфилов
Участник
Roman Osipov
Number of queues
Queues are single-threaded in RabbitMQ, and one queue can handle up to about 50 thousand messages. You will achieve better throughput on a multi-core system if you have multiple queues and consumers and if you have as many queues as cores on the underlying node(s).


а что это за история по 50 тыс. сообщений в очереди? Я консьюмера на пару часов выключил и все по бороде пошло?
...
Рейтинг: 0 / 0
07.10.2021, 10:53
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102600
Roman Osipov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Osipov
Гость
PetroNotC Sharp, Ну да. Как писал ранее - если вам не нужна отказоустойчивость, скорость и горизонтальное масштабирование, то Rabbitmq вполне оправданный выбор.
...
Рейтинг: 0 / 0
07.10.2021, 10:59
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102612
Roman Osipov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Osipov
Гость
Андрей Панфилов
Roman Osipov
Number of queues
Queues are single-threaded in RabbitMQ, and one queue can handle up to about 50 thousand messages. You will achieve better throughput on a multi-core system if you have multiple queues and consumers and if you have as many queues as cores on the underlying node(s).


а что это за история по 50 тыс. сообщений в очереди? Я консьюмера на пару часов выключил и все по бороде пошло?


Здесь не подскажу. Не ставил таких экспериментов. Можно только догадываться - в туториале написано что максимальная производительность будет при пустых очередях, может размер очереди тоже как-то сказывается на производительности.
...
Рейтинг: 0 / 0
07.10.2021, 11:15
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102613
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Вот на 7-й странице топика начинает наклевываться некий бенчмарк.
...
Рейтинг: 0 / 0
07.10.2021, 11:16
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102616
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
mayton
Эрланг проектировался в далекие 80-е когда мультизадачность была основана не на потоках а на более примитивных сущностях.
Это как это так???Прерывания ввода-вывода. Корутины.Это вы так кооперативную многозадачность обозвали? Да, была популярна, но имеются серьёзные проблемы с диспетчеризацией.В идеале если на вход сетевого интерфейса ничего не поступает то и Erlang-потоки должны потреблять абсолютный ноль мегафлопов."Импоссибиль" - select() BSD Socket API (а в те самые восьмидесятые лучше ещё не было) далеко не бесплатен. И чем больше опрашиваемых сокетов - тем хуже.
А кооперативная многозадачность может подарить массу неприятных сюрпризов при сетевых проблемах (packet loss и вот это вот всё).
...
Рейтинг: 0 / 0
07.10.2021, 11:29
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102622
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Basil A. Sidorov

"Импоссибиль" - select() BSD Socket API (а в те самые восьмидесятые лучше ещё не было) далеко не бесплатен. И чем больше опрашиваемых сокетов - тем хуже.

Да но эксперимент Осипова проводится не в восьмидесятых.

А что под капотом select() может влиять на оплату? Я имею в виду при условии 5000 октрытых сокетов.
...
Рейтинг: 0 / 0
07.10.2021, 11:37
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102646
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Roman Osipov
PetroNotC Sharp, Ну да. Как писал ранее - если вам не нужна отказоустойчивость, скорость и горизонтальное масштабирование, то Rabbitmq вполне оправданный выбор.
можно ничего не знать про сабж, но по вашему посту видно что вы предвзяты.
Написали только отрицательное.
...
Рейтинг: 0 / 0
07.10.2021, 12:18
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102658
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
mayton
А что под капотом select() может влиять на оплату?
O(n) проверок состояния каждого из n сокетов.
...
Рейтинг: 0 / 0
07.10.2021, 12:45
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102659
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Basil A. Sidorov
mayton
А что под капотом select() может влиять на оплату?
O(n) проверок состояния каждого из n сокетов.

Этож печаль печальная. На вход сетевой карты заходит Ethernet frame. Мы могли-бы уже его сразу
взять в работу. Но вместо этого мы проставляем какие-то статусы. И инициируем работу объемом в o(n),
хотя по смыслу нам-бы хватило o(1).
...
Рейтинг: 0 / 0
07.10.2021, 12:48
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102670
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mayton

Почему соврменные JMS/MQ системы незаменимы?


MQ скрывают сетевой слой.
Вот ты отправил запрос.
А он дошёл?
А ответ?
А если ошибка в сетевом слое?
А если ошибка в сервере- что делать? Отправлять заново?
А если нам только сказать - то почему мы должны ждать когда сервер очухается и тыкаться в труп?
А если сервер после падения поменяет свой IP-адрес - как мы сможем корретно повторить отправку недоставленного сообщения?
Там ещё есть сообщения - типа прокси разных и т.п.

Вот на все эти вопросы MQ ответила за нас (хорошо или нет- другой вопрос).

PS: О чём вы тут 7 страниц пишете- я не понимаю.
...
Рейтинг: 0 / 0
07.10.2021, 13:03
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102680
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Alexey Tomin

PS: О чём вы тут 7 страниц пишете- я не понимаю.

Шатаешь основы?

Ну ты мог сразу сказать. Поскольку задача двух генералов не имеет решения то и все ваши очереди это фигня
полная и они работать не могут. И TCP тоже работать не может.

А ааботают не благодаря - а вопреки.

Не?
...
Рейтинг: 0 / 0
07.10.2021, 13:11
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102681
Roman Osipov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Osipov
Гость
Alexey Tomin
mayton

Почему соврменные JMS/MQ системы незаменимы?


MQ скрывают сетевой слой.
Вот ты отправил запрос.
А он дошёл?
А ответ?
А если ошибка в сетевом слое?
А если ошибка в сервере- что делать? Отправлять заново?
А если нам только сказать - то почему мы должны ждать когда сервер очухается и тыкаться в труп?
А если сервер после падения поменяет свой IP-адрес - как мы сможем корретно повторить отправку недоставленного сообщения?
Там ещё есть сообщения - типа прокси разных и т.п.

Вот на все эти вопросы MQ ответила за нас (хорошо или нет- другой вопрос).

PS: О чём вы тут 7 страниц пишете- я не понимаю.
]

Вы живете в каком-то идеальном мире. Ну никак MQ не отвечает на эти вопросы. Т.к. брокер тоже может упасть, поменять адрес и т.д.
...
Рейтинг: 0 / 0
07.10.2021, 13:13
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102686
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Roman Osipov
Т.к. брокер тоже может упасть,
какой брокер?
Топик про МОМ. Это промежуточный слой между ПРИЛОЖЕНИЯМИ.
Если приложение проспало завтрак, то его подадут ему позже.
...
Рейтинг: 0 / 0
07.10.2021, 13:27
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102687
Roman Osipov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Osipov
Гость
Roman Osipov, Я вам такую вещь скажу - там где можно обходиться без МОМ, надо обходиться без МОМ, не надо вводить лишнюю точку отказа и мониторинга.

А приходится вводить в следующих случаях:
- системы не могут интегрироваться с собой напрямую - либо протоколы не позволяют, либо формат не подогнать;
- из-за ограничений производительности систем. Например тысячи клиентов одновременно шлют сообщения, которые надо записать в БД. Если каждое в отдельной транзакции писать, то БД умрет - поэтому надо батчами работать, буферизировать в очередях;
- если надо делать какую-то массовую рассылку. Реализовывать логику рассылки на источнике не очень идея, т.к. при добавлении потребителей на других протоколах надо будет источник дорабатывать.

Можете дополнять список.
...
Рейтинг: 0 / 0
07.10.2021, 13:28
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102689
Roman Osipov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Osipov
Гость
PetroNotC Sharp
Roman Osipov
Т.к. брокер тоже может упасть,
какой брокер?
Топик про МОМ. Это промежуточный слой между ПРИЛОЖЕНИЯМИ.
Если приложение проспало завтрак, то его подадут ему позже.


Ну не нравится термин брокер, то перефразирую - MOM может отказать.
...
Рейтинг: 0 / 0
07.10.2021, 13:29
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102692
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Друзья. Мы еще даже не добрались до кластеров и кворумов. А вы уже подрались.

Подождите. Вот там где точно драка будет.
...
Рейтинг: 0 / 0
07.10.2021, 13:39
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102698
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Roman Osipov
там где можно обходиться без МОМ, надо обходиться без МОМ
конечно. Только критерии отказа от него плиз.
Можно и от автомобилей отказаться.
...
Рейтинг: 0 / 0
07.10.2021, 13:57
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102699
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Roman Osipov
Можете дополнять список.
можем.
Без МОМ ты всегда должен быть он лайн.
Тебе это и сказали выше.
А ты в бутылку полез.
...
Рейтинг: 0 / 0
07.10.2021, 13:59
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102702
Roman Osipov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Osipov
Гость
PetroNotC Sharp
Roman Osipov
Можете дополнять список.
можем.
Без МОМ ты всегда должен быть он лайн.
Тебе это и сказали выше.
А ты в бутылку полез.


Не должен. И без МОМ системы приемники могут быть оффлайн. Надо понимать, что наличие МОМ не избавляет от необходимости реализовывать очереди отправки сообщений на источнике с возможностью переотправки при отказах приемника (отказавшим приемником может быть как МОМ, так и целевая система).
...
Рейтинг: 0 / 0
07.10.2021, 14:08
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102704
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Roman Osipov,
Ну дак ты докажи.
Я пишу приложение Заказать пиццу на предприятии с 1500 человек. Есть шина ака МОМ.
Очередь вне моего приложения. И маршрутизация.
5 строчек и готово.
Разве не избавило меня от необходимости?......
...
Рейтинг: 0 / 0
07.10.2021, 14:12
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102705
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Roman Osipov,
Отказ МОМ это как лечение головной боли гильотиной.
Это оффтоп.
...
Рейтинг: 0 / 0
07.10.2021, 14:13
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102709
Roman Osipov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Osipov
Гость
PetroNotC Sharp, Легко:

- МОМ(очередь) падает/отказывает;
- при отправке в МОМ сообщения получаешь какой-нибудь Connection Timeout;
- при отсутствии на источнике очереди и переотправки переходишь к отправке следующего сообщения.

Твое сообщение потеряно, даже при наличии в архитектуре MOM.
...
Рейтинг: 0 / 0
07.10.2021, 14:17
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102712
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
Roman Osipov
Вы живете в каком-то идеальном мире. Ну никак MQ не отвечает на эти вопросы. Т.к. брокер тоже может упасть, поменять адрес и т.д.


Да. MQ должен быть ОЧЕНЬ устойчивым.
В т.ч. мы делегируем вопросы надёжности брокеру.

В этом есть логика - вместо 10 своих микросервисов, мы зависим только от одной кафки. И это повышает надёжность, если только ваша команда не круче авторов этой самой кафки :)
...
Рейтинг: 0 / 0
07.10.2021, 14:19
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102714
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Roman Osipov
PetroNotC Sharp, Легко:

- МОМ(очередь) падает/отказывает;
- при отправке в МОМ сообщения получаешь какой-нибудь Connection Timeout;
- при отсутствии на источнике очереди и переотправки переходишь к отправке следующего сообщения.

Твое сообщение потеряно, даже при наличии в архитектуре MOM.
много слов об одном.
Если МОМ требуется по архитектуре, то он либо рукописный либо ИЗ КАРОПКИ.
Ответ очевиден.
...
Рейтинг: 0 / 0
07.10.2021, 14:23
| Ответить | Цитировать | Написать  
Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
    #40102716
Roman Osipov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Roman Osipov
Гость
Alexey Tomin, Должен и будет ли - это две абсолютно разные вещи.
В идеальном мире может быть. Но у нас все может случиться и гарантий доступности МОМ/брокера на 100% никто не даст.
А если он откажет, то будут потеряны сообщения. Т.е. либо мы принимаем факт возможности потери сообщений, либо реализуем таки очередь на источнике с переотправкой.
...
Рейтинг: 0 / 0
07.10.2021, 14:23
| Ответить | Цитировать | Написать  
25 сообщений из 228, страница 7 из 10
  7  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Зачем мы вообще используем JMS/MQ системы? (четверговый топик)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=40102681&tid=2120331]:
 0ms
get settings:
 16ms
get forum list:
 5ms
check forum access:
 1ms
check topic access:
 1ms
track hit:
 35ms
get topic data:
 3ms
get forum data:
 1ms
get page messages:
 503ms
get tp. blocked users:
 0ms
others: 306ms
total:  871ms
созд. / загр.: 871ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]