|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
С лекции Алименкова можно понять все мессенжинговые системы предлагают просто баланс между скоростью и гарантией. По сути хочешь гарантий - включай опции persistence на максимум. Кстати - совет объединять месседжи в пачки на логическом уровне - и посылать как 1 - хороший совет. Особенно там где просто идет репликация. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.12.2020, 14:00 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
mayton hck2 пропущено... я размышляю на счет spark + kafka, но еще не уверен, что готов именно админить кафку. если сломается оракл или mysql, я знаю что такое redo, как починить в любой ситуации. просто запустить кафку по инструкции не выйдет, надо понимать куда бежать, если она поломается. Полностью поддерживаю это беспокойство. Если ломается БД - у нас есть 100% документированные механизмы восстановления незакоммиченных данных и главное... есть саппорт и есть вменяемая оценка по срокам. В случае с кафкой, как мы видим у джавистов - нулевой опыт восстановления сбойных хранилищ. И тут любое неверное движение или неверно понятая документация - и данные ресетнулись и месседжинг покатился с нуля. А возможностей прокачать подобный опыт у джавистов мало - т.к. технологий очень много а ситуации когда надо восстанавливать файловые структуры - бывают редко. По срокам тут - вообще непонятно. Продуктовая система не может стоять на паузе пока джависты делают investigation что за ситуация и как вообще из нее выходить. И главное где провисли эти сообщения и как их восстановить если какой то API радостно сообщает сто сбой контрольной суммы файла или блока и что дальше делать непонятно. Согласен, если оставаться просто джавистом, далеко не уедешь. ) Лучше стать разработчиком. Управление восстановлением в Кафке, конечно, требует некоторого погружения в тему. Но в целом, как сказано далее, это компромисс между скоростью и надежностью. Можно увеличить, к примеру, в настройках количество реплик, помня об издержках репликации. Или ask установить на all (что снизит пропускную способность). А потом подключить мониторинг метрик (к примеру, Графану/Прометеус) и посмотреть, как это скажется на производительности. Можно найти и другие технологии работы с очередями. Но по-любому, придется "вылезать из скорлупы" и юзать окружение: докеры-"шмокеры" и прочее. На одной джаве и реляционных базах не удасться продержаться сейчас. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.12.2020, 22:08 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
hck2 я размышляю на счет spark + kafka, но еще не уверен, что готов именно админить кафку. если сломается оракл или mysql, я знаю что такое redo, как починить в любой ситуации. просто запустить кафку по инструкции не выйдет, надо понимать куда бежать, если она поломается. Если кафка пугает, можно Spring Cloud Stream RabbitMq. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.12.2020, 22:11 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
Полностью поддерживаю это беспокойство. Если ломается БД - у нас есть 100% документированные механизмы восстановления незакоммиченных данных и главное... есть саппорт и есть вменяемая оценка по срокам. В случае с кафкой, как мы видим у джавистов - нулевой опыт восстановления сбойных хранилищ. И тут любое неверное движение или неверно понятая документация - и данные ресетнулись и месседжинг покатился с нуля. А возможностей прокачать подобный опыт у джавистов мало - т.к. технологий очень много а ситуации когда надо восстанавливать файловые структуры - бывают редко. По срокам тут - вообще непонятно. Продуктовая система не может стоять на паузе пока джависты делают investigation что за ситуация и как вообще из нее выходить. И главное где провисли эти сообщения и как их восстановить если какой то API радостно сообщает сто сбой контрольной суммы файла или блока и что дальше делать непонятно. Согласен, если оставаться просто джавистом, далеко не уедешь. ) Лучше стать разработчиком. Управление восстановлением в Кафке, конечно, требует некоторого погружения в тему. Но в целом, как сказано далее, это компромисс между скоростью и надежностью. Можно увеличить, к примеру, в настройках количество реплик, помня об издержках репликации. Или ask установить на all (что снизит пропускную способность). А потом подключить мониторинг метрик (к примеру, Графану/Прометеус) и посмотреть, как это скажется на производительности. Можно найти и другие технологии работы с очередями. Но по-любому, придется "вылезать из скорлупы" и юзать окружение: докеры-"шмокеры" и прочее. По-любому придется столкнуться.[/quot] ... |
|||
:
Нравится:
Не нравится:
|
|||
26.12.2020, 22:12 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
hck2 и еще есть такой вопрос, допустим апп1 пишет в один единственный топик кафки, апп2 читает этот топик, но у меня такой нюанс, что в сделке 100 позиций товара, я пытаюсь сохранить остаток товара в момент создания сделки. для этого я делаю запрос на сущность сделки и 100 запросов в на каждую позицию в сделке, что бы выяснить остаток в сущности товар. вероятно мне нужно 2 топика, в первом от апп1, одно сообщение, во втором 101 сообщение. выходит апп2 будет само себе сообщение слать. как-то ... не понял, почему само себе будет слать. Можете более детально обрисовать? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.12.2020, 00:12 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
Кофейник2 Если кафка пугает, можно Spring Cloud Stream RabbitMq. а у кролика что-то сильно проще в плане починки ? Кофейник2 не понял, почему само себе будет слать. Можете более детально обрисовать? пользователь б24 создал сделку, в сделке 100 позиций. апп1 получает одно сообщение - добавилась запись в сущность сделка. апп2 обрабатывая это одно сообщение теперь должно вытянуть много деталей. 1 рест запрос в б24 за сделкой и 100 за каждым товаром. если я переделываю на настоящие очереди, то наверно было бы логично и в сторону б24 запросы выстраивать какую-то (вторую) очередь. тогда появится возможность как-то регулировать нагрузку в сторону б24. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.12.2020, 12:16 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
hck2, >пользователь б24 создал сделку, в сделке 100 позиций Это одна бизнес транзакция с б24 на бэк java. Сразу один json с массивом 100 на POST. Разберитесь, есть ли событие такое в б24. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 07:45 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
> а у кролика что-то сильно проще в плане починки ? Давайте сначала ФУНКЦИОНАЛ по ТЗ ГОСТ п. 3, потом починки. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 07:46 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
hck2, >сторону б24 запросы выстраивать Не торопитесь отвечать. У вас очередь ответов тоже встала. Так выше спрашивалось - можно ли подписаться на события От битрикса? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 07:50 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
PetroNotC Sharp > а у кролика что-то сильно проще в плане починки ? Давайте сначала ФУНКЦИОНАЛ по ТЗ ГОСТ п. 3, потом починки. Давайте поднимем пред-новогодний топик о том как "готовить кролятину" Rabbit. Я давно хотел его поднять локально и поразбираться. Тем более что он нормально поддерживает AMQP и вроде бы быстрее чем Apache-Active. Кроме того у меня есть отдельный эстетический интерес посмотреть на этот софт. Ведь он написан на Erlang. А эта технология вызывала у меня всегда изумление. Топик думаю поднять 30-31 числа. +Напишите ваши вопросы. Я просто их включу в повестку. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 12:40 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
mayton, - четкие шаги для достижения hello world. - четкие шаги для достижения первого насыщения очереди. Что имел автор под сбоями я не понял. Увы. Пока имхо это оффтоп. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 12:46 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
Имеется в виду такой тривиальный пример? А что такое насыщение очереди в терминологии AMQP ? Если будет включен персистенс очередь (наверное) насытится тогда когда у вас диск закончится. Нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 13:11 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
mayton, 1. Наверно. В кафке есть консоль публикатора и консоль подписчика. И есть скрин раб стола где они рядом. В левом пишем месс и в правом появилось))))) Волшебно!))) 2. В кафке это время на сколько можно выписать больничный подписчику и он ничего не пропустит ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 13:45 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
mayton очередь (наверное) насытится тогда когда у вас диск закончится. Нет? -1 Мессаги хранятся не вечно. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 13:47 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
hck2 а у кролика что-то сильно проще в плане починки ? в Кафке больше компонентов. Поэтому, на мой взгляд, больше возможных сценариев сбоя. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 14:29 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mayton, 1. Наверно. В кафке есть консоль публикатора и консоль подписчика. И есть скрин раб стола где они рядом. В левом пишем месс и в правом появилось))))) Волшебно!))) 2. В кафке это время на сколько можно выписать больничный подписчику и он ничего не пропустит Сложно как-то все. Я-же не собираюсь подстраивать кролика под Kafka. Это - глупо. А если у месседжей есть TTL - то давай посмотрим какой он по умолчанию. Или если есть dead letter queue то посмотрим как долго там лежит мусор без уборки. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 14:30 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
Кстати Кафка мне здесь не нравится тем что она слишком уж ... нестандартная. Я для себя рисовал такую картинку несколько месяцев назад. И видно что в протокольной части кафки есть некие белые пятна. У нее - другая терминология. Другие принципы. И по этой причине я считаю что выстроить точное сравнение между технологиями нам будет очень сложно. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 14:32 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
hck2 пользователь б24 создал сделку, в сделке 100 позиций. апп1 получает одно сообщение - добавилась запись в сущность сделка. апп2 обрабатывая это одно сообщение теперь должно вытянуть много деталей. 1 рест запрос в б24 за сделкой и 100 за каждым товаром. если я переделываю на настоящие очереди, то наверно было бы логично и в сторону б24 запросы выстраивать какую-то (вторую) очередь. тогда появится возможность как-то регулировать нагрузку в сторону б24. По-любому очередь в вашем случае будет двунаправленной. Я это изначально предполагал, но теперь в этом все больше убеждаюсь. Я так понимаю, б24 будет возвращать апп2 данные по 100 товарам одним пакетом? Это было бы логично. И если так, то в единицу времени б24 будет принимать гораздо больше запросов от апп2, чем апп2 ответов от б24. В случае кафки здесь два топика. В разделы первого апп2 записывает сообщения, читаемые б24. В разделы второго б24 уже записывает ответы, читаемые апп2. Ну, если я правильно понял ваш замысел. Кстати, а принципиально, чтобы апп2 читал ответы от б24 в том же порядке, в каком направляет в нее запросы? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 14:38 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
mayton, Что именно сложно? Скрин с двумя прогами или то что есть параметр сколько хранить мессагу??? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 14:40 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
Кофейник2, Ну дак всегда, апп будет иметь публикатор и подписчик одновременно. Что за приложение без событий? Особенно клиент на битрикс ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 14:43 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
mayton, Ты так закопаешься. Надо сначала запустить hello world. А потом по кусочкам сравнивать. Я не увидел где кафка ДРУГАЯ. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 14:47 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
Кофейник2, >Кстати, а принципиально, чтобы апп2 читал ответы от б24 в том же порядке, в каком направляет в нее запросы? Думаю порядок не важен. Иначе себе вредить. Есть же rest без всякого порядка и состояния ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 14:50 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
PetroNotC Sharp mayton, Ты так закопаешься. Надо сначала запустить hello world. А потом по кусочкам сравнивать. Я не увидел где кафка ДРУГАЯ. Ну во первых - терминология. В Rabbit есть понятие Exhange. Сущность со своими свойствами и настройками. Где аналог Exchange в Кафка? Это - топология путешествия будущиех сообщений. Это - важно. Это архитектурный вопрос. И я не могу просто так без обсуждения взять его и проигнорировать. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 15:10 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
mayton, Имхо, в топике это не важно. Иначе никогда не двинемся. Это как JPA против БД. Взяло и половину выкинуло. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 15:14 |
|
Tomcat из Spring boot перестает отвечать
|
|||
---|---|---|---|
#18+
Далее. В кафке есть partitioning. Ее главная киллер-фича благодаря которой обеспечивается почти бесконечное масштабирование. И благодаря которой у Андрейки не сходится бухгалтерия. Что есть подобного в Rabbit? Clustering? https://www.rabbitmq.com/clustering.html Может быть. Давай обсудим это ТО ЖЕ самое или не то. Для меня это - важно. И мне непонятно почему тебе просто хочется создать превед-мир. Ну даже если мы его создадим на кролике то это ничего не доказывает. А чтобы доказат какое-то свойство сложной системы - надо ее сконфигурировать правильно. Иначе мы будем как школьники. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2020, 15:15 |
|
|
start [/forum/topic.php?fid=59&msg=40031792&tid=2120566]: |
0ms |
get settings: |
24ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
48ms |
get topic data: |
8ms |
get forum data: |
3ms |
get page messages: |
462ms |
get tp. blocked users: |
2ms |
others: | 319ms |
total: | 886ms |
0 / 0 |