powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / Tomcat из Spring boot перестает отвечать
25 сообщений из 174, страница 5 из 7
Tomcat из Spring boot перестает отвечать
    #40031382
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
С лекции Алименкова можно понять все мессенжинговые системы предлагают просто баланс
между скоростью и гарантией. По сути хочешь гарантий - включай опции persistence на максимум.

Кстати - совет объединять месседжи в пачки на логическом уровне - и посылать как 1 - хороший
совет. Особенно там где просто идет репликация.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031451
Кофейник2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mayton
hck2
пропущено...

я размышляю на счет spark + kafka, но еще не уверен, что готов именно админить кафку. если сломается оракл или mysql, я знаю что такое redo, как починить в любой ситуации. просто запустить кафку по инструкции не выйдет, надо понимать куда бежать, если она поломается.

Полностью поддерживаю это беспокойство. Если ломается БД - у нас есть 100% документированные механизмы
восстановления незакоммиченных данных и главное... есть саппорт и есть вменяемая оценка по срокам.

В случае с кафкой, как мы видим у джавистов - нулевой опыт восстановления сбойных хранилищ. И тут любое неверное
движение или неверно понятая документация - и данные ресетнулись и месседжинг покатился с нуля. А возможностей
прокачать подобный опыт у джавистов мало - т.к. технологий очень много а ситуации когда надо восстанавливать
файловые структуры - бывают редко.

По срокам тут - вообще непонятно. Продуктовая система не может стоять на паузе пока джависты делают investigation
что за ситуация и как вообще из нее выходить. И главное где провисли эти сообщения и как их восстановить если какой
то API радостно сообщает сто сбой контрольной суммы файла или блока и что дальше делать непонятно.


Согласен, если оставаться просто джавистом, далеко не уедешь. ) Лучше стать разработчиком.
Управление восстановлением в Кафке, конечно, требует некоторого погружения в тему. Но в целом, как сказано далее, это компромисс между скоростью и надежностью. Можно увеличить, к примеру, в настройках количество реплик, помня об издержках репликации. Или ask установить на all (что снизит пропускную способность). А потом подключить мониторинг метрик (к примеру, Графану/Прометеус) и посмотреть, как это скажется на производительности.
Можно найти и другие технологии работы с очередями. Но по-любому, придется "вылезать из скорлупы" и юзать окружение: докеры-"шмокеры" и прочее. На одной джаве и реляционных базах не удасться продержаться сейчас.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031452
Кофейник2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hck2

я размышляю на счет spark + kafka, но еще не уверен, что готов именно админить кафку. если сломается оракл или mysql, я знаю что такое redo, как починить в любой ситуации. просто запустить кафку по инструкции не выйдет, надо понимать куда бежать, если она поломается.


Если кафка пугает, можно Spring Cloud Stream RabbitMq.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031453
Кофейник2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полностью поддерживаю это беспокойство. Если ломается БД - у нас есть 100% документированные механизмы
восстановления незакоммиченных данных и главное... есть саппорт и есть вменяемая оценка по срокам.

В случае с кафкой, как мы видим у джавистов - нулевой опыт восстановления сбойных хранилищ. И тут любое неверное
движение или неверно понятая документация - и данные ресетнулись и месседжинг покатился с нуля. А возможностей
прокачать подобный опыт у джавистов мало - т.к. технологий очень много а ситуации когда надо восстанавливать
файловые структуры - бывают редко.

По срокам тут - вообще непонятно. Продуктовая система не может стоять на паузе пока джависты делают investigation
что за ситуация и как вообще из нее выходить. И главное где провисли эти сообщения и как их восстановить если какой
то API радостно сообщает сто сбой контрольной суммы файла или блока и что дальше делать непонятно.

Согласен, если оставаться просто джавистом, далеко не уедешь. ) Лучше стать разработчиком.
Управление восстановлением в Кафке, конечно, требует некоторого погружения в тему. Но в целом, как сказано далее, это компромисс между скоростью и надежностью. Можно увеличить, к примеру, в настройках количество реплик, помня об издержках репликации. Или ask установить на all (что снизит пропускную способность). А потом подключить мониторинг метрик (к примеру, Графану/Прометеус) и посмотреть, как это скажется на производительности.
Можно найти и другие технологии работы с очередями. Но по-любому, придется "вылезать из скорлупы" и юзать окружение: докеры-"шмокеры" и прочее. По-любому придется столкнуться.[/quot]
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031473
Кофейник2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hck2

и еще есть такой вопрос, допустим апп1 пишет в один единственный топик кафки, апп2 читает этот топик, но у меня такой нюанс, что в сделке 100 позиций товара, я пытаюсь сохранить остаток товара в момент создания сделки. для этого я делаю запрос на сущность сделки и 100 запросов в на каждую позицию в сделке, что бы выяснить остаток в сущности товар.
вероятно мне нужно 2 топика, в первом от апп1, одно сообщение, во втором 101 сообщение. выходит апп2 будет само себе сообщение слать. как-то ...


не понял, почему само себе будет слать. Можете более детально обрисовать?
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031548
hck2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Кофейник2
Если кафка пугает, можно Spring Cloud Stream RabbitMq.

а у кролика что-то сильно проще в плане починки ?

Кофейник2
не понял, почему само себе будет слать. Можете более детально обрисовать?

пользователь б24 создал сделку, в сделке 100 позиций. апп1 получает одно сообщение - добавилась запись в сущность сделка. апп2 обрабатывая это одно сообщение теперь должно вытянуть много деталей. 1 рест запрос в б24 за сделкой и 100 за каждым товаром.
если я переделываю на настоящие очереди, то наверно было бы логично и в сторону б24 запросы выстраивать какую-то (вторую) очередь. тогда появится возможность как-то регулировать нагрузку в сторону б24.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031685
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hck2,
>пользователь б24 создал сделку, в сделке 100 позиций
Это одна бизнес транзакция с б24 на бэк java.
Сразу один json с массивом 100 на POST.
Разберитесь, есть ли событие такое в б24.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031686
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> а у кролика что-то сильно проще в плане починки ?
Давайте сначала ФУНКЦИОНАЛ по ТЗ ГОСТ п. 3, потом починки.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031687
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hck2,
>сторону б24 запросы выстраивать
Не торопитесь отвечать. У вас очередь ответов тоже встала.
Так выше спрашивалось - можно ли подписаться на события От битрикса?
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031738
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
> а у кролика что-то сильно проще в плане починки ?
Давайте сначала ФУНКЦИОНАЛ по ТЗ ГОСТ п. 3, потом починки.

Давайте поднимем пред-новогодний топик о том как "готовить кролятину" Rabbit.

Я давно хотел его поднять локально и поразбираться. Тем более что он нормально поддерживает AMQP
и вроде бы быстрее чем Apache-Active.

Кроме того у меня есть отдельный эстетический интерес посмотреть на этот софт. Ведь он написан
на Erlang. А эта технология вызывала у меня всегда изумление.

Топик думаю поднять 30-31 числа. +Напишите ваши вопросы. Я просто их включу в повестку.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031742
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
- четкие шаги для достижения hello world.
- четкие шаги для достижения первого насыщения очереди.
Что имел автор под сбоями я не понял. Увы. Пока имхо это оффтоп.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031757
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Имеется в виду такой тривиальный пример?



А что такое насыщение очереди в терминологии AMQP ? Если будет включен персистенс
очередь (наверное) насытится тогда когда у вас диск закончится.

Нет?
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031771
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
1. Наверно. В кафке есть консоль публикатора и консоль подписчика. И есть скрин раб стола где они рядом. В левом пишем месс и в правом появилось))))) Волшебно!)))
2. В кафке это время на сколько можно выписать больничный подписчику и он ничего не пропустит
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031772
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

очередь (наверное) насытится тогда когда у вас диск закончится.
Нет?

-1
Мессаги хранятся не вечно.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031792
Кофейник2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hck2

а у кролика что-то сильно проще в плане починки ?


в Кафке больше компонентов. Поэтому, на мой взгляд, больше возможных сценариев сбоя.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031793
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
mayton,
1. Наверно. В кафке есть консоль публикатора и консоль подписчика. И есть скрин раб стола где они рядом. В левом пишем месс и в правом появилось))))) Волшебно!)))
2. В кафке это время на сколько можно выписать больничный подписчику и он ничего не пропустит

Сложно как-то все. Я-же не собираюсь подстраивать кролика под Kafka. Это - глупо.

А если у месседжей есть TTL - то давай посмотрим какой он по умолчанию. Или если есть
dead letter queue то посмотрим как долго там лежит мусор без уборки.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031796
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати Кафка мне здесь не нравится тем что она слишком уж ... нестандартная.
Я для себя рисовал такую картинку несколько месяцев назад. И видно что в протокольной части кафки
есть некие белые пятна. У нее - другая терминология. Другие принципы. И по этой причине
я считаю что выстроить точное сравнение между технологиями нам будет очень сложно.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031800
Кофейник2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hck2

пользователь б24 создал сделку, в сделке 100 позиций. апп1 получает одно сообщение - добавилась запись в сущность сделка. апп2 обрабатывая это одно сообщение теперь должно вытянуть много деталей. 1 рест запрос в б24 за сделкой и 100 за каждым товаром.
если я переделываю на настоящие очереди, то наверно было бы логично и в сторону б24 запросы выстраивать какую-то (вторую) очередь. тогда появится возможность как-то регулировать нагрузку в сторону б24.


По-любому очередь в вашем случае будет двунаправленной. Я это изначально предполагал, но теперь в этом все больше убеждаюсь.
Я так понимаю, б24 будет возвращать апп2 данные по 100 товарам одним пакетом? Это было бы логично. И если так, то в единицу времени б24 будет принимать гораздо больше запросов от апп2, чем апп2 ответов от б24. В случае кафки здесь два топика. В разделы первого апп2 записывает сообщения, читаемые б24. В разделы второго б24 уже записывает ответы, читаемые апп2.
Ну, если я правильно понял ваш замысел.

Кстати, а принципиально, чтобы апп2 читал ответы от б24 в том же порядке, в каком направляет в нее запросы?
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031801
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Что именно сложно?
Скрин с двумя прогами или то что есть параметр сколько хранить мессагу???
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031803
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кофейник2,
Ну дак всегда, апп будет иметь публикатор и подписчик одновременно. Что за приложение без событий? Особенно клиент на битрикс
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031808
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Ты так закопаешься.
Надо сначала запустить hello world.
А потом по кусочкам сравнивать.
Я не увидел где кафка ДРУГАЯ.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031811
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кофейник2,
>Кстати, а принципиально, чтобы апп2 читал ответы от б24 в том же порядке, в каком направляет в нее запросы?
Думаю порядок не важен. Иначе себе вредить.
Есть же rest без всякого порядка и состояния
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031820
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
mayton,
Ты так закопаешься.
Надо сначала запустить hello world.
А потом по кусочкам сравнивать.
Я не увидел где кафка ДРУГАЯ.

Ну во первых - терминология. В Rabbit есть понятие Exhange. Сущность со своими свойствами и настройками.

Где аналог Exchange в Кафка? Это - топология путешествия будущиех сообщений.
Это - важно. Это архитектурный вопрос. И я не могу просто так без обсуждения
взять его и проигнорировать.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031822
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Имхо, в топике это не важно. Иначе никогда не двинемся.
Это как JPA против БД. Взяло и половину выкинуло.
...
Рейтинг: 0 / 0
Tomcat из Spring boot перестает отвечать
    #40031823
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Далее. В кафке есть partitioning. Ее главная киллер-фича благодаря которой обеспечивается
почти бесконечное масштабирование. И благодаря которой у Андрейки не сходится бухгалтерия.

Что есть подобного в Rabbit?

Clustering?

https://www.rabbitmq.com/clustering.html

Может быть. Давай обсудим это ТО ЖЕ самое или не то. Для меня это - важно. И мне непонятно
почему тебе просто хочется создать превед-мир. Ну даже если мы его создадим на кролике
то это ничего не доказывает. А чтобы доказат какое-то свойство сложной системы - надо
ее сконфигурировать правильно. Иначе мы будем как школьники.
...
Рейтинг: 0 / 0
25 сообщений из 174, страница 5 из 7
Форумы / Java [игнор отключен] [закрыт для гостей] / Tomcat из Spring boot перестает отвечать
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]