Как работает ReentrantLock? / Java

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Java [игнор отключен] [закрыт для гостей] / Как работает ReentrantLock?

25 сообщений из 30, страница 1 из 2

все

Как работает ReentrantLock?

#39828531

Molasar

Участник

Сообщения: 838

Рейтинг: 0 / 0

Всем привет!

Получаю объекты из очереди ActiveMQ через MessageListener onMessage.
Сообщения накапливаются в ArrayList objectList.
При первом запуске onMessage запускается ScheduledExecutorService executorFlushSchedule. И по прошествии flushDBTimer секунд и если в objectList есть объекты, происходит сброс накопленных объектов в БД через метод flushToDB() и далее очистка objectList.
Получается общий ресурс objectList и 2 потока: метод onMessage и executorFlushSchedule.

Как в данном случае правильно поставить блокировку на objectList?

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.

@Override
    public void onMessage(Message message) {
        if (executorFlushSchedule == null) {
            executorFlushSchedule 
                    = Executors.newSingleThreadScheduledExecutor();
            executorFlushSchedule.scheduleAtFixedRate(
                    () -> {
                        if (objectList.size() > 0) {
                            flushToDB();
                        }
                    },
                    0,
                    flushDBTimer,
                    TimeUnit.SECONDS);
        }
        
        try {
            objectList.add((T) ((ObjectMessage) message).getObject());
        } catch (JMSException ex) {
            throw new RuntimeException(exceptionOnMessage, ex);
        }
    }

...

Рейтинг:

0 / 0

19.06.2019, 18:07

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828532

Lelouch

Участник

Откуда: Москва

Сообщения: 2 003

Рейтинг: 0 / 0

Molasar,

1) ReentrantLock тут не нужен
2) Необходима синхронизация при создании ScheduledExecutor (да и вообще - погуглите про double-checked locking)
3) Проще всего - обернуть List с помощью Collections.synchronizedList(), но я бы посмотрел в сторону реализаций BlockingQueue (add/offer для добавления, drainTo для получения записей для вставки)

...

Рейтинг:

0 / 0

19.06.2019, 18:17

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828534

забыл ник

Участник

Сообщения: 3 596

Рейтинг: 0 / 0

почему ReentrantLock?

Вообще самый простой способ - это обернуть все обращения к objectList в synchronised блок

...

Рейтинг:

0 / 0

19.06.2019, 18:21

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828542

Lelouch

Участник

Откуда: Москва

Сообщения: 2 003

Рейтинг: 0 / 0

Lelouch3) Проще всего - обернуть List с помощью Collections.synchronizedList()
P.S. Правда в этом случае есть подводные камни (например, нельзя использовать итератор), поэтому лучше или BlockingQueue или блоки синхронизации, как написали выше.

...

Рейтинг:

0 / 0

19.06.2019, 18:59

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828550

andreykaT

Участник

Откуда: =||==

Сообщения: 2 330

Рейтинг: 0 / 0

блокингкью для таких целей юзают.

...

Рейтинг:

0 / 0

19.06.2019, 19:26

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828665

Molasar

Участник

Сообщения: 838

Рейтинг: 0 / 0

Спасибо, бум думать

...

Рейтинг:

0 / 0

20.06.2019, 10:01

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828682

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 2 / 0

Зачем ему еще одна queue?

...

Рейтинг:

0 / 0

20.06.2019, 10:41

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828815

Озверин

Участник

Откуда: Ростов-на-Дону

Сообщения: 3 646

Рейтинг: 0 / 0

maytonЗачем ему еще одна queue?

это типа буфера, видимо, для bulk insert в базу.

...

Рейтинг:

0 / 0

20.06.2019, 14:58

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828853

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

ОзверинmaytonЗачем ему еще одна queue?

это типа буфера, видимо, для bulk insert в базу.имхо лишнее.
BlockingQueue читает вставляющий поток и вставляет.

...

Рейтинг:

0 / 0

20.06.2019, 16:04

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828863

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 2 / 0

Архитектурно не вижу смысла. У кого есть строгое объяснение зачем нужна 2-я очередь - отпишитесь.

...

Рейтинг:

0 / 0

20.06.2019, 16:18

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828871

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

И по прошествии flushDBTimer секунд и если в objectList есть объекты, происходит сброс накопленных объектов в БД через метод flushToDB() и далее очистка objectList.

Не очень понятно, зачем вообще блокировка:

1. Заполняем ArrayList в потоке читателе-ActiveMQ
2. По накоплению нужного размера, передаем ЦЕЛИКОМ ArrayList в поток писатель-в-базу
3. Создаем новый ArrayList

Но. возможно, я просто чего-то не понимаю

IMHO

...

Рейтинг:

0 / 0

20.06.2019, 16:25

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828875

Озверин

Участник

Откуда: Ростов-на-Дону

Сообщения: 3 646

Рейтинг: 0 / 0

Leonid KudryavtsevИ по прошествии flushDBTimer секунд и если в objectList есть объекты, происходит сброс накопленных объектов в БД через метод flushToDB() и далее очистка objectList.

Не очень понятно, зачем вообще блокировка:

1. Заполняем ArrayList в потоке читателе-ActiveMQ
2. По накоплению нужного размера, передаем ЦЕЛИКОМ ArrayList в поток писатель-в-базу
3. Создаем новый ArrayList

Но. возможно, я просто чего-то не понимаю

IMHO

мое мнение такое, что :
- тс использует достаточно надежный источник сообщений - activemq и беспокоится об их(сообщениях) сохранности
- тс использует надежное хранилище для сообщений
- тс вдруг хранит сообщения в arraylist, где может их потерять

Я скорее в этом логики не вижу. То есть, допустим, встваить данные не удалось? Что дальше то с ними делать? Надо обработку для этого придумать как минимум. Или outofmemory случился....
И все - 10000 событий исчезли и никто о них не узнает...

...

Рейтинг:

0 / 0

20.06.2019, 16:33

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828879

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 2 / 0

Вот этот пункт непонятен.
Сообщения накапливаются в ArrayList objectList.
Накапливаются для чего?

...

Рейтинг:

0 / 0

20.06.2019, 16:39

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828880

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

Leonid Kudryavtsev,
Если о BlockingQueue то там блокировка нужна чтобы при MAX 1000. Пищущий поток встал и не мог записать 1001-й.
Так как очередь вероятно никто не выгребает.
..
Тут как обычно всез собак вешают на слабое место.

...

Рейтинг:

0 / 0

20.06.2019, 16:39

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828886

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

PetroNotC SharpЕсли о BlockingQueue то там блокировка нужна чтобы при MAX 1000. Пищущий поток встал и не мог записать 1001-й. Так как очередь вероятно никто не выгребает.

AFAIK
Нормальные люди (не создатели Java), для этого используют Circle Ring Buffer. Но создатели Java, не позаботились реализовать его в java.util (((

...

Рейтинг:

0 / 0

20.06.2019, 16:54

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828904

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 2 / 0

Leonid KudryavtsevPetroNotC SharpЕсли о BlockingQueue то там блокировка нужна чтобы при MAX 1000. Пищущий поток встал и не мог записать 1001-й. Так как очередь вероятно никто не выгребает.

AFAIK
Нормальные люди (не создатели Java), для этого используют Circle Ring Buffer. Но создатели Java, не позаботились реализовать его в java.util (((
Подобное реализовано в библиотеке Disruptor. И уже например используется в асинхронных логгерах Log4j2
при правильной настройке. Но я сомневаюсь что автору это нужно. Дизраптор создавался для высокочастотного
трейдинга.

...

Рейтинг:

0 / 0

20.06.2019, 17:32

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828917

Андрей Панфилов

Участник

Откуда: Москва > Melbourne

Сообщения: 3 331

Рейтинг: 0 / 0

Озверинмое мнение такое, что :
- тс использует достаточно надежный источник сообщений - activemq и беспокоится об их(сообщениях) сохранности
- тс использует надежное хранилище для сообщений
- тс вдруг хранит сообщения в arraylist, где может их потерять

Я скорее в этом логики не вижу. То есть, допустим, встваить данные не удалось? Что дальше то с ними делать? Надо обработку для этого придумать как минимум. Или outofmemory случился....
И все - 10000 событий исчезли и никто о них не узнает...
вроде все понятно: у ТС spring-jms, который вычитывает сообщения по одному и отдает их в обработку, в связи с чем у ТС проблемы с производительностью (наверное просадка порядками исчисляется), поэтому он принял решение, что в базу их нужно вливать батчами, здесь очевидно, что задача не так решается: нужно батчами читать и батчами писать, а не изворачиваться хранением в памяти и потоками.

...

Рейтинг:

0 / 0

20.06.2019, 18:17

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828926

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 2 / 0

Molasar вообще не говорит ничего про производительность. Остается только гадать где там узкое место.
Возможно - это предположение на основе его прошлых постов?

В любом случе нужны хоть какие-то цифры. И хотя-бы 2 эксперимента.
Чтение просто сообщений из ActiveMQ без записи в БД. И наоборот.

...

Рейтинг:

0 / 0

20.06.2019, 18:56

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828927

Андрей Панфилов

Участник

Откуда: Москва > Melbourne

Сообщения: 3 331

Рейтинг: 0 / 0

maytonMolasar вообще не говорит ничего про производительность. Остается только гадать где там узкое место.
Возможно - это предположение на основе его прошлых постов?
Как ускорить запись в таблицу через JDBC?

...

Рейтинг:

0 / 0

20.06.2019, 19:07

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828929

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 2 / 0

Да я помню это.

...

Рейтинг:

0 / 0

20.06.2019, 19:08

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828930

Андрей Панфилов

Участник

Откуда: Москва > Melbourne

Сообщения: 3 331

Рейтинг: 0 / 0

Molasar,

в классе:

Код: java

private final AtomicReference<List<?>> queue = new AtomicReference<>(new ArrayList<>());

при добавлении:

Код: java

queue.get().add(object)

при записи в БД:

Код: java

List<?> objects = queue.getAndSet(new ArrayList<>())

...

Рейтинг:

0 / 0

20.06.2019, 19:17

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39828931

Андрей Панфилов

Участник

Откуда: Москва > Melbourne

Сообщения: 3 331

Рейтинг: 0 / 0

ой нет, фигню написал

...

Рейтинг:

0 / 0

20.06.2019, 19:28

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39829889

Molasar

Участник

Сообщения: 838

Рейтинг: 0 / 0

Андрей ПанфиловmaytonMolasar вообще не говорит ничего про производительность. Остается только гадать где там узкое место.
Возможно - это предположение на основе его прошлых постов?
Как ускорить запись в таблицу через JDBC?
Я помню. Выложу цифры чуть позже.

...

Рейтинг:

0 / 0

24.06.2019, 14:51

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39829894

Molasar

Участник

Сообщения: 838

Рейтинг: 0 / 0

ОзверинLeonid Kudryavtsevпропущено...

Не очень понятно, зачем вообще блокировка:

1. Заполняем ArrayList в потоке читателе-ActiveMQ
2. По накоплению нужного размера, передаем ЦЕЛИКОМ ArrayList в поток писатель-в-базу
3. Создаем новый ArrayList

Но. возможно, я просто чего-то не понимаю

IMHO

мое мнение такое, что :
- тс использует достаточно надежный источник сообщений - activemq и беспокоится об их(сообщениях) сохранности
- тс использует надежное хранилище для сообщений
- тс вдруг хранит сообщения в arraylist, где может их потерять

Я скорее в этом логики не вижу. То есть, допустим, встваить данные не удалось? Что дальше то с ними делать? Надо обработку для этого придумать как минимум. Или outofmemory случился....
И все - 10000 событий исчезли и никто о них не узнает...
Логика следующая:
1. Приложения кидают сообщения в очередь ActiveMQ
2. Слушатель ActiveMQ считывает сообщения по одному из очереди.
3. Если писать в базу по одному сообщению, то получается очень медленно. Поэтому приходится накапливать сообщения в списке и сбрасывать их по таймеру в БД как пакет Производительность увеличивается на порядок.
4. До комита в БД ловим эксепшены и возвращаем все сообщения в очередь.
А как по другому?

...

Рейтинг:

0 / 0

24.06.2019, 14:59

| Ответить | Цитировать | Написать

Как работает ReentrantLock?

#39829915

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

MolasarЕсли писать в базу по одному сообщению, то получается очень медленно. Поэтому приходится накапливать сообщения в списке и сбрасывать их по таймеру в БД как пакет Производительность увеличивается на порядок.для пакетной записи не нужен таймер

...

Рейтинг:

0 / 0

24.06.2019, 15:24

| Ответить | Цитировать | Написать

25 сообщений из 30, страница 1 из 2

все

Форумы / Java [игнор отключен] [закрыт для гостей] / Как работает ReentrantLock?

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/search_topic.php?author=%D0%A0%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA-%D0%B2%D0%BD%D0%B5%D0%B4%D1%80%D0%B5%D0%BD%D0%B5%D1%86&author_mode=last_topics&do_search=1]:	0ms
get settings:	8ms
get forum list:	16ms
get settings:	8ms
get forum list:	12ms
check forum access:	3ms
check topic access:	3ms
track hit:	183ms
get topic data:	10ms
get forum data:	3ms
get page messages:	58ms
get tp. blocked users:	1ms
others:	2010ms

total:	2315ms