Mybatis+PostgreSQL паралелльные потоки / Java

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Java [игнор отключен] [закрыт для гостей] / Mybatis+PostgreSQL паралелльные потоки

25 сообщений из 115, страница 1 из 5

все

Mybatis+PostgreSQL паралелльные потоки

#39892134

qi_ip

Гость

Приветствую! Использую связку myBatis и PostgreSQL.

Приложение делает инсерт в таблицу [table1], вызывает метод push() и параллельный поток делает селект из этой же таблицы [table1] и обрабатывает полученные записи для дальнейшего анализирования.
myBatis использует пул потоков к PostgreSQL. В какой-то момент, получается так, что инсерт и селект происходят почти в одно и то же время (разница 0.002 мс) и селект не видит новых записей.

Код инсерта:

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.

SqlSession sqlSession = SqlMapHelper.getSqlSessionFactory().openSession(true);
try {
	List<HashMap> messagesMapList = new ArrayList<>();
	for (Long el : messageList) {
		HashMap map = new HashMap();
		map.put("id", UUID);
		map.put("body", "Here example text");
		messagesMapList.add(map);
	}

	sqlSession.insert("insertMessageList", messagesMapList);
	sqlSession.commit();
	push();
} catch (Exception e) {
	sqlSession.rollback();
} finally {
	sqlSession.close();
}

Код селекта:

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

SqlSession sqlSession = SqlMapHelper.getSqlSessionFactory().openSession(true);
try {
	List<Mess> messageList = sqlSession.selectList("selectMessages");
	for (Mess m : messageList ) {
		parse(m);
	}
} catch (Exception e) {
} finally {
	sqlSession.close();
}

Подскажите, может кто сталкивался, как это разруливается. Пробовал ставить в SqlMapHelper.getSqlSessionFactory().openSession isolation level READ COMMITED, но все равно не видит.

Спасибо!

...

Рейтинг:

0 / 0

21.11.2019, 06:16

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892137

mad_nazgul

Участник

Сообщения: 3 848

Рейтинг: 0 / 0

qi_ip,

Так все правильно!
Разные транзакции.
Транзакция для insert еще не закончилась, а транзакция для select уже началась.

Можно попробовать "грязное чтение", тогда возможно, будет работать как вам надо.

...

Рейтинг:

0 / 0

21.11.2019, 06:47

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892147

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

qi_ip

как это разруливается.

разве есть ошибка?
Код исправно ПАРАЛЛЕЛЬНО И НЕЗАВИСИМО работает.
Когда то первым будет чтение, когда то вставка.
Вам это не нравится.
В чем проблема?

...

Рейтинг:

0 / 0

21.11.2019, 07:17

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892167

qi_ip

Гость

mad_nazgul

Метод push() по коду вызывается уже после того, как произошел sqlSession.commit(); , поэтому теоретически select из другого потока должен (не факт) видеть сохраненную запись? Или я не прав?

...

Рейтинг:

0 / 0

21.11.2019, 08:32

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892168

qi_ip

Гость

PetroNotC Sharp

qi_ip

как это разруливается.

Ну проблема как раз выше описал, что сначала происходит sqlSession.commit(); , потом инициируется метод, где открывается новая транзакция для чтения этой записи, но ее не читает ))) хотя теоретически если commit не fail, то запись уже в БД. Но это только теория...

...

Рейтинг:

0 / 0

21.11.2019, 08:37

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892175

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

qi_ip

поэтому теоретически select из другого потока должен (не факт) видеть сохраненную запись? Или я не прав?

должен.
Поставь логирование и дай сюда лог.

...

Рейтинг:

0 / 0

21.11.2019, 08:54

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892235

mad_nazgul

Участник

Сообщения: 3 848

Рейтинг: 0 / 0

qi_ip

mad_nazgul

Не совсем.
Т.к. взаимодествие асинхронное, то нужно еще время для PostgreSQL, чтобы "закрыть" транзакцию.

Так что что будет и как - фиг его знает. Зависит еще от скорости PostgreSQL.

...

Рейтинг:

0 / 0

21.11.2019, 11:04

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892251

Kachalov

Участник

Откуда: Москва

Сообщения: 5 558

Рейтинг: 0 / 0

qi_ip,
попробуйте использовать одну сессию (если это возможно) и для инсерта и для селекта, т е вот этот код:

Код: java

SqlSession sqlSession = SqlMapHelper.getSqlSessionFactory().openSession(true);

выполняйте только один раз

...

Рейтинг:

0 / 0

21.11.2019, 11:46

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892259

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

Kachalov,
В разных потоках нельзя.

...

Рейтинг:

0 / 0

21.11.2019, 12:01

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892272

Kachalov

Участник

Откуда: Москва

Сообщения: 5 558

Рейтинг: 0 / 0

PetroNotC Sharp

В разных потоках нельзя.

- почему это? синхронизацию потоков ручками сделать и передавать инстанс SqlSession с комитом при выходе из синхронизированного куска кода

...

Рейтинг:

0 / 0

21.11.2019, 12:28

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892276

забыл ник

Участник

Сообщения: 3 596

Рейтинг: 0 / 0

А так?

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.

SqlSession sqlSession = SqlMapHelper.getSqlSessionFactory().openSession(true);
try {
	List<HashMap> messagesMapList = new ArrayList<>();
	for (Long el : messageList) {
		HashMap map = new HashMap();
		map.put("id", UUID);
		map.put("body", "Here example text");
		messagesMapList.add(map);
	}

	sqlSession.insert("insertMessageList", messagesMapList);
	sqlSession.commit();
	
} catch (Exception e) {
	sqlSession.rollback();
} finally {
	sqlSession.close();
}
push();

...

Рейтинг:

0 / 0

21.11.2019, 12:35

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892279

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

Kachalov,
Да он вообще ошибся со своей ошибкой. Должен быть видно все что закоммичено в другом соединении. А в этом и подавно.

...

Рейтинг:

0 / 0

21.11.2019, 12:39

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892280

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

Kachalov

почему это?

1. Не потокобезопасен ни класс ни драйвер.
2. Можно синронизировать и тормозить БЛ. Зачем тогда параллелили?

...

Рейтинг:

0 / 0

21.11.2019, 12:40

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892281

забыл ник

Участник

Сообщения: 3 596

Рейтинг: 0 / 0

PetroNotC Sharp

Вообще зависит от реализации. Хз что commit() делает. Гарантированно данные будут записаны, когда закончится нативная транзакция у Postgres, а вот то что она закнчивается на commit() никто не гарантирует.

...

Рейтинг:

0 / 0

21.11.2019, 12:41

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892283

Kachalov

Участник

Откуда: Москва

Сообщения: 5 558

Рейтинг: 0 / 0

PetroNotC Sharp

1. Не потокобезопасен ни класс ни драйвер.

- еще раз: синхронизацию сделать самостоятельно

PetroNotC Sharp

2. Можно синронизировать и тормозить БЛ. Зачем тогда параллелили?

- а зачем селект после инсерта? такая бизнес логика

...

Рейтинг:

0 / 0

21.11.2019, 12:43

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892285

Kachalov

Участник

Откуда: Москва

Сообщения: 5 558

Рейтинг: 0 / 0

забыл ник

Хз что commit() делает. Гарантированно данные будут записаны, когда закончится нативная транзакция у Postgres, а вот то что она закнчивается на commit() никто не гарантирует.

- понятно что там еще кэши есть и у MyBatis, и дальше. Но на уровне кэша MyBatis в одной сессии данные врядли противоречивы

...

Рейтинг:

0 / 0

21.11.2019, 12:46

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892289

забыл ник

Участник

Сообщения: 3 596

Рейтинг: 0 / 0

Kachalov

забыл ник

Наверное можно, но мне кажется проще правильно написать push - чтобы он уже отрабатывал когда сессия закрылась, тогда не важно будет из какой сессии идет селект

...

Рейтинг:

0 / 0

21.11.2019, 12:52

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892291

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

qi_ip, современные базы данных оперируют не insert-ами а транзакциями. Транзакция это более общее
понятие. Обычно оно охватывает пакет изменений. Это сделано для того чтобы в сложной системе не было аномалий
типа ты переводил деньги с 1 счета на другой и деньги вдруг внезапно исчезли навсегда.

Тоесть чтение должно быть консистентным по отношению к бизнес-операциям. То о чем ты пишешь это dirty-read.
Это бывает когда работаешь с двоичными файлами.

Если ты хочешь организовать коммуникацию двух java-потоков эффективно (producer-consumer) то надо делать
чтобы продюсер уведомлял консюмера через очереди или JMS о том что он закончил порцию операций и она закоммичена
и с ней можно работать.

Но и даже в таком виде КПД твоей двухпоточной системы будет невысоким т.к. консюмер будет все равно вычитывать
объем инфы чуть больше чем ему надо на самом деле.

Как бороться с этим - я пока не знаю это глубоко архитектурный вопрос и надо понимать что ты делаешь на самом деле.

...

Рейтинг:

0 / 0

21.11.2019, 12:58

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892310

Kachalov

Участник

Откуда: Москва

Сообщения: 5 558

Рейтинг: 0 / 0

mayton

надо делать
чтобы продюсер уведомлял консюмера через очереди или JMS о том что он закончил порцию операций и она закоммичена
и с ней можно работать.

- я так понял, что у ТС парадокс в том, что он примерно так все и сделал: закомитил (на уровне MyBatis), и оповестил что можно читать и тут облом - данных в базе еще нет

...

Рейтинг:

0 / 0

21.11.2019, 13:25

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892317

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

забыл ник

PetroNotC Sharp

конечно.

...

Рейтинг:

0 / 0

21.11.2019, 13:31

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892319

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

Kachalov

а зачем селект после инсерта? такая бизнес логика

я и пишу - Странная логика.
То что нужно делать после не делают в другом потоке.
Пусть логи даст.

...

Рейтинг:

0 / 0

21.11.2019, 13:33

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892324

Kachalov

Участник

Откуда: Москва

Сообщения: 5 558

Рейтинг: 0 / 0

забыл ник

Kachalov

пропущено...

- понятно что там еще кэши есть и у MyBatis, и дальше. Но на уровне кэша MyBatis в одной сессии данные врядли противоречивы

- можно теоретически усложнить задачу (чисто гипотетически, чтобы обсудить интересную архитектурную проблему) и предположить что речь идет о двух различных сервисах (допустим у нас SOA). Везде есть свои кэши, буфера, сетевые соединения, но БД общая (транзакции разные, коннекты к ней разные и т д, т е все легитимно). Один сервис пишет в БД, другой читает когда получает извещение через шину сообщений.

Проблема: сообщение о записи через шину приходит раньше, чем данные фактически попадают в БД и становятся доступны для чтения.

Пока вижу принципиально два решения (и оба не очень):

1) читать данные из общего кэша, т е до того как они фактически попали в БД и стали доступны для чтения;

2) проверять доступность данных в БД (тут варианты как, но все кривые) и уже тогда посылать извещение.

Еще идеи?

...

Рейтинг:

0 / 0

21.11.2019, 13:38

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892328

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

Kachalov,
В SOA только второй вариант.

...

Рейтинг:

0 / 0

21.11.2019, 13:41

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892329

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

Kachalov,
Если он читает, а данных нет, значит их нет (с)
И никакой проблемы.

...

Рейтинг:

0 / 0

21.11.2019, 13:42

| Ответить | Цитировать | Написать

Mybatis+PostgreSQL паралелльные потоки

#39892344

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

Если он их закоммитил и следующая читающая транзакция их не видит значит либо режим изоляции
читающей транзакции таков. Либо нарушена какая-то причинно-следственная связь и читающий
находится в далёком будущем.

Я думаю что старик Эйнштейн с этим не согласится. И я тоже.

Поэтому надо логи. С точностью таймингов до милисекунд и будем разбираться.

Я не работал с SqlMapHelper и не вижу под капотом какие там режими изоляции. Поэтому надо также
чтоб кто-то знающий подтвердил что "оно так". Или "не так".

...

Рейтинг:

0 / 0

21.11.2019, 14:08

| Ответить | Цитировать | Написать

25 сообщений из 115, страница 1 из 5

все

Форумы / Java [игнор отключен] [закрыт для гостей] / Mybatis+PostgreSQL паралелльные потоки

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=59&msg=39892134&tid=2120990]:	0ms
get settings:	25ms
get forum list:	14ms
check forum access:	4ms
check topic access:	4ms
track hit:	190ms
get topic data:	11ms
get forum data:	3ms
get page messages:	485ms
get tp. blocked users:	2ms
others:	307ms

total:	1045ms