ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Как ускорить запись в таблицу через JDBC?
25 сообщений из 53, страница 2 из 3
  2  все
Как ускорить запись в таблицу через JDBC?
    #39823076
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Leonid Kudryavtsevmayton...что на скорость влияют engine....
1000 строк в одной транзакции в 32 секунды это на столько мало, что выпить йяду и убиться ап стену и на работу больше не ходить

но вот кто виноват и, соответственно, что делать, по форуму можно только гадать

может у топик стартера связь через спутник, может БД на 5" флоппи диске... а может руки, как у задни (back) конечного (end) разработчика.... кто его знает
Всяко может быть. Может у него просто плохая сетка между аппликейшеном и MariaDB.
Может какой-то триггер на insert висит. Тоже надо смотреть DDL. И эти всякие ISAM/InnoDb.

Но в тех ситуациях когда ничего непонятно - я беру и тупо создаю макет у себя на рабочей
станции. Симулирую загрузку. И вижу к примеру что у меня в 10000 раз быстрее чем в продуктиве.

Дальше - вопросы риторические. Или истерические... на тему кому на Руси жЫть хорошо...
...
Рейтинг: 0 / 0
05.06.2019, 19:47
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823093
qasta
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qasta
Гость
pavel_nv, иногда, если нужна ещё большая скорость, можно попробовать JDBC Batch-и (чуть-чуть подправил ваш пример):
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
String sqlQuery = "insert into event_entity (x,y,z) values (?,?,?)";
PreparedStatement statement = connection.prepareStatement(sqlQuery);
for (int i = 0; i < nEvents; i++) {
    statement.setInt(1,x[i]);
    statement.setLong(2,y[i]);
    statement.setString(3,z[i]);
    statement.addBatch();
}
statement.executeBatch()



Производительность при этом надо обязательно проверять.

P.S. Для особых случаев (мы это делали на загрузке котировок) ещё можно подбирать размеры batch-ей и частоту commit-ов. Но это драйвер должен поддерживать. Оракловый, например, поддерживает .
...
Рейтинг: 0 / 0
05.06.2019, 20:49
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823227
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Molasar
Участник
ОзверинMolasarпропущено...

а если нет возможности формировать пакет записей?
Т.е. запись в таблицу должна производиться по мере поступления.

а откуда 1000 записей берется?

Архитектура приложения:
Отдельный сервер CentOS7 + MariaDB10.3 + ActiveMQ5 Stand-alone + Tomcat8.5
На на Tomcat запущен Async Listener, который при появлении нового сообщения в ActiveMQ5 Stand-alone тут же сохраняет его в MariaDB.
Сообщения в очереди могут появляться со скоростью 1000 в секунду, а могут и 1 сообщение в секунду. Ждать промежутки времени, формируя пакеты для записи в базу, это крайний плохой вариант.

Приведенный мной код - это настольное приложение на клиенте в одной сети с сервером для чистоты эксперимента.
В обоих случаях запись в очередь происходит мгновенно, а последующая запись в БД 30 записей в секунду. И это запись в таблицу с одним полем!!!!!
...
Рейтинг: 0 / 0
06.06.2019, 09:17
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823238
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
MolasarПриведенный мной код - это настольное приложение на клиенте в одной сети с сервером для чистоты эксперимента.
В обоих случаях запись в очередь происходит мгновенно, а последующая запись в БД 30 записей в секунду. И это запись в таблицу с одним полем!!!!!
Если в форуме есть хоть один специалист по БД. То он скажет что что-то здесь не то.

Ты нас обманываешь. Не может в современной БД скорость DML операций быть 30 записей в секунду.
Это могло быть в середине 20-го века во времена ленточных накопителей и ХДД размером с барабан.

Поэтому давай приводи DDL таблицы и проект и генератор записей. Мы будем проверять
и покажем тебе что на самом деле ты в чём-то ошибся.
...
Рейтинг: 0 / 0
06.06.2019, 09:26
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823241
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Molasar
Участник
GarrickMolasarВсем привет!

MariaDB 10.3
Есть таблица event_entity, в которой 1 поле id (счетчик).


Счётчики обычно по-другому делаются.
Ну что вы привязываетесь к деталям?
Я создавал не счетчик, а облегченный вариант - таблица с одним полем, чтобы добиться максимальной производительности.
...
Рейтинг: 0 / 0
06.06.2019, 09:30
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823249
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton,
+1
...
Рейтинг: 0 / 0
06.06.2019, 09:40
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823261
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Озверин
Участник
Molasar,

тебе надо использовать PreparedStatement с rewriteBatchedStatements=true
Если верить результатам их же бенчмарка: https://mariadb.com/resources/blog/mariadb-java-connector-driver-performance/
то этот параметр для батчей в 1000 записей дает лучшие результаты и на втором месте при единичных вставках.
...
Рейтинг: 0 / 0
06.06.2019, 09:54
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823262
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Озверин
Участник
ОзверинMolasar,

тебе надо использовать PreparedStatement с rewriteBatchedStatements=true
Если верить результатам их же бенчмарка: https://mariadb.com/resources/blog/mariadb-java-connector-driver-performance/
то этот параметр для батчей в 1000 записей дает лучшие результаты и на втором месте при единичных вставках.

а для чистоты эксперимента - проверить без всяких jdbc вставку 1000 записей на самом сервере. Интересно же.
...
Рейтинг: 0 / 0
06.06.2019, 09:55
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823284
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Kachalov
Участник
qastapavel_nv, иногда, если нужна ещё большая скорость, можно попробовать JDBC Batch-и (чуть-чуть подправил ваш пример):
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
String sqlQuery = "insert into event_entity (x,y,z) values (?,?,?)";
PreparedStatement statement = connection.prepareStatement(sqlQuery);
for (int i = 0; i < nEvents; i++) {
    statement.setInt(1,x[i]);
    statement.setLong(2,y[i]);
    statement.setString(3,z[i]);
    statement.addBatch();
}
statement.executeBatch()



Производительность при этом надо обязательно проверять.

P.S. Для особых случаев (мы это делали на загрузке котировок) ещё можно подбирать размеры batch-ей и частоту commit-ов. Но это драйвер должен поддерживать. Оракловый, например, поддерживает .
- да это должно помочь, но на проде надо писать код сложнее. Всегда возможен такой nEvents при котором приложение упадет. Если погуглить, то найдутся примеры с "постраничным" батчем (размер батча ограничивается).
...
Рейтинг: 0 / 0
06.06.2019, 10:36
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823287
Garrick
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Garrick
Участник
Molasar+ Tomcat8.5
На на Tomcat запущен Async Listener, который при появлении нового сообщения в ActiveMQ5 Stand-alone тут же сохраняет его в MariaDB.

А без Tomcat, сразу в ActiveMQ нельзя реализовать обработку входящего сообщения?
...
Рейтинг: 0 / 0
06.06.2019, 10:38
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823288
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Molasar
Участник
ОзверинОзверинMolasar,

тебе надо использовать PreparedStatement с rewriteBatchedStatements=true
Если верить результатам их же бенчмарка: https://mariadb.com/resources/blog/mariadb-java-connector-driver-performance/
то этот параметр для батчей в 1000 записей дает лучшие результаты и на втором месте при единичных вставках.

а для чистоты эксперимента - проверить без всяких jdbc вставку 1000 записей на самом сервере. Интересно же.
Создаю таблицу с одним полем:
Код: plsql
1.
CREATE TABLE t1 (c1 INT);


Запускаю процедуру:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
DELIMITER // 
CREATE PROCEDURE t1insert2 () begin
DECLARE i INT DEFAULT 1; 
WHILE i<1001 DO
INSERT INTO scjms_db.t1 (c1) Values (i);
SET i=i+1; 
END WHILE;
end //
CALL myinsert();


Результат выполнения - 30 sec
...
Рейтинг: 0 / 0
06.06.2019, 10:40
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823294
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Озверин
Участник
Molasar, тогда - это на другой форум уже, т.к. jdbc тут уже не причем.
...
Рейтинг: 0 / 0
06.06.2019, 10:46
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823320
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Molasar,
Сколько раз говорить.
Есть раздел фррума где обсуждают скорость вставки порядкс 40000 на ядро.
...
Рейтинг: 0 / 0
06.06.2019, 11:30
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823325
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Molasar
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
// Which engine ?
 create table scjms_db.t1 … 


DELIMITER // 
CREATE PROCEDURE t1insert2 () begin
DECLARE i INT DEFAULT 1; 
 START TRANSACTION;
WHILE i<1001 DO
 INSERT INTO scjms_db.t1 (c1) Values (i);
SET i=i+1; 
END WHILE;
 COMMIT;
end //
CALL myinsert();


Результат выполнения - 30 sec

Мой вопрос повис в воздухе. Какой engine был использован? Как часто идёт коммит? Может для этой марии
коммит это опупенно дорогая блджад операция и 30 с== 30 000 мс и скорость 30 000 / 1000 = 30 милисекунд на коммит?
...
Рейтинг: 0 / 0
06.06.2019, 11:36
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823326
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Озверин
Участник
maytonMolasar
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
// Which engine ?
 create table scjms_db.t1 … 


DELIMITER // 
CREATE PROCEDURE t1insert2 () begin
DECLARE i INT DEFAULT 1; 
 START TRANSACTION;
WHILE i<1001 DO
 INSERT INTO scjms_db.t1 (c1) Values (i);
SET i=i+1; 
END WHILE;
 COMMIT;
end //
CALL myinsert();


Результат выполнения - 30 sec

Мой вопрос повис в воздухе. Какой engine был использован? Как часто идёт коммит? Может для этой марии
коммит это опупенно дорогая блджад операция и 30 с== 30 000 мс и скорость 30 000 / 1000 = 30 милисекунд на коммит?

есть подозрение, что на тематическом форуме ему помогут быстрее, чем тут.
...
Рейтинг: 0 / 0
06.06.2019, 11:37
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823332
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Molasar
Участник
maytonMolasar
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
// Which engine ?
 create table scjms_db.t1 … 


DELIMITER // 
CREATE PROCEDURE t1insert2 () begin
DECLARE i INT DEFAULT 1; 
 START TRANSACTION;
WHILE i<1001 DO
 INSERT INTO scjms_db.t1 (c1) Values (i);
SET i=i+1; 
END WHILE;
 COMMIT;
end //
CALL myinsert();


Результат выполнения - 30 sec

Мой вопрос повис в воздухе. Какой engine был использован? Как часто идёт коммит? Может для этой марии
коммит это опупенно дорогая блджад операция и 30 с== 30 000 мс и скорость 30 000 / 1000 = 30 милисекунд на коммит?
Не знаю, все настройки по умолчанию. Что такое engine не знаю... AutoCommit enable через MySql WorkBench
...
Рейтинг: 0 / 0
06.06.2019, 11:43
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823335
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Есть подозрение что автор сидит в "зоне комфорта".
Он не хочет разбираться в БД.
Он хочет и дальше дро..ить Java код.
Но это уже вопросы управленческой психологии.
...
Рейтинг: 0 / 0
06.06.2019, 11:46
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823379
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
MolasarВ обоих случаях запись в очередь происходит мгновенно, а последующая запись в БД 30 записей в секунду. И это запись в таблицу с одним полем!!!!!
ДИСК какой?
Сколько выдает IOPS. Какая очередь диска на сервере.

Какие потери данных возможны. Подозреваю, что если это логи, то потеря данных при сбоях (выключили свет) совершенно не критична. К тому же, не уверен, что архитектура с ActiveMQ настроена так, что при падении ActiveMQ не будет потерь данных.

Не может в современной БД скорость DML операций быть 30 записей в секунду.
"Обычный" ( C ) Дося жесткий диск выдает 200-300 IOPS

300 / 30 = 10 IOPS на ТРАНЗАКЦИЮ
В принципе "жирновато", но каких либо подробных данных мы не знаем.

Если разгребается одним потоком:
1. Задержка сети (подозреваю минимум 2-а round trip'а /туда-обратно/ на транзакцию, insert и потом commit)
3. Если потоки уходят в фон, время включение потока в работу. На загруженном/сглючевшем сервере может занимать дофига и больше
3. Создание записи
4. Фиксация транзакции. Чистые IOPS жесткого диска
5. Если же автор еще и при этом Connection переоткрывает - то тут Станиславский был совершенно не прав. ПОЛНОСТЬЮ ВЕРЮ в 30 соединений в секунду.

Ну а 1000 транзакций в секунду, как хочет автор, - это IMHO сильно НЕ мало.
...
Рейтинг: 0 / 0
06.06.2019, 12:39
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823394
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Озверин
Участник
Leonid Kudryavtsev, это очень мало. Тем более, что с большой долей вероятности никаких 1000 транзакций на выходе не будет - по умолчанию многие базы на выходе сами используют нечто вроде preparedstatements и там уже пакетно обрабатывают даже построчные операции.
...
Рейтинг: 0 / 0
06.06.2019, 12:53
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823396
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Озверин
Участник
ОзверинLeonid Kudryavtsev, это очень мало. Тем более, что с большой долей вероятности никаких 1000 транзакций на выходе не будет - по умолчанию многие базы на выходе сами используют нечто вроде preparedstatements и там уже пакетно обрабатывают даже построчные операции.

собственно по этой причине надо идти на тематический форум, т.к. тут такая масса "специалистов" по бд, что ими вадя заведует - насоветуют...
...
Рейтинг: 0 / 0
06.06.2019, 12:54
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823402
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Molasar
Участник
Локально на моей машине MariaDB по умолчанию пишет 1000 строк за 0.468 сек.
Видно проблема где-то в настройках сервера. Будем смотреть.
Это уже 3-я тема "Администрирование")))
...
Рейтинг: 0 / 0
06.06.2019, 13:03
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823428
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Наконец-то.
...
Рейтинг: 0 / 0
06.06.2019, 13:33
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823476
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Molasar,
))
Есть метод поиска, инженерный.
Не в конфигах искать а делим всю задачу пополам.
Потом еще пополам. Потом ещё.
Тогда на 1ой странице нашли бы неисправность.
...
Рейтинг: 0 / 0
06.06.2019, 14:21
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823521
qasta
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qasta
Гость
Kachalov- да это должно помочь, но на проде надо писать код сложнее. Всегда возможен такой nEvents при котором приложение упадет. Если погуглить, то найдутся примеры с "постраничным" батчем (размер батча ограничивается).
падение java-процесса: во-первых, должно быть достаточно редким случаем, во-вторых для таких случаев есть специальные термины (DLQ, CLIENT_ACKNOWLEDGE и т.п.) с помощью которых настраивается повторная доставка сообщения
...
Рейтинг: 0 / 0
06.06.2019, 15:03
| Ответить | Цитировать | Написать  
Как ускорить запись в таблицу через JDBC?
    #39823546
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Kachalov
Участник
qastaпадение java-процесса: во-первых, должно быть достаточно редким случаем, во-вторых для таких случаев есть специальные термины (DLQ, CLIENT_ACKNOWLEDGE и т.п.) с помощью которых настраивается повторная доставка сообщения
- я имел в виду OutOfMemoryError в JVM при безлимитном батче (обычно хип у JVM меньше чем max_allowed_packet в MySQL/MariaDB). В любом случае, копить слишком большой батч не стоит - это и расход системных ресурсов, и вероятность потери данных, и снижение доступности БД в момент вставки. В идеале размер батча должен увязываться с настройками БД.
...
Рейтинг: 0 / 0
06.06.2019, 15:36
| Ответить | Цитировать | Написать  
25 сообщений из 53, страница 2 из 3
  2  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Как ускорить запись в таблицу через JDBC?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=39823476&tid=2121265]:
 0ms
get settings:
 7ms
get forum list:
 10ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 133ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 53ms
get tp. blocked users:
 1ms
others: 13ms
total:  235ms
созд. / загр.: 235ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]