|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Всем привет! MariaDB 10.3 Есть таблица event_entity, в которой 1 поле id (счетчик). Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33.
авторSaving of 1000 events takes 35120 Добавление 1000 записей отбирает целых 35 сек драгоценного времени((((( Как ускорить запись в таблицу? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:28 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar, читай доки на insert into .... values () и столько надо вставлять из csv файла ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:32 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:33 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинMolasar, https://google.gik-team.com/?q=jdbc preparedstatement batch insert а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:43 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
вадяMolasar, читай доки на insert into .... values () и столько надо вставлять из csv файла Читал про insert into .... values (). Нет возможности вставлять из csv файла. Запись в таблицу необходимо делать по мере поступления данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:47 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasarа если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. Используй очередь, например blockingQueue и отдельный поток для записи, если нет страха потерять данные (т.к. выйдешь из транзакции, если используешь их). ну или какой нибудь другой буфер. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:53 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
pavel_nvMolasarа если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. Используй очередь, например blockingQueue и отдельный поток для записи, если нет страха потерять данные (т.к. выйдешь из транзакции, если используешь их). ну или какой нибудь другой буфер. Я уже использую ActiveMQ. Как ускорить запись в БД? Может Pool какой использовать? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:56 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarМожет Pool какой использовать?разве ещё не используешь? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:02 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarОзверинMolasar, https://google.gik-team.com/?q=jdbc preparedstatement batch insert а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. По мере поступления тоже можно использовать batch, т.е. копить записи в буфере, а потом вставлять пачкой - это быстрее чем по одной. Так же не понял как вы формируете sqlQuery, но надеюсь про Prepared Statement вы в курсе. Или нет? Это много быстрее чем строки клеить. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:04 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasarpavel_nvпропущено... Используй очередь, например blockingQueue и отдельный поток для записи, если нет страха потерять данные (т.к. выйдешь из транзакции, если используешь их). ну или какой нибудь другой буфер. Я уже использую ActiveMQ. Как ускорить запись в БД? Может Pool какой использовать? Никакой Pool на скорость INSERT не влияет, Pool он для другого. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:05 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar, Вперед в ветку обсуждение бд. Там миллионы за секунду вставляют. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:07 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
GarrickПо мере поступления тоже можно использовать batch, т.е. копить записи в буфере, а потом вставлять пачкой - это быстрее чем по одной. Так же не понял как вы формируете sqlQuery, но надеюсь про Prepared Statement вы в курсе. Или нет? Это много быстрее чем строки клеить. 1. Поддерживаю. 2. Prepared Statement в нормальных СУБД (My SQL к ним не относится) будет не только быстрее, но и требовать значительно меньше ресурсов на сервере. note: Но для My SQL, и batch и PreparedStatemt все равно будут просто "строки клеить" ))) AFAIK 3. ТС не написал, какой канал до сервера и какие задержки. Если связь через спутниковый модем 2400 бод - то законы физики (информация не может передаваться быстрее. чем скорость света в вакууме) обойти не получится ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:08 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Когда упрешся, будешь писать просто в файл двоичный. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:09 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
GarrickНикакой Pool на скорость INSERT не влияет, Pool он для другого.на саму скорость не влияет, но не известно что у ТС в реальности, а не на приведённом примере. если есть ожидание - то возможно он для каждого инсерта создаёт подключение... ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:09 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarВсем привет! MariaDB 10.3 Есть таблица event_entity, в которой 1 поле id (счетчик). Счётчики обычно по-другому делаются. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:14 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
вадяGarrickНикакой Pool на скорость INSERT не влияет, Pool он для другого.на саму скорость не влияет, но не известно что у ТС в реальности, а не на приведённом примере. если есть ожидание - то возможно он для каждого инсерта создаёт подключение... Тогда да, на скорость повторного подключения влияет. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:14 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarЯ уже использую ActiveMQ. Как ускорить запись в БД? Может Pool какой использовать? 1) Тебе говорят же пиши пачками. Много консьюмеров будут писать в queue, а отдельный поток допустим раз в 5 секунд брать всю эту очередь и записывать в БД батчем (java.sql.Statement#executeBatch) или посмотри в сторону batchConsume в ActiveMQ, если там такое поддерживается. 2) Во вторых у тебя в коде скорее всего каждый запрос выполняется в своей транзакции - логичнее выполнять несколько записей в одной транзакции, используя preparedStatement - это быстрее - будет как-то так: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:21 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarОзверинMolasar, https://google.gik-team.com/?q=jdbc preparedstatement batch insert а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. а откуда 1000 записей берется? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:01 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasarpavel_nvпропущено... Используй очередь, например blockingQueue и отдельный поток для записи, если нет страха потерять данные (т.к. выйдешь из транзакции, если используешь их). ну или какой нибудь другой буфер. Я уже использую ActiveMQ. Как ускорить запись в БД? Может Pool какой использовать? Не нужен тебе никакой АктивМК. Сначала надо попробовать простыми средствами улучшить. Про пачки тебе правильно сказали. Но что еще влияет на скорость. Архитектура таблички. Я не спец в МарияДб. Но если это наследник MySQL то из его оптимизации мы помним что на скорость влияют engine. По сути это DDL как создана табличка. Вот тут рекомендации по выбору. https://mariadb.com/kb/en/library/choosing-the-right-storage-engine/ Вот тут еще какие-то советы как подготовить табличку к загрузке https://mariadb.com/kb/en/library/how-to-quickly-insert-data-into-mariadb/ ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:03 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarДобавление 1000 записей отбирает целых 35 сек драгоценного времени((((( Твой бенчмарк не показывает ровным счетом ничего. Какой-то кусок кода работает на твоей тачке 35 секунд, и что? Если хочешь чтобы тебе помогли - расскажи какая перед тобой конкретно стоит задача и что конкретно не получается. По уровню твоих вопросов видно, что задача эта не твоего уровня и скорее всего ты ее интерпретировал неправильно, а возможно и просто придумал. Для начала можешь почитать Шипилева о том как надо правильно писать бенчмарки. MolasarКак ускорить запись в таблицу? Сменить базу. А если серьезно то по твоему огрызку кода вообще непонятно что тебе надо, больше похоже на юнит тест какой-то. Если это бизнес-логика, то начать надо с переписания ее с нуля ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:13 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
mayton...что на скорость влияют engine.... 1000 строк в одной транзакции в 32 секунды это на столько мало, что выпить йяду и убиться ап стену и на работу больше не ходить но вот кто виноват и, соответственно, что делать, по форуму можно только гадать может у топик стартера связь через спутник, может БД на 5" флоппи диске... а может руки, как у задни (back) конечного (end) разработчика.... кто его знает ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:13 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинMolasarпропущено... а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. а откуда 1000 записей берется?события биллинга пишет ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:16 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, согласен, с такой скорости 10 индусов бы руками быстрее вставили ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:17 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar Код: java 1. 2. 3.
Господа, напомните мне пожалуйсто, а какое by default значение Auto Commit в My SQL и Java ? Если речь не о 1000 строк, а о 1000 транзакций, то тогда тем более вопрос: 1) Что за железо на сервере 2) Сколько оно может выдать IOPS 3) и самый главный ПРИ ЧЕМ, Б#$%, ТУТ JAVA ? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:17 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev3) и самый главный ПРИ ЧЕМ, Б#$%, ТУТ JAVA ?ну, как минимум, вставка идет в цикле на java. для большей точности надо определить время не по всему циклу, а время каждой вставки, взять минимальное и максимальное, и не только для 1000, а 5000, 10000 ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:25 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevmayton...что на скорость влияют engine.... 1000 строк в одной транзакции в 32 секунды это на столько мало, что выпить йяду и убиться ап стену и на работу больше не ходить но вот кто виноват и, соответственно, что делать, по форуму можно только гадать может у топик стартера связь через спутник, может БД на 5" флоппи диске... а может руки, как у задни (back) конечного (end) разработчика.... кто его знает Всяко может быть. Может у него просто плохая сетка между аппликейшеном и MariaDB. Может какой-то триггер на insert висит. Тоже надо смотреть DDL. И эти всякие ISAM/InnoDb. Но в тех ситуациях когда ничего непонятно - я беру и тупо создаю макет у себя на рабочей станции. Симулирую загрузку. И вижу к примеру что у меня в 10000 раз быстрее чем в продуктиве. Дальше - вопросы риторические. Или истерические... на тему кому на Руси жЫть хорошо... ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:47 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
pavel_nv, иногда, если нужна ещё большая скорость, можно попробовать JDBC Batch-и (чуть-чуть подправил ваш пример): Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9.
Производительность при этом надо обязательно проверять. P.S. Для особых случаев (мы это делали на загрузке котировок) ещё можно подбирать размеры batch-ей и частоту commit-ов. Но это драйвер должен поддерживать. Оракловый, например, поддерживает . ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 20:49 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинMolasarпропущено... а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. а откуда 1000 записей берется? Архитектура приложения: Отдельный сервер CentOS7 + MariaDB10.3 + ActiveMQ5 Stand-alone + Tomcat8.5 На на Tomcat запущен Async Listener, который при появлении нового сообщения в ActiveMQ5 Stand-alone тут же сохраняет его в MariaDB. Сообщения в очереди могут появляться со скоростью 1000 в секунду, а могут и 1 сообщение в секунду. Ждать промежутки времени, формируя пакеты для записи в базу, это крайний плохой вариант. Приведенный мной код - это настольное приложение на клиенте в одной сети с сервером для чистоты эксперимента. В обоих случаях запись в очередь происходит мгновенно, а последующая запись в БД 30 записей в секунду. И это запись в таблицу с одним полем!!!!! ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 09:17 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarПриведенный мной код - это настольное приложение на клиенте в одной сети с сервером для чистоты эксперимента. В обоих случаях запись в очередь происходит мгновенно, а последующая запись в БД 30 записей в секунду. И это запись в таблицу с одним полем!!!!! Если в форуме есть хоть один специалист по БД. То он скажет что что-то здесь не то. Ты нас обманываешь. Не может в современной БД скорость DML операций быть 30 записей в секунду. Это могло быть в середине 20-го века во времена ленточных накопителей и ХДД размером с барабан. Поэтому давай приводи DDL таблицы и проект и генератор записей. Мы будем проверять и покажем тебе что на самом деле ты в чём-то ошибся. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 09:26 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
GarrickMolasarВсем привет! MariaDB 10.3 Есть таблица event_entity, в которой 1 поле id (счетчик). Счётчики обычно по-другому делаются. Ну что вы привязываетесь к деталям? Я создавал не счетчик, а облегченный вариант - таблица с одним полем, чтобы добиться максимальной производительности. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 09:30 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
mayton, +1 ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 09:40 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar, тебе надо использовать PreparedStatement с rewriteBatchedStatements=true Если верить результатам их же бенчмарка: https://mariadb.com/resources/blog/mariadb-java-connector-driver-performance/ то этот параметр для батчей в 1000 записей дает лучшие результаты и на втором месте при единичных вставках. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 09:54 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинMolasar, тебе надо использовать PreparedStatement с rewriteBatchedStatements=true Если верить результатам их же бенчмарка: https://mariadb.com/resources/blog/mariadb-java-connector-driver-performance/ то этот параметр для батчей в 1000 записей дает лучшие результаты и на втором месте при единичных вставках. а для чистоты эксперимента - проверить без всяких jdbc вставку 1000 записей на самом сервере. Интересно же. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 09:55 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
qastapavel_nv, иногда, если нужна ещё большая скорость, можно попробовать JDBC Batch-и (чуть-чуть подправил ваш пример): Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9.
Производительность при этом надо обязательно проверять. P.S. Для особых случаев (мы это делали на загрузке котировок) ещё можно подбирать размеры batch-ей и частоту commit-ов. Но это драйвер должен поддерживать. Оракловый, например, поддерживает . - да это должно помочь, но на проде надо писать код сложнее. Всегда возможен такой nEvents при котором приложение упадет. Если погуглить, то найдутся примеры с "постраничным" батчем (размер батча ограничивается). ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 10:36 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar+ Tomcat8.5 На на Tomcat запущен Async Listener, который при появлении нового сообщения в ActiveMQ5 Stand-alone тут же сохраняет его в MariaDB. А без Tomcat, сразу в ActiveMQ нельзя реализовать обработку входящего сообщения? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 10:38 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинОзверинMolasar, тебе надо использовать PreparedStatement с rewriteBatchedStatements=true Если верить результатам их же бенчмарка: https://mariadb.com/resources/blog/mariadb-java-connector-driver-performance/ то этот параметр для батчей в 1000 записей дает лучшие результаты и на втором месте при единичных вставках. а для чистоты эксперимента - проверить без всяких jdbc вставку 1000 записей на самом сервере. Интересно же. Создаю таблицу с одним полем: Код: plsql 1.
Запускаю процедуру: Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9.
Результат выполнения - 30 sec ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 10:40 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar, тогда - это на другой форум уже, т.к. jdbc тут уже не причем. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 10:46 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar, Сколько раз говорить. Есть раздел фррума где обсуждают скорость вставки порядкс 40000 на ядро. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 11:30 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.
Результат выполнения - 30 sec Мой вопрос повис в воздухе. Какой engine был использован? Как часто идёт коммит? Может для этой марии коммит это опупенно дорогая блджад операция и 30 с== 30 000 мс и скорость 30 000 / 1000 = 30 милисекунд на коммит? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 11:36 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
maytonMolasar Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.
Результат выполнения - 30 sec Мой вопрос повис в воздухе. Какой engine был использован? Как часто идёт коммит? Может для этой марии коммит это опупенно дорогая блджад операция и 30 с== 30 000 мс и скорость 30 000 / 1000 = 30 милисекунд на коммит? есть подозрение, что на тематическом форуме ему помогут быстрее, чем тут. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 11:37 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
maytonMolasar Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.
Результат выполнения - 30 sec Мой вопрос повис в воздухе. Какой engine был использован? Как часто идёт коммит? Может для этой марии коммит это опупенно дорогая блджад операция и 30 с== 30 000 мс и скорость 30 000 / 1000 = 30 милисекунд на коммит? Не знаю, все настройки по умолчанию. Что такое engine не знаю... AutoCommit enable через MySql WorkBench ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 11:43 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Есть подозрение что автор сидит в "зоне комфорта". Он не хочет разбираться в БД. Он хочет и дальше дро..ить Java код. Но это уже вопросы управленческой психологии. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 11:46 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarВ обоих случаях запись в очередь происходит мгновенно, а последующая запись в БД 30 записей в секунду. И это запись в таблицу с одним полем!!!!! ДИСК какой? Сколько выдает IOPS. Какая очередь диска на сервере. Какие потери данных возможны. Подозреваю, что если это логи, то потеря данных при сбоях (выключили свет) совершенно не критична. К тому же, не уверен, что архитектура с ActiveMQ настроена так, что при падении ActiveMQ не будет потерь данных. Не может в современной БД скорость DML операций быть 30 записей в секунду. "Обычный" ( C ) Дося жесткий диск выдает 200-300 IOPS 300 / 30 = 10 IOPS на ТРАНЗАКЦИЮ В принципе "жирновато", но каких либо подробных данных мы не знаем. Если разгребается одним потоком: 1. Задержка сети (подозреваю минимум 2-а round trip'а /туда-обратно/ на транзакцию, insert и потом commit) 3. Если потоки уходят в фон, время включение потока в работу. На загруженном/сглючевшем сервере может занимать дофига и больше 3. Создание записи 4. Фиксация транзакции. Чистые IOPS жесткого диска 5. Если же автор еще и при этом Connection переоткрывает - то тут Станиславский был совершенно не прав. ПОЛНОСТЬЮ ВЕРЮ в 30 соединений в секунду. Ну а 1000 транзакций в секунду, как хочет автор, - это IMHO сильно НЕ мало. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 12:39 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, это очень мало. Тем более, что с большой долей вероятности никаких 1000 транзакций на выходе не будет - по умолчанию многие базы на выходе сами используют нечто вроде preparedstatements и там уже пакетно обрабатывают даже построчные операции. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 12:53 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинLeonid Kudryavtsev, это очень мало. Тем более, что с большой долей вероятности никаких 1000 транзакций на выходе не будет - по умолчанию многие базы на выходе сами используют нечто вроде preparedstatements и там уже пакетно обрабатывают даже построчные операции. собственно по этой причине надо идти на тематический форум, т.к. тут такая масса "специалистов" по бд, что ими вадя заведует - насоветуют... ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 12:54 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Локально на моей машине MariaDB по умолчанию пишет 1000 строк за 0.468 сек. Видно проблема где-то в настройках сервера. Будем смотреть. Это уже 3-я тема "Администрирование"))) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 13:03 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Наконец-то. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 13:33 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar, )) Есть метод поиска, инженерный. Не в конфигах искать а делим всю задачу пополам. Потом еще пополам. Потом ещё. Тогда на 1ой странице нашли бы неисправность. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 14:21 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Kachalov- да это должно помочь, но на проде надо писать код сложнее. Всегда возможен такой nEvents при котором приложение упадет. Если погуглить, то найдутся примеры с "постраничным" батчем (размер батча ограничивается). падение java-процесса: во-первых, должно быть достаточно редким случаем, во-вторых для таких случаев есть специальные термины (DLQ, CLIENT_ACKNOWLEDGE и т.п.) с помощью которых настраивается повторная доставка сообщения ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 15:03 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
qastaпадение java-процесса: во-первых, должно быть достаточно редким случаем, во-вторых для таких случаев есть специальные термины (DLQ, CLIENT_ACKNOWLEDGE и т.п.) с помощью которых настраивается повторная доставка сообщения - я имел в виду OutOfMemoryError в JVM при безлимитном батче (обычно хип у JVM меньше чем max_allowed_packet в MySQL/MariaDB). В любом случае, копить слишком большой батч не стоит - это и расход системных ресурсов, и вероятность потери данных, и снижение доступности БД в момент вставки. В идеале размер батча должен увязываться с настройками БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 15:36 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Kachalovобычно хип у JVM меньше чем max_allowed_packet в MySQL/MariaDB - тут фигню написал, бывает по разному, зависит от настроек БД/JVM ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 15:39 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Kachalov- я имел в виду OutOfMemoryError в JVM при безлимитном батче (обычно хип у JVM меньше чем max_allowed_packet в MySQL/MariaDB). В любом случае, копить слишком большой батч не стоит - это и расход системных ресурсов, и вероятность потери данных, и снижение доступности БД в момент вставки. В идеале размер батча должен увязываться с настройками БД. конечно, не стоит. Это и на производительности сказывается, кстати (в случае с Ораклом). Мы в программе делали сброс накопленного либо через каждые 250 строк или каждые 3 секунды - что раньше наступит (пишу по памяти - это было очень давно). ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 16:04 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинLeonid Kudryavtsev, это очень мало. Тем более, что с большой долей вероятности никаких 1000 транзакций на выходе не будет - по умолчанию многие базы на выходе сами используют нечто вроде preparedstatements и там уже пакетно обрабатывают даже построчные операции. ПО ОПРЕДЕЛЕНИЮ - Транзакция неделимая операция которая должна быть ГАРАНТИРОВАНО сохранена. Т.ч.. по определению, транзакция завершается только тогда, когда она ФИЗИЧЕСКИ записана на диск (как минимум log файлы /для востановления/, грязные буфферы/дата_блоки вполне могут оставаться в памяти и выкидываться на диск асинхронно). Некая буфферизация теоретически может быть, если на сервере паралелльно работает 100500 клиентов и за счет ЗАМЕДЛЕНИЯ времени отклика (latch). может увеличиваться пропускная способность (throughtinput). Но если вставки идут в одном потоке (не паралельно), то по определению, никакая база никакой буфферизации делать не должна и НЕ имеет такого права. (во многих базу синхронизацию с диском /flush/ можно отпилить автогеном /Oracle, PostgreSQL/ тогда будет быстрее, но делают это только истинные самураи-камикадзе которым на целостность данных пофиг) AFAIK ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2019, 16:17 |
|
|
start [/forum/topic.php?all=1&fid=59&tid=2121265]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
128ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
69ms |
get tp. blocked users: |
2ms |
others: | 232ms |
total: | 477ms |
0 / 0 |