|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Всем привет! MariaDB 10.3 Есть таблица event_entity, в которой 1 поле id (счетчик). Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33.
авторSaving of 1000 events takes 35120 Добавление 1000 записей отбирает целых 35 сек драгоценного времени((((( Как ускорить запись в таблицу? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:28 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar, читай доки на insert into .... values () и столько надо вставлять из csv файла ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:32 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:33 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинMolasar, https://google.gik-team.com/?q=jdbc preparedstatement batch insert а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:43 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
вадяMolasar, читай доки на insert into .... values () и столько надо вставлять из csv файла Читал про insert into .... values (). Нет возможности вставлять из csv файла. Запись в таблицу необходимо делать по мере поступления данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:47 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasarа если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. Используй очередь, например blockingQueue и отдельный поток для записи, если нет страха потерять данные (т.к. выйдешь из транзакции, если используешь их). ну или какой нибудь другой буфер. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:53 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
pavel_nvMolasarа если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. Используй очередь, например blockingQueue и отдельный поток для записи, если нет страха потерять данные (т.к. выйдешь из транзакции, если используешь их). ну или какой нибудь другой буфер. Я уже использую ActiveMQ. Как ускорить запись в БД? Может Pool какой использовать? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 17:56 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarМожет Pool какой использовать?разве ещё не используешь? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:02 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarОзверинMolasar, https://google.gik-team.com/?q=jdbc preparedstatement batch insert а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. По мере поступления тоже можно использовать batch, т.е. копить записи в буфере, а потом вставлять пачкой - это быстрее чем по одной. Так же не понял как вы формируете sqlQuery, но надеюсь про Prepared Statement вы в курсе. Или нет? Это много быстрее чем строки клеить. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:04 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasarpavel_nvпропущено... Используй очередь, например blockingQueue и отдельный поток для записи, если нет страха потерять данные (т.к. выйдешь из транзакции, если используешь их). ну или какой нибудь другой буфер. Я уже использую ActiveMQ. Как ускорить запись в БД? Может Pool какой использовать? Никакой Pool на скорость INSERT не влияет, Pool он для другого. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:05 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar, Вперед в ветку обсуждение бд. Там миллионы за секунду вставляют. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:07 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
GarrickПо мере поступления тоже можно использовать batch, т.е. копить записи в буфере, а потом вставлять пачкой - это быстрее чем по одной. Так же не понял как вы формируете sqlQuery, но надеюсь про Prepared Statement вы в курсе. Или нет? Это много быстрее чем строки клеить. 1. Поддерживаю. 2. Prepared Statement в нормальных СУБД (My SQL к ним не относится) будет не только быстрее, но и требовать значительно меньше ресурсов на сервере. note: Но для My SQL, и batch и PreparedStatemt все равно будут просто "строки клеить" ))) AFAIK 3. ТС не написал, какой канал до сервера и какие задержки. Если связь через спутниковый модем 2400 бод - то законы физики (информация не может передаваться быстрее. чем скорость света в вакууме) обойти не получится ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:08 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Когда упрешся, будешь писать просто в файл двоичный. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:09 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
GarrickНикакой Pool на скорость INSERT не влияет, Pool он для другого.на саму скорость не влияет, но не известно что у ТС в реальности, а не на приведённом примере. если есть ожидание - то возможно он для каждого инсерта создаёт подключение... ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:09 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarВсем привет! MariaDB 10.3 Есть таблица event_entity, в которой 1 поле id (счетчик). Счётчики обычно по-другому делаются. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:14 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
вадяGarrickНикакой Pool на скорость INSERT не влияет, Pool он для другого.на саму скорость не влияет, но не известно что у ТС в реальности, а не на приведённом примере. если есть ожидание - то возможно он для каждого инсерта создаёт подключение... Тогда да, на скорость повторного подключения влияет. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:14 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarЯ уже использую ActiveMQ. Как ускорить запись в БД? Может Pool какой использовать? 1) Тебе говорят же пиши пачками. Много консьюмеров будут писать в queue, а отдельный поток допустим раз в 5 секунд брать всю эту очередь и записывать в БД батчем (java.sql.Statement#executeBatch) или посмотри в сторону batchConsume в ActiveMQ, если там такое поддерживается. 2) Во вторых у тебя в коде скорее всего каждый запрос выполняется в своей транзакции - логичнее выполнять несколько записей в одной транзакции, используя preparedStatement - это быстрее - будет как-то так: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 18:21 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarОзверинMolasar, https://google.gik-team.com/?q=jdbc preparedstatement batch insert а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. а откуда 1000 записей берется? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:01 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasarpavel_nvпропущено... Используй очередь, например blockingQueue и отдельный поток для записи, если нет страха потерять данные (т.к. выйдешь из транзакции, если используешь их). ну или какой нибудь другой буфер. Я уже использую ActiveMQ. Как ускорить запись в БД? Может Pool какой использовать? Не нужен тебе никакой АктивМК. Сначала надо попробовать простыми средствами улучшить. Про пачки тебе правильно сказали. Но что еще влияет на скорость. Архитектура таблички. Я не спец в МарияДб. Но если это наследник MySQL то из его оптимизации мы помним что на скорость влияют engine. По сути это DDL как создана табличка. Вот тут рекомендации по выбору. https://mariadb.com/kb/en/library/choosing-the-right-storage-engine/ Вот тут еще какие-то советы как подготовить табличку к загрузке https://mariadb.com/kb/en/library/how-to-quickly-insert-data-into-mariadb/ ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:03 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
MolasarДобавление 1000 записей отбирает целых 35 сек драгоценного времени((((( Твой бенчмарк не показывает ровным счетом ничего. Какой-то кусок кода работает на твоей тачке 35 секунд, и что? Если хочешь чтобы тебе помогли - расскажи какая перед тобой конкретно стоит задача и что конкретно не получается. По уровню твоих вопросов видно, что задача эта не твоего уровня и скорее всего ты ее интерпретировал неправильно, а возможно и просто придумал. Для начала можешь почитать Шипилева о том как надо правильно писать бенчмарки. MolasarКак ускорить запись в таблицу? Сменить базу. А если серьезно то по твоему огрызку кода вообще непонятно что тебе надо, больше похоже на юнит тест какой-то. Если это бизнес-логика, то начать надо с переписания ее с нуля ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:13 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
mayton...что на скорость влияют engine.... 1000 строк в одной транзакции в 32 секунды это на столько мало, что выпить йяду и убиться ап стену и на работу больше не ходить но вот кто виноват и, соответственно, что делать, по форуму можно только гадать может у топик стартера связь через спутник, может БД на 5" флоппи диске... а может руки, как у задни (back) конечного (end) разработчика.... кто его знает ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:13 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
ОзверинMolasarпропущено... а если нет возможности формировать пакет записей? Т.е. запись в таблицу должна производиться по мере поступления. а откуда 1000 записей берется?события биллинга пишет ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:16 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev, согласен, с такой скорости 10 индусов бы руками быстрее вставили ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:17 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Molasar Код: java 1. 2. 3.
Господа, напомните мне пожалуйсто, а какое by default значение Auto Commit в My SQL и Java ? Если речь не о 1000 строк, а о 1000 транзакций, то тогда тем более вопрос: 1) Что за железо на сервере 2) Сколько оно может выдать IOPS 3) и самый главный ПРИ ЧЕМ, Б#$%, ТУТ JAVA ? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:17 |
|
Как ускорить запись в таблицу через JDBC?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev3) и самый главный ПРИ ЧЕМ, Б#$%, ТУТ JAVA ?ну, как минимум, вставка идет в цикле на java. для большей точности надо определить время не по всему циклу, а время каждой вставки, взять минимальное и максимальное, и не только для 1000, а 5000, 10000 ... |
|||
:
Нравится:
Не нравится:
|
|||
05.06.2019, 19:25 |
|
|
start [/forum/topic.php?fid=59&fpage=27&tid=2121265]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
33ms |
get topic data: |
29ms |
get forum data: |
2ms |
get page messages: |
69ms |
get tp. blocked users: |
2ms |
others: | 13ms |
total: | 177ms |
0 / 0 |