|
|
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
Всем привет. Задача: считать из файла набор структур и записать их в базу данных. Структура имеет вид: char* word; // null-terminated строка unsigned int32 offset; // сетевой порядок байт unsigned int32 size; // сетевой порядок байт Написал следующий код, но меня не устраивает скорость. Есть ли возможность как-то это оптимизировать? Вот, что говорит профайлер: self - 15,4% SQLIteStatement.executeInsert - 39,3% StringBuilder.append - 11,3% SQLiteProgram,bundLong - 7,3% BufferedInputStream.read() - 5,1% ... Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 13:40:12 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
WalterSullivan1, сколько записей в базу вставляете в среднем, распарсив 1 файл? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 13:47:17 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
http://www.sqlite.org/faq.html#q19 Для начала использовать batch insert, если цикл повторяется много раз. Во-вторых выкинуть нафиг StringBuilder - зачем байты туда-сюда перекладывать, по отдельности конвертируя в Char. Читайте в byte[] достаточной длины, а потом просто из него уже делайте String, если это действительно так необходимо. А там без String обойтись никак нельзя? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 13:51:27 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
Ещё интересный момент в том что 1 символ это далеко не всегда 1 байт. Для некоторых кодировок ваш код вообще не будет работать. Кодировки, кстати, хорошо бы указывать явно. На разных девайсах текущая кодировка может быть разной и она не обязательно будет совпадать с кодировкой источника ваших данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 13:56:18 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
Особо не заоптимизируешь, так как SQLIteStatement.executeInsert - 39,3% Разве что вынести вставку в отдельный поток, или даже пул, если движок SQLite позволит. Вот пример на 20 потоков: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 13:59:11 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
Озверинсколько записей в базу вставляете в среднем, распарсив 1 файл? Тестирую на небольшом файле - 50 000, большие файлы - до 500 000. BlazkowiczЧитайте в byte[] достаточной длины Строки - null-terminated, неизвестно сколько читать. BlazkowiczКодировки, кстати, хорошо бы указывать явно А как это сделать? В исходном файле кодировка - utf-8. ivanra , спасибо, попробую. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:07:58 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
WalterSullivan1BlazkowiczЧитайте в byte[] достаточной длины Строки - null-terminated, неизвестно сколько читать. Читайте в буфер, вместо использования BufferedInputStream, а буфер уже сканируйте на терминатор. В этом случае вам нужно будет только склеивать две части byte[] при чтении следующего куска. Это будет намного быстре чем "склеивать" каждый символ. http://docs.oracle.com/javase/6/docs/api/java/io/InputStream.html#read%28byte [],%20int,%20int%29 WalterSullivan1BlazkowiczКодировки, кстати, хорошо бы указывать явно А как это сделать? В исходном файле кодировка - utf-8. Вот конструктор, указываете участок буфера, который слово и явно кодировку. http://docs.oracle.com/javase/6/docs/api/java/lang/String.html#String(byte [],%20int,%20int,%20java.lang.String) Нужно будет только исхитрится когда слово разорвано на два буфера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:12:16 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
И да, все вставки выполняются внутри транзакции. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:12:26 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
WalterSullivan1 ivanra , спасибо, попробую. Если этот движок поддерживает batch insert, то конечно, прежде всего надо использовать пакетную вставку, 100-1000 записей за раз (подобрать опытным путем), ну а пакеты уже можно и распараллеливать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:15:23 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
ivanraОсобо не заоптимизируешь, так как SQLIteStatement.executeInsert - 39,3% Разве что вынести вставку в отдельный поток, или даже пул, если движок SQLite позволит. Вот пример на 20 потоков: Мысль дельная. Хотя это наверное Андроид и достаточно ресурсов будет не всегда. Но, в целом, тут можно смело разносить на 3 потока. 1 - чтение 2 - разбивка 3 - вставка - здесь нужна большая очередь, т.к. это самый медленный процесс. Для многопоточной вставки нужно иметь соединение на поток. Вряд ли это что-то даст. Тут нужен просто batch insert. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:16:17 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
WalterSullivan1, batch инсерт , либо формируйте какой-нить csv файл и потом одной операцией заливайте его в базу(так многократно быстрее будет, чем вставлять 500 000 раз 1 запись) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:25:33 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
ОзверинWalterSullivan1, batch инсерт , либо формируйте какой-нить csv файл и потом одной операцией заливайте его в базу(так многократно быстрее будет, чем вставлять 500 000 раз 1 запись) Если файл формировать локально, то его запись тоже уйму времени может отнять. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:29:59 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
Кстати, строки удобнее читать сканером, а не побайтно: Код: java 1. 2. 3. 4. 5. 6. 7. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:34:59 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
ivanraWalterSullivan1 ivanra , спасибо, попробую. Если этот движок поддерживает batch insert, то конечно, прежде всего надо использовать пакетную вставку, 100-1000 записей за раз (подобрать опытным путем), ну а пакеты уже можно и распараллеливать. Только перед этим стоить почитать о том, что как там с поддержкой мультитрединга в sqlite http://www.sqlite.org/threadsafe.html] http://www.sqlite.org/threadsafe.html , а то мало ли что. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:36:08 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
BlazkowiczОзверинWalterSullivan1, batch инсерт , либо формируйте какой-нить csv файл и потом одной операцией заливайте его в базу(так многократно быстрее будет, чем вставлять 500 000 раз 1 запись) Если файл формировать локально, то его запись тоже уйму времени может отнять. << времени вставки. При условии, что рам у нас ограничено сильнее обычного (андроид) - это лучше batch инсертов, я так думаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 14:54:51 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
ОзверинПри условии, что рам у нас ограничено сильнее обычного (андроид) - это лучше batch инсертов, я так думаю.на сколько я понимаю, невозможно импортировать csv в андроиде напрямую. единственный способ ускорения это batch. на счет нескольких писателей в БД в потоках я тоже сильно сомневаюсь, но лень гуглить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 15:01:04 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
ivanraКстати, строки удобнее читать сканером, а не побайтно: Поскольку в данном случае числа записаны в бинарном виде, то сканер не поможет. Разве что написать свою реализацию, используя исходники. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 15:22:05 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
chpashaОзверинПри условии, что рам у нас ограничено сильнее обычного (андроид) - это лучше batch инсертов, я так думаю.на сколько я понимаю, невозможно импортировать csv в андроиде напрямую. единственный способ ускорения это batch. на счет нескольких писателей в БД в потоках я тоже сильно сомневаюсь, но лень гуглить. я не знаток андроида, но есть подозрение, что это более зависит от базы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 15:25:02 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
еще nio channel можно попробовать например ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 16:23:09 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
Лагманеще nio channel можно попробовать например Смысл? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 16:25:02 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
Озвериня не знаток андроида, но есть подозрение, что это более зависит от базы. она там одна ;) . т.е. теоретически можно использовать другие, но на практике... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 16:30:44 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
Blazkowicz, вдруг байты быстрее поползут ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 17:20:27 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
я бы сразу в стрнгбилдере конструировал групповой инсерт, прамо из входящих данных, и по достижении определенного размера - отправлял его на выполнение. и еще - напишите сколько строк в секунду у вас вставляется и сколько хотелось бы чтоб вставляло. Параллелить по потокам, на мой взгляд смысла нет, все равно винчестер один (один ведь?), и вы получете затык на io, еще может дыже и хуже работать будет (тут как карта ляжет, пргнозировать сложно), т.к. обращение идет одновременно к исходному файлу и к файлам баз, и как головка будет делать seek - одной ОС известно. Самый быстрый способ - последовательный. На мой взгляд, разносить по потокам имеет смысл только если входной файл и база на разных винчестерах, либа вся база помещается в памяти (но судя по задачи это не ваш случай) в MyISAM получалось 40000 инсертов-сек, но если добавляешь индексы - производительность может падать на несколько порядков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 19:50:35 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
chabapokя бы сразу в стрнгбилдере конструировал групповой инсерт, прамо из входящих данных, и по достижении определенного размера - отправлял его на выполнение. Что это даст? Каждый новый SQL запрос будет парсится заново если значения заинлайнить. chabapokПараллелить по потокам, на мой взгляд смысла нет, все равно винчестер один (один ведь?) А если SSD? Андроид ведь. chabapok, и вы получете затык на io, еще может дыже и хуже работать будет (тут как карта ляжет, пргнозировать сложно), т.к. обращение идет одновременно к исходному файлу и к файлам баз, и как головка будет делать seek - одной ОС известно. Самый быстрый способ - последовательный. На мой взгляд, разносить по потокам имеет смысл только если входной файл и база на разных винчестерах, либа вся база помещается в памяти (но судя по задачи это не ваш случай) На самом деле вычитка пройдёт намного быстрее чем инсерты, поэтому не на что это особо не повлияет. Но есть смысл ограничить размер очереди, чтобы всё в памяти не держать, а заблокировать чтение на время, пока набор данных сбросится в базу. chabapokв MyISAM получалось 40000 инсертов-сек, но если добавляешь индексы - производительность может падать на несколько порядков. SQLite же. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.02.2013, 20:01:48 |
|
||
|
Помогите оптимизировать код
|
|||
|---|---|---|---|
|
#18+
chabapokи еще - напишите сколько строк в секунду у вас вставляется и сколько хотелось бы чтоб вставляло. Файл на 700 Kb содержит ~50 000 записей, выполнение метода на устройстве занимает 57 секунд, хотелось бы секунд за 20 хотя-бы. Как я понял SQLite на андроид не поддерживает batch insert (поправьте меня, если я не прав). Пробовал отключать журналирование, тоже не помогло. Пробовал вместо одной транзакции на 50 000 делать 50 транзакций по 1000, тоже не быстрее. Сейчас пытаюсь распараллелить как советовал Blazkowicz . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2013, 08:54:13 |
|
||
|
|

start [/forum/topic.php?fid=59&tid=2129940]: |
0ms |
get settings: |
14ms |
get forum list: |
17ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
43ms |
get topic data: |
15ms |
get forum data: |
4ms |
get page messages: |
67ms |
get tp. blocked users: |
2ms |
| others: | 314ms |
| total: | 486ms |

| 0 / 0 |
