|
|
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
Когда мне понадобится быстро сохранить массив целых чисел - я приду к М. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2010, 12:08 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
Любая вменяемая БД всосет 100000 записей за секунду. Все остальное зависит от кривизны рук разработчика и обвязки. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2010, 12:34 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
g-u-e-s-tЛюбая вменяемая БД всосет 100000 записей за секунду. а если не 100.000, а 1.000.000 ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2010, 16:55 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
-Serg- А 100 000 000 000 ... Торг не уместен. Вы вначале получите 1000000 полезных данных, обработайте их, посмотрите на затраченное время, а потом думайте с какой скоростью Вам нужна вставка. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. Все тесты проводились на обычной домашней тачке. качалки, торренты, дц++, не отключались. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2010, 18:03 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
lockyКогда мне понадобится быстро сохранить массив целых чисел - я приду к М. И напрасно. Они там строки сохраняют :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2010, 20:39 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
Gluk (Kazan)lockyКогда мне понадобится быстро сохранить массив целых чисел - я приду к М. И напрасно. Они там строки сохраняют :) ну, это я знаю. Я к тому, что скорость генерации списка интов это конечно круто... но задлянахрена? на случай, если кто-то забудет устный счет от нуля до фиг-знает-скольки? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2010, 00:19 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
lockyGluk (Kazan)lockyКогда мне понадобится быстро сохранить массив целых чисел - я приду к М. И напрасно. Они там строки сохраняют :) ну, это я знаю. Я к тому, что скорость генерации списка интов это конечно круто... но задлянахрена? на случай, если кто-то забудет устный счет от нуля до фиг-знает-скольки? то верно :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2010, 11:35 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
-Serg-Откуда 2 сек то берутся. Терминалу не прикажешь... -Serg-p.s. используй вместо $p($h,",",2) просто $zh Всенепременно! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2010, 18:36 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
lockyКогда мне понадобится быстро сохранить массив целых чисел - я приду к М. Напиши что тебе еще сохранить - потестим и это. Так глядишь и окажешся у нас быстрее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2010, 18:37 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
krvsalockyКогда мне понадобится быстро сохранить массив целых чисел - я приду к М. Напиши что тебе еще сохранить - потестим и это. Так глядишь и окажешся у нас быстрее. Пасибо Я расстался с М в... 1996(?) году. Обратно не тянет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2010, 22:14 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
locky , тогда зачем юродствовать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 08:06 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
Спасибо за ответы. В общем, алгоритм вставки такой: 1) Для теста вытаскиваем данные из файла. К примеру, вытаскиваем из Wav файла и формируем массив сигналов. 2) Вставляем эти данные в БД в виде insert temp (iTimeTicks, iChannel, iValue) ({0},{1},{2}) Минута звукового файла с частотой 44К вставляется около получаса. СУБД - oracle 11g r2. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 11:18 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
спит, А что с ними дальше делать, по чем индексы нужны? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 12:29 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
спит Минута звукового файла с частотой 44К вставляется около получаса. СУБД - oracle 11g r2. Э, код в студию. А то судя по скорости, запускается задача на стареньком ноуте, каждая запись вставляется в отдельной транзакции, да еще и общий sequence без кэширования. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 12:31 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
спитСпасибо за ответы. В общем, алгоритм вставки такой: 1) Для теста вытаскиваем данные из файла. К примеру, вытаскиваем из Wav файла и формируем массив сигналов. 2) Вставляем эти данные в БД в виде insert temp (iTimeTicks, iChannel, iValue) ({0},{1},{2}) Минута звукового файла с частотой 44К вставляется около получаса. СУБД - oracle 11g r2. (Сore 2 Duo 2.66MHz, 2Gb) В СУБД Caché 3000000 записей из программы на Java записываются за 40с., используя "eXTreme dynamic object API" и за 287с. - используя JDBC. Код Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. PS: если обработку файла производить средствами самой СУБД, общая скорость будет выше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 15:17 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
Если код немного улучшить, то время уменьшается с 40с. до 25с. Улучшенный код Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 16:49 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
servit, ужос какой, если уж очень хотите средствами jdbc без использования утилит прямой загрузки(sql*loader) то как вариант использование хранимки которая на вход принимает масивы с данными и вставляет через forall ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 18:22 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
ещё вот это почитай http://download-west.oracle.com/docs/cd/B10501_01/java.920/a96654/oraperf.htm#1056502 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 18:26 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
правильный емайл, Я с Oracle не работаю, а вот топикстартеру (спит) Ваша ссылка может пригодиться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 18:33 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
servit, упс, сори перепутал думал думал эт просто обёртка собственая) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 18:38 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
имхо передавать массив в pl/sql процедуру быстрее должно получиться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 18:53 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
servitЕсли код немного улучшить, то время уменьшается с 40с. до 25с. код поскипан если используете Jdbc, то для ускорения необходимо еще заюзать Batch (пакетный) режим. Размер пакета выбрать где-то 100-500. из моей практики массовой вствки в DB2 переход на пакетную вствку давал ускорение в 10 раз. ну и comit надо каждые 1000 делать, что бы транзакционый лог не деградировал. у меня таким макаром 2 млн записей из dbf грузятся в БД за 8-10 сек на средненькой тачке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.05.2010, 21:55 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
Alexey Kuznetsov, Пример с JDBC был приведён лишь для сравнения со специализированным интерфейсом. В пакетном (по 500) режиме время уменьшается с 287с. до 70с. PS: для нативной работы с dbf (чтение, запись) в Caché есть соответствующий класс, входящий в Прототип-6 . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.05.2010, 10:15 |
|
||
|
Выбор СУБД. Нужна очень быстрая вставка.
|
|||
|---|---|---|---|
|
#18+
Хватит уже томить всех пустыми разговорами. Давайте сформулируем DDL таблицы для вставки, правила вставки (BULK или не BULK) и будем тесты проводить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.05.2010, 21:53 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=36648239&tid=1552776]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
42ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
64ms |
get tp. blocked users: |
2ms |
| others: | 253ms |
| total: | 408ms |

| 0 / 0 |
