ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Механизмы очень-очень быстрой записи в БД Oracle.
57 сообщений из 57, показаны все 3 страниц
  все  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903678
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Компоненты DOA. Пишу в базу через хранимую процедуру записи блоками по 50000, в качестве параметра передаю массивы, скорость работы меня не удовлетворяет. 50 -100 потоков вгоняют в ступор клиента oracle(OCI.dll) x64.
Подскажите быстрые механизмы механизмы записи в БД. Может кто-нибудь распределенную систему делал по записи?
...
Рейтинг: 0 / 0
16.12.2019, 19:14
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903679
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
пробовал FireDac, но там еще медленнее, хотя его не очень умею готовить
...
Рейтинг: 0 / 0
16.12.2019, 19:16
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903696
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
cptngrb50 -100 потоков вгоняют в ступор клиента oracle(OCI.dll) x64

Они вгонят в ступор кого угодно. Некоторые упадут под стол от смеха, другие - убьются
фейспалмом.

Быстрее Array DML у Оракула только Direct Load, но я сомневаюсь, что DOA его поддерживают.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.12.2019, 19:59
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903706
ma1tus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ma1tus
Участник
Dimitry Sibiryakov
Direct Load, но я сомневаюсь, что DOA его поддерживают.
надцать лет тому - поддерживали...
...
Рейтинг: 0 / 0
16.12.2019, 20:41
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903720
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Dimitry Sibiryakov, это да, но мне не понятно почему 50 потоков грузят ЦП только на 15 %. Хотя в исходниках DOA присутствуют крит. секции при обращении к OCI.dll, но не так же все плохо должно быть
...
Рейтинг: 0 / 0
16.12.2019, 21:23
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903723
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
Что-то мне подсказывает, что если отломать те оптимизации, которые применил автор, то закачка пойдёт куда быстрее.

P.S. В стандартный комплект поставки Oracle входит такая утилита, sql*loader. В документации есть её подробное описание. Скорми ей свои данные и посмотри, с какой скоростью их вставит она в разных режимах. Если у тебя скорость вставки будет сравнимой - считай, что ты добился оптимума как минимум с клиентской стороны. Если ниже - увидишь, куда расти.
...
Рейтинг: 0 / 0
16.12.2019, 21:28
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903725
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Завтра попробую напрямую, но что-то мне подсказывает, что есть более элегантные решения. А то получается, сначала создай таблицу,
потом переложи в основную таблицу и так далее. Накладных расходов куча, а ЦП не загружается
...
Рейтинг: 0 / 0
16.12.2019, 21:29
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903728
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Вероятно все упирается не в CPU а в HDD.
Или вообще в Network.
...
Рейтинг: 0 / 0
16.12.2019, 21:34
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903734
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
cptngrb,

Я тоже пытался сначала через FireDAC Array DML, в многопоточном режиме, потом оказалось, что посредством SQL*Loader'а, тоже в многопоточном, результаты несравнимо лучше. Сам объясняю это исключением из процесса блокировочного дельфийского менеджера памяти при формировании/закладке параметров.
Потому и ЦПУ недозагружен.
...
Рейтинг: 0 / 0
16.12.2019, 21:38
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903742
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
rgreat, почему HDD? а с сетью все неплохо, более 70мб/с не поднимается
...
Рейтинг: 0 / 0
16.12.2019, 21:59
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903753
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
cptngrb,

Потому что если там не SDD то при столь высокой многопоточности вероятно упирание в лимит по перемещению головок HDD туда-сюда по блинам.

Может оказаться что снижение количества потоков в разы приведет к увеличению суммарной производительности ибо последовательная запись на HDD всегда быстрей случайной.
...
Рейтинг: 0 / 0
16.12.2019, 22:30
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903782
bk0010
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bk0010
Участник
rgreat
Может оказаться что снижение количества потоков в разы приведет к увеличению суммарной производительности ибо последовательная запись на HDD всегда быстрей случайной.
NSQ уже не работает?
...
Рейтинг: 0 / 0
17.12.2019, 00:10
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903784
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
bk0010
NSQ уже не работает?
NSQ - технология оптимизации а не волшебство решающее все проблемы на корню.
...
Рейтинг: 0 / 0
17.12.2019, 00:27
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903786
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Сравни скорость записи последовательно и случайно.

В отличие от SDD на HDD рандомная запись с глубиной очереди в 32 записи ничем не быстрей простого рандома.
...
Рейтинг: 0 / 0
17.12.2019, 00:41
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903798
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
cptngrbмне не понятно почему 50 потоков грузят ЦП только на 15 %.
а может параллельное где-то превращается в непараллельное? например, или в клиенте Оракла, или при вставке в одну таблицу, или при вызове одной хранимой процедуры?
...
Рейтинг: 0 / 0
17.12.2019, 02:26
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903812
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
cptngrb
но мне не понятно почему 50 потоков грузят ЦП только на 15 %

А почему они грузить на 100? У тебя ос нихрена не делает уже после 10-го, кроме переключения контекста между потоками (которое очень дорогое) и ожидания IO. Больше потоков не значит лучше.
...
Рейтинг: 0 / 0
17.12.2019, 06:41
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903813
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Dimitry Sibiryakov

cptngrb50 -100 потоков вгоняют в ступор клиента oracle(OCI.dll) x64

Они вгонят в ступор кого угодно. Некоторые упадут под стол от смеха, другие - убьются
фейспалмом.

Быстрее Array DML у Оракула только Direct Load, но я сомневаюсь, что DOA его поддерживают.

Плюсуюсь.

Вброс гуана, без единой строчки кода.

Даже чисто теоретически, кол-во потоков на загрузку может быть лишь чуть-чуть больше, чем кол-во процессоров на сервере. Это даже забыв о дисковой подсистеме сервера.

Dimitry Sibiryakov

Direct Load

cptngrb
Пишу в базу через хранимую процедуру записи

)))
...
Рейтинг: 0 / 0
17.12.2019, 06:50
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903823
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
кол-во ядер 58, SSD
...
Рейтинг: 0 / 0
17.12.2019, 07:52
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903825
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Leonid Kudryavtsev,
я спрашиваю про подход записи в БД большого кол-ва записи, а не найдите ошибку в коде.
...
Рейтинг: 0 / 0
17.12.2019, 07:55
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903828
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
cptngrb,

А подключений сколько?
...
Рейтинг: 0 / 0
17.12.2019, 07:57
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903837
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
crutchmaster, если спрашиваете про кол-во сессий, то в каждом потоке своя, а пул сессий общий
...
Рейтинг: 0 / 0
17.12.2019, 08:31
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903848
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
Отключение триггеров, индексов(на момент загрузки) не рассматривал? Ну то есть DirectLoad, только есть возможность отключать не всё.

Когда у меня вставала подобная задача, то делал через ODAC-TOraLoader, в несколько потоков(разумное - больше 8 прироста уже не давало)
...
Рейтинг: 0 / 0
17.12.2019, 08:48
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903867
Фотография devart
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
devart
Участник
ODAC позволяет вставлять дынные очень быстро через DML Array:
https://www.devart.com/odac/docs/work_dml.htm
и очень-очень быстро через TOraLoader:
https://www.devart.com/odac/docs/work_toraloader.htm
...
Рейтинг: 0 / 0
17.12.2019, 10:09
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903871
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
Только надо очень чётко понимать - как работает TOraLoader...
...
Рейтинг: 0 / 0
17.12.2019, 10:19
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903875
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
zinpub, в принципе везде надо понимать что и как работает.
Для прямой загрузке мне из базы нужно дергать название таблицы, а потом уже писать в нее, т.к. я не имею права сам создавать таблицы и накладные расходы на создание таблицы, передача ее названия опять же через запрос... вообщем нужно будет потестить
...
Рейтинг: 0 / 0
17.12.2019, 10:23
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903880
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
cptngrb
zinpub, в принципе везде надо понимать что и как работает.
Для прямой загрузке мне из базы нужно дергать название таблицы, а потом уже писать в нее, т.к. я не имею права сам создавать таблицы и накладные расходы на создание таблицы, передача ее названия опять же через запрос... вообщем нужно будет потестить


Я немножко про другое... При DirectLoad(Sql*Loader, TOraLoader) - игнорируются некоторые констрейны, тригеры итд
...
Рейтинг: 0 / 0
17.12.2019, 10:26
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903883
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
Я для этого писал данные в свою(логически временную) таблицу, а вот потом запускал процедуру, котораю на стороне сервера разносила данные по таблицам...
...
Рейтинг: 0 / 0
17.12.2019, 10:28
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903922
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Когда-то уже обсуждали тут этот вопрос с этим же, кажется, автором.
Пришли в выводу, что тормозит менеджер памяти своими блокировками.
ТС говорил, что попробует перейти на процессы, но до сих пор видим 100 потоков, дергающих массивы и стринги.
...
Рейтинг: 0 / 0
17.12.2019, 11:04
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903925
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
YuRock, процессы не пропустили, поэтому выжимаем максимум из возможного
...
Рейтинг: 0 / 0
17.12.2019, 11:07
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903931
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
YuRock,

Ты их в дверь, они в окно. (с) Человек упорно игнорирует прямые указания на блокировочный менеджер памяти, используемый при передаче строковых параметров. Походу просто тролль пришёл к нам подкормиться.
...
Рейтинг: 0 / 0
17.12.2019, 11:13
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903934
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
cptngrb
YuRock, процессы не пропустили, поэтому выжимаем максимум из возможного
Админы?
Дурь какая-то.
Еще можно создать 100 одинаковых dll с разными именами файлов.
В них тоже в каждом свой менеджер будет.
Один процесс за то. Как им такой изврат?
...
Рейтинг: 0 / 0
17.12.2019, 11:14
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903937
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Vlad F, ничего я не игнорирую
...
Рейтинг: 0 / 0
17.12.2019, 11:18
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903939
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Как вам везет, что с дурью вы сталкиваетесь только на форумах
...
Рейтинг: 0 / 0
17.12.2019, 11:19
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903946
Василий 2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Василий 2
Участник
А если попробовать другие менеджеры?
https://github.com/d-mozulyov/BrainMM
https://github.com/maximmasiutin/FastMM4-AVX
https://github.com/andremussche/scalemm
...
Рейтинг: 0 / 0
17.12.2019, 11:30
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903950
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Василий 2,
нет
...
Рейтинг: 0 / 0
17.12.2019, 11:37
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903955
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
в смысле не пробовал
...
Рейтинг: 0 / 0
17.12.2019, 11:42
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903961
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
cptngrb
Vlad F, ничего я не игнорирую

Но тебе же несколько раз указали на опробованное решение, нет? Дельфийское приложение в многопотоке формирует на диске куски данных по 10-100 метров и в том же много потоке натравливает на них SQL*Loader. Работает офигительно, прямо глаз радуется. Или хочешь все-таки помусолить?
...
Рейтинг: 0 / 0
17.12.2019, 11:48
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904005
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Vlad F, так я же не против, я просто это рассматриваю одно из решений. Мне же сравнить нужно что быстрее. Этот вариант конечно буду пробовать
...
Рейтинг: 0 / 0
17.12.2019, 12:28
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904020
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
cptngrb,

Дык, я уже давно все сравнил. И внедрил еще в прошлом годе в продуктивный продуктив. О чем и пытаюсь все тебе донести.))
...
Рейтинг: 0 / 0
17.12.2019, 12:37
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904024
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
Vlad F
Дельфийское приложение в многопотоке формирует на диске куски данных по 10-100 метров и в том же много потоке натравливает на них SQL*Loader.

А не сравнивал с загрузкой через TOraLoader? Я в своё время сделал ровно так же, но это было в те времена, когда Direct API не было легко доступно.
...
Рейтинг: 0 / 0
17.12.2019, 12:43
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904089
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
cptngrbДля прямой загрузке мне из базы нужно дергать название таблицы, а потом уже писать в нее,
т.к. я не имею права сам создавать таблицы и накладные расходы на создание таблицы,
передача ее названия опять же через запрос...

"Чо?" (с)

Парень, у меня сильное подозрение, что когда тебе говорят "Array DML" и "Direct Load" ты
воспринимаешь это не как прямое указание на соответствующее API, а как некоторую
абстракцию типа "используй массивы" и "грузи в таблицу".

При использовании Array DML не могут использоваться дельфийские строки, поэтому заявления
о "менеджер памяти - бутылочное горлышко" воспринимаются как бред.

Direct Load не использует SQL запросы вообще, поэтому "передача ее названия опять же через
запрос" - ещё больший бред.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.12.2019, 13:58
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904131
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Dimitry Sibiryakov

Direct Load не использует SQL запросы вообще....

Dimitry, можно ссылку на документацию, что бы быть уверенными, что под Direct Load все понимают одно и то же.

p.s. Сам разбирался с OCI >15 лет назад, во времена 8i, с тех пор больше не требовалось
...
Рейтинг: 0 / 0
17.12.2019, 15:13
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904139
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
softwarer
Vlad F
Дельфийское приложение в многопотоке формирует на диске куски данных по 10-100 метров и в том же много потоке натравливает на них SQL*Loader.

А не сравнивал с загрузкой через TOraLoader? Я в своё время сделал ровно так же, но это было в те времена, когда Direct API не было легко доступно.

Нет, не сравнивал. Уже по той причине, что для этого надо было ставить отдельные и, как понимаю, недешевые компоненты. Пробовал FireDAC Array DML, который, судя по документации, опирается на OCI Array DML. Хотелось бы, кстати, послушать тех, кто с ним разбирался, что на что опирается TOraLoader. Но судя по тем примерам, как в него закладываются параметры, со строковыми значениями будут ровно те же проблемы в части внутренних вызовов _GetMem().
...
Рейтинг: 0 / 0
17.12.2019, 15:25
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904142
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Leonid Kudryavtsevможно ссылку на документацию, что бы быть уверенными, что под Direct Load все понимают
одно и то же.

Лично я называю так вот это:
https://docs.oracle.com/en/database/oracle/oracle-database/19/lnoci/direct-path-load-interface.html
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.12.2019, 15:27
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904174
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Dimitry Sibiryakov, thanks

Vlad F

Нет, не сравнивал. Уже по той причине, что для этого надо было ставить отдельные и, как понимаю, недешевые компоненты. Пробовал FireDAC Array DML, который, судя по документации, опирается на OCI Array DML. Хотелось бы, кстати, послушать тех, кто с ним разбирался, что на что опирается TOraLoader. Но судя по тем примерам, как в него закладываются параметры, со строковыми значениями будут ровно те же проблемы в части внутренних вызовов _GetMem().


Насчет проблем "в части внутренних вызовов _GetMem()" ничего не знаю.
Но как-то "OCI Array DML" сильно разнится с "пишу в базу через хранимую процедуру записи"

Хотелось бы больше конкретики и, оптимально, хоть какого-то простейшего бечмарк-теста, который бы показывал "скорость работы меня не удовлетворяет".

IMHO
...
Рейтинг: 0 / 0
17.12.2019, 16:13
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904181
vavan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vavan
Участник
zinpub
Я для этого писал данные в свою(логически временную) таблицу, а вот потом запускал процедуру, котораю на стороне сервера разносила данные по таблицам
норм решение. тоже валю балками в gtt через anydac а потом одним вызовом процедуры всю кучу обрабатываю
...
Рейтинг: 0 / 0
17.12.2019, 16:20
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904197
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
vavan
норм решение. тоже валю балками в gtt через anydac а потом одним вызовом процедуры всю кучу обрабатываю

Угу. До того, как я пришёл на текущее место работы, здесь тоже так делали.
...
Рейтинг: 0 / 0
17.12.2019, 16:41
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904204
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Dimitry Sibiryakov, в компоненте DirectLoader есть такое ствойство как TableName. Мне как его получить? Из космоса?

авторПри использовании Array DML не могут использоваться дельфийские строки, поэтому заявления
о "менеджер памяти - бутылочное горлышко" воспринимаются как бред. Интересно, когда я такое писал

Код: pascal
1.
2.
3.
Парень, у меня сильное подозрение, что когда тебе говорят "Array DML" и "Direct Load" ты
воспринимаешь это не как прямое указание на соответствующее API, а как некоторую
абстракцию типа "используй массивы" и "грузи в таблицу".

Подозрения не оправдались
...
Рейтинг: 0 / 0
17.12.2019, 16:47
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904208
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Я понимаю, что вы мне советуете и спасибо вам за это. Просто каждому хочу ответить, на его конкретный вопрос.
...
Рейтинг: 0 / 0
17.12.2019, 16:50
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904209
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Vlad F, пробую вашу версию
...
Рейтинг: 0 / 0
17.12.2019, 16:50
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904349
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
cptngrb,
Ок. И прошу потом в любом случае отписаться по результатам.
...
Рейтинг: 0 / 0
17.12.2019, 20:01
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904510
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
softwarer
vavan
норм решение. тоже валю балками в gtt через anydac а потом одним вызовом процедуры всю кучу обрабатываю

Угу. До того, как я пришёл на текущее место работы, здесь тоже так делали.


А есть лучший вариант? Было бы интересно услышать.
...
Рейтинг: 0 / 0
18.12.2019, 10:09
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904571
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
zinpub
А есть лучший вариант? Было бы интересно услышать.

Когда встал вопрос жалоб на скорость, я попробовал через TOraLoader. Получилось в несколько раз быстрее. Что, в общем, не удивительно, ибо директ таки директ.
...
Рейтинг: 0 / 0
18.12.2019, 11:25
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904592
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
softwarer
zinpub
А есть лучший вариант? Было бы интересно услышать.

Когда встал вопрос жалоб на скорость, я попробовал через TOraLoader. Получилось в несколько раз быстрее. Что, в общем, не удивительно, ибо директ таки директ.


Я имел ввиду : Директом сразу в таблицы, тут встаёт вопрос про консистентность... ? Или также во времянку(ну не обязательно чтобы база знала, что это времянка... у меня это были обычные таблицы) а потом как-то разносить по кокретным таблицам ?
...
Рейтинг: 0 / 0
18.12.2019, 11:46
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904606
vavan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vavan
Участник
zinpub
не обязательно чтобы база знала, что это времянка... у меня это были обычные таблицы
необязательно конечно gtt, можно и обычные, просто медленнее может оказаться. ну и вообще по задаче уж, где-то возможно и сразу в целевые приемлемо пихать, а где-то предобработать нужно в буферных и вообще логика кудрявая
...
Рейтинг: 0 / 0
18.12.2019, 11:59
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904607
vavan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vavan
Участник
zinpub
Директом сразу в таблицы, тут встаёт вопрос про консистентность
конечно, у этого способа есть как преимущества так и ряд ограничений
...
Рейтинг: 0 / 0
18.12.2019, 12:00
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904608
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
zinpub
Я имел ввиду : Директом сразу в таблицы, тут встаёт вопрос про консистентность... ? Или также во времянку(ну не обязательно чтобы база знала, что это времянка... у меня это были обычные таблицы) а потом как-то разносить по кокретным таблицам ?

Ну если "во времянку и разносить", это ещё минимум в два раза дольше (а на самом деле и побольше, чем в два). Вопрос консистентности вполне легко решается, а если уж очень хочется грузить отдельно, правильный метод это делать - заливать в отдельную таблицу, а потом через alter table exchange partition подключать её в рабочую.
...
Рейтинг: 0 / 0
18.12.2019, 12:05
| Ответить | Цитировать | Написать  
57 сообщений из 57, показаны все 3 страниц
  все  
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Механизмы очень-очень быстрой записи в БД Oracle.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=58&tid=2038761]:
 0ms
get settings:
 10ms
get forum list:
 19ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 152ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 104ms
get tp. blocked users:
 2ms
others: 238ms
total:  544ms
созд. / загр.: 544ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]