ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Механизмы очень-очень быстрой записи в БД Oracle.
25 сообщений из 57, страница 2 из 3
  2  все
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903880
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
cptngrb
zinpub, в принципе везде надо понимать что и как работает.
Для прямой загрузке мне из базы нужно дергать название таблицы, а потом уже писать в нее, т.к. я не имею права сам создавать таблицы и накладные расходы на создание таблицы, передача ее названия опять же через запрос... вообщем нужно будет потестить


Я немножко про другое... При DirectLoad(Sql*Loader, TOraLoader) - игнорируются некоторые констрейны, тригеры итд
...
Рейтинг: 0 / 0
17.12.2019, 10:26
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903883
zinpub
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zinpub
Гость
Я для этого писал данные в свою(логически временную) таблицу, а вот потом запускал процедуру, котораю на стороне сервера разносила данные по таблицам...
...
Рейтинг: 0 / 0
17.12.2019, 10:28
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903922
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Когда-то уже обсуждали тут этот вопрос с этим же, кажется, автором.
Пришли в выводу, что тормозит менеджер памяти своими блокировками.
ТС говорил, что попробует перейти на процессы, но до сих пор видим 100 потоков, дергающих массивы и стринги.
...
Рейтинг: 0 / 0
17.12.2019, 11:04
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903925
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
YuRock, процессы не пропустили, поэтому выжимаем максимум из возможного
...
Рейтинг: 0 / 0
17.12.2019, 11:07
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903931
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
YuRock,

Ты их в дверь, они в окно. (с) Человек упорно игнорирует прямые указания на блокировочный менеджер памяти, используемый при передаче строковых параметров. Походу просто тролль пришёл к нам подкормиться.
...
Рейтинг: 0 / 0
17.12.2019, 11:13
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903934
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
cptngrb
YuRock, процессы не пропустили, поэтому выжимаем максимум из возможного
Админы?
Дурь какая-то.
Еще можно создать 100 одинаковых dll с разными именами файлов.
В них тоже в каждом свой менеджер будет.
Один процесс за то. Как им такой изврат?
...
Рейтинг: 0 / 0
17.12.2019, 11:14
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903937
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Vlad F, ничего я не игнорирую
...
Рейтинг: 0 / 0
17.12.2019, 11:18
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903939
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Как вам везет, что с дурью вы сталкиваетесь только на форумах
...
Рейтинг: 0 / 0
17.12.2019, 11:19
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903946
Василий 2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Василий 2
Участник
А если попробовать другие менеджеры?
https://github.com/d-mozulyov/BrainMM
https://github.com/maximmasiutin/FastMM4-AVX
https://github.com/andremussche/scalemm
...
Рейтинг: 0 / 0
17.12.2019, 11:30
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903950
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Василий 2,
нет
...
Рейтинг: 0 / 0
17.12.2019, 11:37
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903955
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
в смысле не пробовал
...
Рейтинг: 0 / 0
17.12.2019, 11:42
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39903961
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
cptngrb
Vlad F, ничего я не игнорирую

Но тебе же несколько раз указали на опробованное решение, нет? Дельфийское приложение в многопотоке формирует на диске куски данных по 10-100 метров и в том же много потоке натравливает на них SQL*Loader. Работает офигительно, прямо глаз радуется. Или хочешь все-таки помусолить?
...
Рейтинг: 0 / 0
17.12.2019, 11:48
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904005
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Vlad F, так я же не против, я просто это рассматриваю одно из решений. Мне же сравнить нужно что быстрее. Этот вариант конечно буду пробовать
...
Рейтинг: 0 / 0
17.12.2019, 12:28
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904020
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
cptngrb,

Дык, я уже давно все сравнил. И внедрил еще в прошлом годе в продуктивный продуктив. О чем и пытаюсь все тебе донести.))
...
Рейтинг: 0 / 0
17.12.2019, 12:37
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904024
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
Vlad F
Дельфийское приложение в многопотоке формирует на диске куски данных по 10-100 метров и в том же много потоке натравливает на них SQL*Loader.

А не сравнивал с загрузкой через TOraLoader? Я в своё время сделал ровно так же, но это было в те времена, когда Direct API не было легко доступно.
...
Рейтинг: 0 / 0
17.12.2019, 12:43
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904089
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
cptngrbДля прямой загрузке мне из базы нужно дергать название таблицы, а потом уже писать в нее,
т.к. я не имею права сам создавать таблицы и накладные расходы на создание таблицы,
передача ее названия опять же через запрос...

"Чо?" (с)

Парень, у меня сильное подозрение, что когда тебе говорят "Array DML" и "Direct Load" ты
воспринимаешь это не как прямое указание на соответствующее API, а как некоторую
абстракцию типа "используй массивы" и "грузи в таблицу".

При использовании Array DML не могут использоваться дельфийские строки, поэтому заявления
о "менеджер памяти - бутылочное горлышко" воспринимаются как бред.

Direct Load не использует SQL запросы вообще, поэтому "передача ее названия опять же через
запрос" - ещё больший бред.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.12.2019, 13:58
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904131
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Dimitry Sibiryakov

Direct Load не использует SQL запросы вообще....

Dimitry, можно ссылку на документацию, что бы быть уверенными, что под Direct Load все понимают одно и то же.

p.s. Сам разбирался с OCI >15 лет назад, во времена 8i, с тех пор больше не требовалось
...
Рейтинг: 0 / 0
17.12.2019, 15:13
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904139
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
softwarer
Vlad F
Дельфийское приложение в многопотоке формирует на диске куски данных по 10-100 метров и в том же много потоке натравливает на них SQL*Loader.

А не сравнивал с загрузкой через TOraLoader? Я в своё время сделал ровно так же, но это было в те времена, когда Direct API не было легко доступно.

Нет, не сравнивал. Уже по той причине, что для этого надо было ставить отдельные и, как понимаю, недешевые компоненты. Пробовал FireDAC Array DML, который, судя по документации, опирается на OCI Array DML. Хотелось бы, кстати, послушать тех, кто с ним разбирался, что на что опирается TOraLoader. Но судя по тем примерам, как в него закладываются параметры, со строковыми значениями будут ровно те же проблемы в части внутренних вызовов _GetMem().
...
Рейтинг: 0 / 0
17.12.2019, 15:25
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904142
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Leonid Kudryavtsevможно ссылку на документацию, что бы быть уверенными, что под Direct Load все понимают
одно и то же.

Лично я называю так вот это:
https://docs.oracle.com/en/database/oracle/oracle-database/19/lnoci/direct-path-load-interface.html
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.12.2019, 15:27
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904174
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Dimitry Sibiryakov, thanks

Vlad F

Нет, не сравнивал. Уже по той причине, что для этого надо было ставить отдельные и, как понимаю, недешевые компоненты. Пробовал FireDAC Array DML, который, судя по документации, опирается на OCI Array DML. Хотелось бы, кстати, послушать тех, кто с ним разбирался, что на что опирается TOraLoader. Но судя по тем примерам, как в него закладываются параметры, со строковыми значениями будут ровно те же проблемы в части внутренних вызовов _GetMem().


Насчет проблем "в части внутренних вызовов _GetMem()" ничего не знаю.
Но как-то "OCI Array DML" сильно разнится с "пишу в базу через хранимую процедуру записи"

Хотелось бы больше конкретики и, оптимально, хоть какого-то простейшего бечмарк-теста, который бы показывал "скорость работы меня не удовлетворяет".

IMHO
...
Рейтинг: 0 / 0
17.12.2019, 16:13
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904181
vavan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vavan
Участник
zinpub
Я для этого писал данные в свою(логически временную) таблицу, а вот потом запускал процедуру, котораю на стороне сервера разносила данные по таблицам
норм решение. тоже валю балками в gtt через anydac а потом одним вызовом процедуры всю кучу обрабатываю
...
Рейтинг: 0 / 0
17.12.2019, 16:20
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904197
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
vavan
норм решение. тоже валю балками в gtt через anydac а потом одним вызовом процедуры всю кучу обрабатываю

Угу. До того, как я пришёл на текущее место работы, здесь тоже так делали.
...
Рейтинг: 0 / 0
17.12.2019, 16:41
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904204
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Dimitry Sibiryakov, в компоненте DirectLoader есть такое ствойство как TableName. Мне как его получить? Из космоса?

авторПри использовании Array DML не могут использоваться дельфийские строки, поэтому заявления
о "менеджер памяти - бутылочное горлышко" воспринимаются как бред. Интересно, когда я такое писал

Код: pascal
1.
2.
3.
Парень, у меня сильное подозрение, что когда тебе говорят "Array DML" и "Direct Load" ты
воспринимаешь это не как прямое указание на соответствующее API, а как некоторую
абстракцию типа "используй массивы" и "грузи в таблицу".

Подозрения не оправдались
...
Рейтинг: 0 / 0
17.12.2019, 16:47
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904208
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Я понимаю, что вы мне советуете и спасибо вам за это. Просто каждому хочу ответить, на его конкретный вопрос.
...
Рейтинг: 0 / 0
17.12.2019, 16:50
| Ответить | Цитировать | Написать  
Механизмы очень-очень быстрой записи в БД Oracle.
    #39904209
cptngrb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cptngrb
Участник
Vlad F, пробую вашу версию
...
Рейтинг: 0 / 0
17.12.2019, 16:50
| Ответить | Цитировать | Написать  
25 сообщений из 57, страница 2 из 3
  2  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Механизмы очень-очень быстрой записи в БД Oracle.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=58&msg=39903939&tid=2038761]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 154ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 210ms
total:  450ms
созд. / загр.: 450ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]