Гость
Форумы / Oracle [игнор отключен] [закрыт для гостей] / async запросы к oracle через python приложение / 4 сообщений из 4, страница 1 из 1
10.04.2019, 02:02
    #39799096
Nillkin1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
async запросы к oracle через python приложение
Привет всем!

Подскажите, может кто стакивался.

Есть приложение написанное на python.
Один из этапов - это заполнение динамически генерируемых таблиц по таблице конфигурации.
insert into <dable_name >select * from <query> где table_name и query - данные лежащие в таблице конфигурации, всего около 30 таблиц, заполнение каждой в среднем 10-15 минут.

Сейчас приложение выполняет скрипт, который фетчит конфигурационные данные и последовательно заполняет таблицы.
Хотелось бы распараллелить данный процесс.
На первый взгляд, наиболее простым видится решение, запускающее джобы в скедулере, которые независимо друг от друга заполняют таблицы, но данное решение натыкается на сопротивление со стороны команды поддерживающей приложение (там нет DB специалистов).

Есть ли какая-то возможность добавить параллелизм через python библиотеки, так чтобы это выглядело следующим образом:
посылается insert на таблицу 1, не дожидаять окончания процесса, посылается insert 2, ..., insert N ???

Первичное гугление натыкается на то, что cx_oracle не поддерживает async.

Так понимаю, что при threading или multiprocessing нагрузка ляжет не на сервер оракла, а на машину с которой выполняется команда, но тут я возможно не прав, поправьте меня плз, если это неверно.
...
Рейтинг: 0 / 0
10.04.2019, 07:47
    #39799128
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
async запросы к oracle через python приложение
Nillkin1динамически генерируемых таблиц по таблице конфигурацииБыдлоподход.
...
Рейтинг: 0 / 0
10.04.2019, 07:58
    #39799133
-2-
-2-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
async запросы к oracle через python приложение
Nillkin1там нет DB специалистовА "здесь"?Nillkin1не поддерживает async.Что бы дал async?Nillkin1при threading или multiprocessing нагрузка ляжет не на сервер оракла, а на машину с которой выполняется командаКакая нагрузка при ожидании выполнения команды сервером? Разве, что несколько килобайт памяти на коннект.
...
Рейтинг: 0 / 0
10.04.2019, 08:14
    #39799138
AserYZ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
async запросы к oracle через python приложение
Nillkin1,

Если и нужно делать именно так как описано, то логично было бы запускать несколько параллельных процессов на клиенте, создавать для каждого отдельную сессию и конкурировать за ресурсы сервера БД.

Но мне кажется все уже сделано до нас и вы страдаете велосипедостроением.
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / async запросы к oracle через python приложение / 4 сообщений из 4, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]