Добрый день!
Как можно решить задачу по параллельной обработке данных из бд с помощью нескольких клиентских приложений?

Опишу подробнее.
Есть база, в базе большая по числу записей таблица.
К бд подключаются несколько одинаковых java приложений. Каждое умеет обрабатывать записи таблицы. То есть вычитывать, изменять и сохранять обратно в туже таблицу.

Требуется запустить обработку всех записей из таблицы, удовлетворяющих условию.
Допустим, если таблица содержит 10млн строк, то под условие может попадать 8,5 млн. И эти 8,5 млн строк требуется обработать, например, на 5 клиентских приложениях - около 1,7 млн записей на каждого.

Как можно разделить данные между клиентами, чтобы не было проблем во время обработки? Как в таком подходе будет реагировать оракл?

AmKad,

Клиент по отношению к бд. На самом деле это уровень сервера приложений.
Хочется перераспределить нагрузку по обработке данных с сервера бд на сервера приложений.

Dimitry SibiryakovfeomatrХочется перераспределить нагрузку по обработке данных с сервера бд на сервера приложений.

Хочется - перераспределяй. Но что заставляет делать это средствами БД? Заведи диспетчер,
который вычитает твои 8кк записей и раскидает по исполнителям.
Когда исполнитель выбирает пачку данных и активно ее обновляет не будет происходить столкновений/взаимных блокировок в оракле при обновлении строк?

Будет разница если горизонтально разделять записи таблицы для обработчиков? А если каждый из обработчиков пронуровать и пусть он отрабатывает строки, хэш функция которых при делении на число обработчиков равна номеру обработчика?

ElicfeomatrХочется перераспределить нагрузку по обработке данных с сервера бд на сервера приложений.Наивный велосипедостроитель? "Шчаз я на яве всех порву, как тузик грелку"?

Есть идеи, как оптимально организовать такой процесс обработки?

Dimitry SibiryakovfeomatrХочется перераспределить нагрузку по обработке данных с сервера бд на сервера приложений.

Хочется - перераспределяй. Но что заставляет делать это средствами БД? Заведи диспетчер,
который вычитает твои 8кк записей и раскидает по исполнителям.


1)На сколько эффективно , если Исполнитель будет обновлять каждую запись в отдельной транзакции?
2) на сколько эффективно обновлять записи пачками?

Есть best practices в массовой обработке данных из бд на клиенте?

Dimitry SibiryakovfeomatrКогда исполнитель выбирает пачку данных и активно ее обновляет не будет происходить
столкновений/взаимных блокировок в оракле при обновлении строк?

С кем столкновений? Диспетчер - один. Он коммитит транзакцию перед раскидыванием
выбранного списка исполнителям.
Если исполнителей много и каждый активно пишет и читает одну таблицу, то полагаю, что СУБД при определенной нагрузке может начать не поддерживать конкурентный доступ к таблице.
Насколько это реально? Есть какой-то sla у оракла.

Или массовая обработка просто напросто упрется в сеть и передачу данных ? Как указал Мутаген.

Сформулировал мысль и задал вопрос в другой ветке.

http://www.sql.ru/forum/1302406-a/posovetuyte-podhody-i-literaturu-po-massovoy-obrabotke-dannyh

Спасибо за ответы)

XMLer,
Что может случиться?

Dimitry Sibiryakov,

Результатом работы исполнителя предполагается обновление каждой записи из переданной ему пачки. Пачка размерами от тысяч, десятков тысяч