Добрый день!

Есть сервер (2.3.0-cdh5.1.2).

Есть кучка мапперов. Например 100.

Есть job'а, включающая в себя много (10^6..10^8) логических частей. Это загрузка данных в oracle, количество частей определяется размером транзакции.

Нужно, чтобы на YARN'е выполнялось сразу не 100 задач (oracle просаживается, что недопустимо), а некое заданное число. Например 10.

Какие есть пока решения.
1. Временно задать кластеру 10 мапперов. Плохо, т.к. получается, что кластер ломается ради выгрузки данных.

2. Сделать размер задачи таким, чтобы задач было 10. Плохо то, что либо размер транзакции становится огромным (до миллиарда вставок), либо делаются промежуточные коммиты, что противоречит идеологии hadoop'а - если вставка поперхулась (попадается нехватка rollback-сегмента), то рестартует вся мапа и данные дублируются. Все индексы на время загрузки отключены- иначе оракл, опять же, жалуется админам на тяжелую жизнь, а там высоко-приоритетные задачи...

Есть ли возможность решить проблему нормальным методом- задать для конкретной задачи максимальное число активных мапперов?

--
Алексей.

Alexander RyndinПопробуйте объяснить, чего вы хотите добиться, абстрагировавшись от своего собственного решения.

Надо загрузить данные из hdfs в oracle. Несколько миллиардов строк.
Не в 50 потоков (чтобы не грузить оракл, т.к. там критичные процессы).
Не 1Г строк в одной транзакции (temp не резиновый).

oraloader делает просто и тупо- каждая мапа- это одна транзакция, т.е. либо 50 потоков (если мапы помельче), либо 1Г в транзакции (если побольше). В обоих случаях админы шлют гневные письма- и хорошо, что дело на тестовом сервере происходит.

Пока я делаю размер мапы так, чтобы загрузка шла в нужные мне 8 потоков, коммиты вставляю когда хочу, если ошибка (temp не хватило, к примеру), сам делаю повторные попытки (N штук), а повторный запуска задач запрещаю.

ApexПодключайте этот лоадер через шаред сервера, тогда по идее получится что-то вроде очереди.

Э...
Можно ткнуть пальцем в доку? Что-то не очень понял...

ApexAlexey Tominoraloader делает просто и тупо- каждая мапа- это одна транзакция
Ну конечно отдельная, это ж отдельная таска и отдельный коннект к базе. Подключайте этот лоадер через шаред сервера, тогда по идее получится что-то вроде очереди.

Кстати, если это про ограничение числа сессий пользователя- то это не вариант, т.к. оракл выдаст ошибку подключения и hadoop сойдёт с ума от такого...