|
Управление мапредюс задачками в кластере. Как ?
|
|||
---|---|---|---|
#18+
Всем привет, есть задачка проанализировать данные. 1 Анализ проходит в одной мапредюс задачке. 2 данные нужно конвертнуть в формат "hbase" перед "второй подзадачей" нужно решить и правильно пропартиционировать табличку в hbase. , для нахождения правильных ключей партиционирования я написал ещё третий мапредюсер , который анализирует выходные данные из первого и партиционирует табличку в hbase. Всё по отдельности работает отлично ... проблемы начинаются дальше при запусках и контроля этого зоопарка. Запуск первой задачки я произвожу просто , как и в книжке. :-) в конфигурации задачки я указал mapreduce.job.end-notification.url и там сервлет срабатывает и запускает следующие шаги ... , но что то не складывается :-( порой задачки запускаются заново ... порой ... коллбаки пропадают. :-( Кто что посоветует ? как этим правильно управлять ? впереди может появиться ещё и 4 мапредюсер ... что ещо больше всё усложнить .... оставаться мне на коллбаках или есть что то новое ? Где тот слон которого я не заметил ? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.09.2015, 19:18 |
|
|
start [/forum/topic.php?fid=48&tid=1856802]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
238ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
36ms |
get tp. blocked users: |
2ms |
others: | 361ms |
total: | 679ms |
0 / 0 |