|
|
|
Управление мапредюс задачками в кластере. Как ?
|
|||
|---|---|---|---|
|
#18+
Всем привет, есть задачка проанализировать данные. 1 Анализ проходит в одной мапредюс задачке. 2 данные нужно конвертнуть в формат "hbase" перед "второй подзадачей" нужно решить и правильно пропартиционировать табличку в hbase. , для нахождения правильных ключей партиционирования я написал ещё третий мапредюсер , который анализирует выходные данные из первого и партиционирует табличку в hbase. Всё по отдельности работает отлично ... проблемы начинаются дальше при запусках и контроля этого зоопарка. Запуск первой задачки я произвожу просто , как и в книжке. :-) в конфигурации задачки я указал mapreduce.job.end-notification.url и там сервлет срабатывает и запускает следующие шаги ... , но что то не складывается :-( порой задачки запускаются заново ... порой ... коллбаки пропадают. :-( Кто что посоветует ? как этим правильно управлять ? впереди может появиться ещё и 4 мапредюсер ... что ещо больше всё усложнить .... оставаться мне на коллбаках или есть что то новое ? Где тот слон которого я не заметил ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.09.2015, 19:18 |
|
||
|
|

start [/forum/moderation_log.php?user_name=skibidi]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
159ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
38ms |
get tp. blocked users: |
2ms |
| others: | 441ms |
| total: | 702ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...