powered by simpleCommunicator - 2.0.54     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Управление мапредюс задачками в кластере. Как ?
1 сообщений из 1, страница 1 из 1
Управление мапредюс задачками в кластере. Как ?
    #39046187
KRED
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем привет,

есть задачка проанализировать данные.
1 Анализ проходит в одной мапредюс задачке.
2 данные нужно конвертнуть в формат "hbase"

перед "второй подзадачей" нужно решить и правильно пропартиционировать табличку в hbase. ,
для нахождения правильных ключей партиционирования я написал ещё третий мапредюсер , который анализирует выходные данные из первого и партиционирует табличку в hbase.

Всё по отдельности работает отлично ... проблемы начинаются дальше при запусках и контроля этого зоопарка.

Запуск первой задачки я произвожу просто , как и в книжке. :-) в конфигурации задачки я указал mapreduce.job.end-notification.url и там сервлет срабатывает и запускает следующие шаги ... , но что то не складывается :-( порой задачки запускаются заново ... порой ... коллбаки пропадают. :-(

Кто что посоветует ? как этим правильно управлять ? впереди может появиться ещё и 4 мапредюсер ... что ещо больше всё усложнить .... оставаться мне на коллбаках или есть что то новое ?

Где тот слон которого я не заметил ?
...
Рейтинг: 0 / 0
1 сообщений из 1, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Управление мапредюс задачками в кластере. Как ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]