Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Oozie (Hadoop): зависает джоб с вызовом Sqoop / 5 сообщений из 5, страница 1 из 1
06.06.2014, 15:53
    #38663795
Jack Carver
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oozie (Hadoop): зависает джоб с вызовом Sqoop
Коллеги,

1) Кто-то работает с Oozie для оркестровки ETL в рамках hadoop?

2) Сталкивались ли с тем, что джоб, вызывающий sqoop-действие, висит бесконечно.
Если запускать sqoop через командную строку - все работает.
Ошибок в логах oozie-workflow нет...
...
Рейтинг: 0 / 0
07.06.2014, 17:26
    #38664422
smikesh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oozie (Hadoop): зависает джоб с вызовом Sqoop
Jack CarverКоллеги,

1) Кто-то работает с Oozie для оркестровки ETL в рамках hadoop?

2) Сталкивались ли с тем, что джоб, вызывающий sqoop-действие, висит бесконечно.
Если запускать sqoop через командную строку - все работает.
Ошибок в логах oozie-workflow нет...

если не секрет а куда ты данные пишешь? в смысле что дальше будет происходить? просто хай или что то более интересное, типа импалы ?
и о какой дистрибуции речь?
...
Рейтинг: 0 / 0
07.06.2014, 18:02
    #38664429
Jack Carver
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oozie (Hadoop): зависает джоб с вызовом Sqoop
Дистрибуция от Cloudera.

Sqoop'ом импортирую данные из MySQL (direct-mode),
Sqoop'ом заливаю данные из Oracle (OraOOP),
трансформирую/агрегирую Pig'ом,
Sqoop'ом экспортирую в колоночную БД витрин данных - InfiniDB (hadoop edition).

Дальше OracleBI (через федерацию источников данных) работает с агрегатами в InfiniDB и с детальными данными в Hive-таблицах через Impala.

----------
А проблему я решил. Сам себе злобный буратино - параллельно висели 2 одинаковых джоба на экспорт через Sqoop в InfiniDB. И похоже, что утилита прямой вставки (cpimport) infiniDB сделала дедлок. Прибил один из джобов и второй за минуту отработал.
...
Рейтинг: 0 / 0
10.06.2014, 10:33
    #38666015
Apex
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oozie (Hadoop): зависает джоб с вызовом Sqoop
Jack CarverА проблему я решил. Сам себе злобный буратино - параллельно висели 2 одинаковых джоба на экспорт через Sqoop в InfiniDB. И похоже, что утилита прямой вставки (cpimport) infiniDB сделала дедлок. Прибил один из джобов и второй за минуту отработал.
А, ну я так и подумал. Решается выделением отдельного пула для Oozie launcher.
...
Рейтинг: 0 / 0
15.06.2014, 12:41
    #38669592
smikesh
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oozie (Hadoop): зависает джоб с вызовом Sqoop
Jack Carver,

и какие впечатления от импалы и инфинит дб? кстати насколько много данных? по идее инфинитдб сама может довольно много хранить, или в детальных таблицах данных намного больше чем она тянет?
кстати в чем вы храните таблицы для импалы? в паркете?
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Oozie (Hadoop): зависает джоб с вызовом Sqoop / 5 сообщений из 5, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]