|
Oozie (Hadoop): зависает джоб с вызовом Sqoop
|
|||
---|---|---|---|
#18+
Коллеги, 1) Кто-то работает с Oozie для оркестровки ETL в рамках hadoop? 2) Сталкивались ли с тем, что джоб, вызывающий sqoop-действие, висит бесконечно. Если запускать sqoop через командную строку - все работает. Ошибок в логах oozie-workflow нет... ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2014, 15:53 |
|
Oozie (Hadoop): зависает джоб с вызовом Sqoop
|
|||
---|---|---|---|
#18+
Jack CarverКоллеги, 1) Кто-то работает с Oozie для оркестровки ETL в рамках hadoop? 2) Сталкивались ли с тем, что джоб, вызывающий sqoop-действие, висит бесконечно. Если запускать sqoop через командную строку - все работает. Ошибок в логах oozie-workflow нет... если не секрет а куда ты данные пишешь? в смысле что дальше будет происходить? просто хай или что то более интересное, типа импалы ? и о какой дистрибуции речь? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2014, 17:26 |
|
Oozie (Hadoop): зависает джоб с вызовом Sqoop
|
|||
---|---|---|---|
#18+
Дистрибуция от Cloudera. Sqoop'ом импортирую данные из MySQL (direct-mode), Sqoop'ом заливаю данные из Oracle (OraOOP), трансформирую/агрегирую Pig'ом, Sqoop'ом экспортирую в колоночную БД витрин данных - InfiniDB (hadoop edition). Дальше OracleBI (через федерацию источников данных) работает с агрегатами в InfiniDB и с детальными данными в Hive-таблицах через Impala. ---------- А проблему я решил. Сам себе злобный буратино - параллельно висели 2 одинаковых джоба на экспорт через Sqoop в InfiniDB. И похоже, что утилита прямой вставки (cpimport) infiniDB сделала дедлок. Прибил один из джобов и второй за минуту отработал. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2014, 18:02 |
|
Oozie (Hadoop): зависает джоб с вызовом Sqoop
|
|||
---|---|---|---|
#18+
Jack CarverА проблему я решил. Сам себе злобный буратино - параллельно висели 2 одинаковых джоба на экспорт через Sqoop в InfiniDB. И похоже, что утилита прямой вставки (cpimport) infiniDB сделала дедлок. Прибил один из джобов и второй за минуту отработал. А, ну я так и подумал. Решается выделением отдельного пула для Oozie launcher. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.06.2014, 10:33 |
|
Oozie (Hadoop): зависает джоб с вызовом Sqoop
|
|||
---|---|---|---|
#18+
Jack Carver, и какие впечатления от импалы и инфинит дб? кстати насколько много данных? по идее инфинитдб сама может довольно много хранить, или в детальных таблицах данных намного больше чем она тянет? кстати в чем вы храните таблицы для импалы? в паркете? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.06.2014, 12:41 |
|
|
start [/forum/topic.php?fid=48&msg=38663795&tid=1856888]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
46ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
49ms |
get tp. blocked users: |
2ms |
others: | 13ms |
total: | 159ms |
0 / 0 |