powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Oozie (Hadoop): зависает джоб с вызовом Sqoop
5 сообщений из 5, страница 1 из 1
Oozie (Hadoop): зависает джоб с вызовом Sqoop
    #38663795
Jack Carver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллеги,

1) Кто-то работает с Oozie для оркестровки ETL в рамках hadoop?

2) Сталкивались ли с тем, что джоб, вызывающий sqoop-действие, висит бесконечно.
Если запускать sqoop через командную строку - все работает.
Ошибок в логах oozie-workflow нет...
...
Рейтинг: 0 / 0
Oozie (Hadoop): зависает джоб с вызовом Sqoop
    #38664422
smikesh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jack CarverКоллеги,

1) Кто-то работает с Oozie для оркестровки ETL в рамках hadoop?

2) Сталкивались ли с тем, что джоб, вызывающий sqoop-действие, висит бесконечно.
Если запускать sqoop через командную строку - все работает.
Ошибок в логах oozie-workflow нет...

если не секрет а куда ты данные пишешь? в смысле что дальше будет происходить? просто хай или что то более интересное, типа импалы ?
и о какой дистрибуции речь?
...
Рейтинг: 0 / 0
Oozie (Hadoop): зависает джоб с вызовом Sqoop
    #38664429
Jack Carver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дистрибуция от Cloudera.

Sqoop'ом импортирую данные из MySQL (direct-mode),
Sqoop'ом заливаю данные из Oracle (OraOOP),
трансформирую/агрегирую Pig'ом,
Sqoop'ом экспортирую в колоночную БД витрин данных - InfiniDB (hadoop edition).

Дальше OracleBI (через федерацию источников данных) работает с агрегатами в InfiniDB и с детальными данными в Hive-таблицах через Impala.

----------
А проблему я решил. Сам себе злобный буратино - параллельно висели 2 одинаковых джоба на экспорт через Sqoop в InfiniDB. И похоже, что утилита прямой вставки (cpimport) infiniDB сделала дедлок. Прибил один из джобов и второй за минуту отработал.
...
Рейтинг: 0 / 0
Oozie (Hadoop): зависает джоб с вызовом Sqoop
    #38666015
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jack CarverА проблему я решил. Сам себе злобный буратино - параллельно висели 2 одинаковых джоба на экспорт через Sqoop в InfiniDB. И похоже, что утилита прямой вставки (cpimport) infiniDB сделала дедлок. Прибил один из джобов и второй за минуту отработал.
А, ну я так и подумал. Решается выделением отдельного пула для Oozie launcher.
...
Рейтинг: 0 / 0
Oozie (Hadoop): зависает джоб с вызовом Sqoop
    #38669592
smikesh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jack Carver,

и какие впечатления от импалы и инфинит дб? кстати насколько много данных? по идее инфинитдб сама может довольно много хранить, или в детальных таблицах данных намного больше чем она тянет?
кстати в чем вы храните таблицы для импалы? в паркете?
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Oozie (Hadoop): зависает джоб с вызовом Sqoop
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]