Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
20.04.2018, 07:58
|
|||
---|---|---|---|
|
|||
Sql-ем выдернуть данные из linux под hdfs(без клиента оракла) |
|||
#18+
Всем привет. Есть сервак на линухе под hdfs. Необходимо залить данные с оракла в хадуп. Думаю написать bash скрипт в котором используя sqoop сделать перелив. Проблема. В баш скрипте нужно пульнуть sql к базе, получить некую переменную которая будет нужна для определения итераций цикла для баш-скрипта. Ораклового клиента не стоит и не будет т.е. sqlplus отметаем. Какие вижу варианты: 1) Sqoop-ом выгрузить данные из оракла на линукс, далее открыть нужный файлик и баш-скриптом вычитать данные. Кривовато имхо. 2) Возможно есть какие-то аналоги sqoop-а которые можно инсталлировать на линуксе и которые будут использовать jdbc драйвер для коннекта к ораклу и выгружать данные сразу в переменные для баш скрипта? 3) После выполнения скрипта хотелось бы записать некий лог в бд оракла об успешной отработке. Конечно можно сделать через sqoop eval, но если под пунктом два будет специальный продукт предназначенный для этого будет чудесно. В идеале Apache штука конечно. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
20.04.2018, 10:22
|
|||
---|---|---|---|
|
|||
Sql-ем выдернуть данные из linux под hdfs(без клиента оракла) |
|||
#18+
Pavel_PV, поставьте любую утилиту для консольного выполнения sql запросов. Сборка хадупа от клаудера содержит в себе beeline, коннектесь к ораклу через jdbc и делайте любые запросы: Код: plaintext
... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=48&mobile=1&tid=1856626]: |
0ms |
get settings: |
11ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
129ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
39ms |
get tp. blocked users: |
1ms |
others: | 233ms |
total: | 449ms |
0 / 0 |