|
Sql-ем выдернуть данные из linux под hdfs(без клиента оракла)
|
|||
---|---|---|---|
#18+
Всем привет. Есть сервак на линухе под hdfs. Необходимо залить данные с оракла в хадуп. Думаю написать bash скрипт в котором используя sqoop сделать перелив. Проблема. В баш скрипте нужно пульнуть sql к базе, получить некую переменную которая будет нужна для определения итераций цикла для баш-скрипта. Ораклового клиента не стоит и не будет т.е. sqlplus отметаем. Какие вижу варианты: 1) Sqoop-ом выгрузить данные из оракла на линукс, далее открыть нужный файлик и баш-скриптом вычитать данные. Кривовато имхо. 2) Возможно есть какие-то аналоги sqoop-а которые можно инсталлировать на линуксе и которые будут использовать jdbc драйвер для коннекта к ораклу и выгружать данные сразу в переменные для баш скрипта? 3) После выполнения скрипта хотелось бы записать некий лог в бд оракла об успешной отработке. Конечно можно сделать через sqoop eval, но если под пунктом два будет специальный продукт предназначенный для этого будет чудесно. В идеале Apache штука конечно. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.04.2018, 07:58 |
|
Sql-ем выдернуть данные из linux под hdfs(без клиента оракла)
|
|||
---|---|---|---|
#18+
Pavel_PV, поставьте любую утилиту для консольного выполнения sql запросов. Сборка хадупа от клаудера содержит в себе beeline, коннектесь к ораклу через jdbc и делайте любые запросы: Код: plaintext
... |
|||
:
Нравится:
Не нравится:
|
|||
20.04.2018, 10:22 |
|
|
start [/forum/topic.php?fid=48&fpage=4&tid=1856626]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
63ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
40ms |
get tp. blocked users: |
2ms |
others: | 14ms |
total: | 166ms |
0 / 0 |