powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Sql-ем выдернуть данные из linux под hdfs(без клиента оракла)
3 сообщений из 3, страница 1 из 1
Sql-ем выдернуть данные из linux под hdfs(без клиента оракла)
    #39633498
Pavel_PV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет.

Есть сервак на линухе под hdfs. Необходимо залить данные с оракла в хадуп. Думаю написать bash скрипт в котором используя sqoop сделать перелив.

Проблема.
В баш скрипте нужно пульнуть sql к базе, получить некую переменную которая будет нужна для определения итераций цикла для баш-скрипта. Ораклового клиента не стоит и не будет т.е. sqlplus отметаем. Какие вижу варианты:
1) Sqoop-ом выгрузить данные из оракла на линукс, далее открыть нужный файлик и баш-скриптом вычитать данные. Кривовато имхо.
2) Возможно есть какие-то аналоги sqoop-а которые можно инсталлировать на линуксе и которые будут использовать jdbc драйвер для коннекта к ораклу и выгружать данные сразу в переменные для баш скрипта?
3) После выполнения скрипта хотелось бы записать некий лог в бд оракла об успешной отработке. Конечно можно сделать через sqoop eval, но если под пунктом два будет специальный продукт предназначенный для этого будет чудесно. В идеале Apache штука конечно.
...
Рейтинг: 0 / 0
Sql-ем выдернуть данные из linux под hdfs(без клиента оракла)
    #39633582
pihel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Pavel_PV,

поставьте любую утилиту для консольного выполнения sql запросов.
Сборка хадупа от клаудера содержит в себе beeline, коннектесь к ораклу через jdbc и делайте любые запросы:
Код: plaintext
beeline -u $CRM_CONNECTION -n $CRM_USER -p $CRM_PASSWORD --showHeader= false  --silent= true  --outputformat=csv2 --isolation=TRANSACTION_READ_COMMITTED --fastConnect= true  -e "$1" 2 >/ dev / null
...
Рейтинг: 0 / 0
Sql-ем выдернуть данные из linux под hdfs(без клиента оракла)
    #39633677
Pavel_PV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
pihel, спасибо!

Когда бегло читал подумал она только с хайвом умеет работать. Буду пробовать.
...
Рейтинг: 0 / 0
3 сообщений из 3, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Sql-ем выдернуть данные из linux под hdfs(без клиента оракла)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]