|
Доступ к данным hadoop при минимуме информации
|
|||
---|---|---|---|
#18+
Доброго времени суток! Я разработчик SQL БД, появилась необходимость подгружать в них данные из хадупа. Мне сообщили адрес вида hue.имя_организации.ru, логин и пароль. На сайте после ввода логина/пароля в редакторе я составляю запрос на выборку нужных мне записей из таблицы, полученный результат после нажатия на соотв. кнопку скачиваю в xls/csv формате, после чего с помощью ETL-программы (Pentaho Kettle) закачиваю в БД MS SQL Server'а. Теперь требуется автоматизировать процесс получения данных из хадупа. Кроме адреса, логина и пароля, все что мне известно - вендором хадупа является Cloudera. Пробовал по-разному соединиться с хадупом из Pentaho Kettle (в качестве имени хоста вводил hue.имя_организации.ru, пробовал разные порты и драйверы) - безуспешно. Получение какой-либо дополнительной информации от организации, у которой установлен хадуп - затруднительно, настройки файрволла у нее мне тоже неизвестны. Есть ли возможность получить данные от хадупа путем передачи методом post странице hue.имя_организации.ru текста sql-запроса? Что вообще можно попытаться предпринять? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.12.2017, 15:41 |
|
Доступ к данным hadoop при минимуме информации
|
|||
---|---|---|---|
#18+
делали всё, что тут написано? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.12.2017, 02:39 |
|
Доступ к данным hadoop при минимуме информации
|
|||
---|---|---|---|
#18+
ankalex, через polybase пробовали? https://docs.microsoft.com/ru-ru/sql/relational-databases/polybase/polybase-guide ... |
|||
:
Нравится:
Не нравится:
|
|||
25.12.2017, 21:16 |
|
Доступ к данным hadoop при минимуме информации
|
|||
---|---|---|---|
#18+
пробуй jdbc имя_организации.ru:10000 драйвер hive2 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.12.2017, 18:03 |
|
Доступ к данным hadoop при минимуме информации
|
|||
---|---|---|---|
#18+
Дедушка, по вашей ссылке требуется "Copy Configuration Files from the Cluster to the Shim". Весьма маловероятно, что мне пришлют что-либо с хадупа. Критик, ставить polybase на MS SQL Server ради одной небольшой задачи мне вряд ли разрешат. Судя по всему, в настоящий момент у меня просто нет доступа (к портам хадупа) помимо hue, буду ждать ответа на его запрос. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.12.2017, 10:18 |
|
|
start [/forum/topic.php?fid=48&msg=39575710&tid=1856653]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
793ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
41ms |
get tp. blocked users: |
1ms |
others: | 238ms |
total: | 1118ms |
0 / 0 |