Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Доступ к данным hadoop при минимуме информации
|
|||
|---|---|---|---|
|
#18+
Доброго времени суток! Я разработчик SQL БД, появилась необходимость подгружать в них данные из хадупа. Мне сообщили адрес вида hue.имя_организации.ru, логин и пароль. На сайте после ввода логина/пароля в редакторе я составляю запрос на выборку нужных мне записей из таблицы, полученный результат после нажатия на соотв. кнопку скачиваю в xls/csv формате, после чего с помощью ETL-программы (Pentaho Kettle) закачиваю в БД MS SQL Server'а. Теперь требуется автоматизировать процесс получения данных из хадупа. Кроме адреса, логина и пароля, все что мне известно - вендором хадупа является Cloudera. Пробовал по-разному соединиться с хадупом из Pentaho Kettle (в качестве имени хоста вводил hue.имя_организации.ru, пробовал разные порты и драйверы) - безуспешно. Получение какой-либо дополнительной информации от организации, у которой установлен хадуп - затруднительно, настройки файрволла у нее мне тоже неизвестны. Есть ли возможность получить данные от хадупа путем передачи методом post странице hue.имя_организации.ru текста sql-запроса? Что вообще можно попытаться предпринять? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2017, 15:41 |
|
||
|
Доступ к данным hadoop при минимуме информации
|
|||
|---|---|---|---|
|
#18+
делали всё, что тут написано? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2017, 02:39 |
|
||
|
Доступ к данным hadoop при минимуме информации
|
|||
|---|---|---|---|
|
#18+
ankalex, через polybase пробовали? https://docs.microsoft.com/ru-ru/sql/relational-databases/polybase/polybase-guide ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2017, 21:16 |
|
||
|
Доступ к данным hadoop при минимуме информации
|
|||
|---|---|---|---|
|
#18+
пробуй jdbc имя_организации.ru:10000 драйвер hive2 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 18:03 |
|
||
|
Доступ к данным hadoop при минимуме информации
|
|||
|---|---|---|---|
|
#18+
Дедушка, по вашей ссылке требуется "Copy Configuration Files from the Cluster to the Shim". Весьма маловероятно, что мне пришлют что-либо с хадупа. Критик, ставить polybase на MS SQL Server ради одной небольшой задачи мне вряд ли разрешат. Судя по всему, в настоящий момент у меня просто нет доступа (к портам хадупа) помимо hue, буду ждать ответа на его запрос. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2017, 10:18 |
|
||
|
|

start [/forum/topic.php?fid=48&msg=39575138&tid=1856653]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
63ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
53ms |
get tp. blocked users: |
2ms |
| others: | 15ms |
| total: | 181ms |

| 0 / 0 |
