DB link to Hive / Oracle

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Oracle [игнор отключен] [закрыт для гостей] / DB link to Hive

9 сообщений из 9, страница 1 из 1

DB link to Hive

#39455886

Vladml

Гость

Кто нибудь связывал Oracle 12С c Hive?

Сделал все по инструкции
https://community.oracle.com/docs/DOC-1002634

isql работает нормально, из sqlplus получаю

select count(*) from customer@HIVEDSN
*
ERROR at line 1:
ORA-28500: connection from ORACLE to a non-Oracle system returned this message:
[

В логе
Exiting hgopoer, rc=0 at 2017/05/19-03:08:29
hgolgon, line 202: calling SQLSetConnectAttr got sqlstate H
Exiting hgolgon, rc=28500 at 2017/05/19-03:08:29 with error ptr FILE:hgolgon.c LINE:202 ID:Connection Attribute: TRACE
hostmstr: 0: HOA After hoalgon
RPC Calling nscontrol(0), rc=0

больше деталей добыть не удалось

...

Рейтинг:

0 / 0

19.05.2017, 10:27

| Ответить | Цитировать | Написать

DB link to Hive

#39456209

Vadim Lejnin

Участник

Сообщения: 7 675

Рейтинг: 0 / 0

VladmlКто нибудь связывал Oracle 12С c Hive?

Сделал все по инструкции
https://community.oracle.com/docs/DOC-1002634

isql работает нормально, из sqlplus получаю

select count(*) from customer@HIVEDSN
*
ERROR at line 1:
ORA-28500: connection from ORACLE to a non-Oracle system returned this message:
[

В логе
Exiting hgopoer, rc=0 at 2017/05/19-03:08:29
hgolgon, line 202: calling SQLSetConnectAttr got sqlstate H
Exiting hgolgon, rc=28500 at 2017/05/19-03:08:29 with error ptr FILE:hgolgon.c LINE:202 ID:Connection Attribute: TRACE
hostmstr: 0: HOA After hoalgon
RPC Calling nscontrol(0), rc=0

больше деталей добыть не удалось
ГаличА из зала нам кричат: "Давай подробности"
А файлы конфигурации где?
Как настраивал?

Код: plsql

1.
2.
3.
4.

odbc.ini
$ORACLE_HOME/hs/initXXX.ora
$ORACLE_HOME/network/admin/tnsnames.ora
$ORACLE_HOME/network/admin/listener.ora

Какими командами создавался DBLINK

p.s. используйте тэги spoiler и code для oформления

...

Рейтинг:

0 / 0

19.05.2017, 15:00

| Ответить | Цитировать | Написать

DB link to Hive

#39456214

Vadim Lejnin

Участник

Сообщения: 7 675

Рейтинг: 0 / 0

Vladml,

Для понимания как разрешается соединение по HS схематично: 8936980

...

Рейтинг:

0 / 0

19.05.2017, 15:04

| Ответить | Цитировать | Написать

DB link to Hive

#39456318

Vladml

Гость

Vadim Lejnin,

Делал один в один как в описании.

/oracle/odbc.ini

[HiveDSN]

# Description: DSN Description.
# This key is not necessary and is only to give a description of the data source.
Description=Cloudera ODBC Driver for Apache Hive (64-bit) DSN

# Driver: The location where the ODBC driver is installed to.
Driver=/opt/cloudera/hiveodbc/lib/64/libclouderahiveodbc64.so

# The DriverUnicodeEncoding setting is only used for SimbaDM
# When set to 1, SimbaDM runs in UTF-16 mode.
# When set to 2, SimbaDM runs in UTF-8 mode.
DriverUnicodeEncoding=2

# Values for HOST, PORT, KrbHostFQDN, and KrbServiceName should be set here.
# They can also be specified on the connection string.
HOST=XXXXX
PORT=10000
Schema=mapr
FastSQLPrepare=0
UseNativeQuery=0
HiveServerType=2
AuthMech=2
KrbHostFQDN=[Hive Server 2 Host FQDN]
KrbServiceName=[Hive Server 2 Kerberos service name]
UID=mapr

initHIVEDSN.ora

HS_FDS_SHAREABLE_NAME = /opt/cloudera/hiveodbc/lib/64/libclouderahiveodbc64.so
HS_FDS_TRACE_LEVEL=255
HS_TRANSACTION_MODEL = READ_ONLY
#
# ODBC specific environment variables
#
set ODBCINI=/oracle/odbc.ini
set LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64

listener.ora

SID_LIST_LISTENER =
(SID_LIST =
(SID_DESC =
(PROGRAM = dg4odbc)
(ARGS = ENVS=LD_LIBRARY_PATH= /opt/cloudera/hiveodbc/lib/64/libclouderahiveodbc64.so)
(SID_NAME = HIVEDSN)
(ORACLE_HOME = /oracle/product/12.1.0.2)
)
)

LISTENER =
(DESCRIPTION_LIST =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = host1)(PORT = 1521))
(ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC1521))
)
)

tnsnames.ora

HIVEDSN =
(DESCRIPTION=
(ADDRESS=(PROTOCOL=tcp)(HOST = host1)(PORT=1521))
(CONNECT_DATA=(SID=HIVEDSN))
(HS=OK)
)

tnsping hivedsn
Attempting to contact (DESCRIPTION= (ADDRESS=(PROTOCOL=tcp)(HOST = host1)(PORT=1521)) (CONNECT_DATA=(SID=HIVEDSN)) (HS=OK))
OK (0 msec)

ODBC настроено правильно, через isql hivedsn данные получаю, что-то не так в связке Oracle-ODBC

...

Рейтинг:

0 / 0

19.05.2017, 16:44

| Ответить | Цитировать | Написать

DB link to Hive

#39456320

Vladml

Гость

Забыл
create public database link hivedsn connect to mapr identified by mapr using 'HIVEDSN';

...

Рейтинг:

0 / 0

19.05.2017, 16:46

| Ответить | Цитировать | Написать

DB link to Hive

#39456365

Vadim Lejnin

Участник

Сообщения: 7 675

Рейтинг: 0 / 0

Vladml,

1) Я бы заменил (есть нюансы в наборе функций драйвера)
initHIVEDSN

Код: plsql

1.
2.

# HS_FDS_SHAREABLE_NAME = /opt/cloudera/hiveodbc/lib/64/libclouderahiveodbc64.so
HS_FDS_SHAREABLE_NAME = /usr/lib64/libodbc.so

Или где он в Вашей ОС находится, проверьте что это именно ELF64

Код: plsql

1.
2.
3.
4.

$ file /usr/lib64/libodbc.so
/usr/lib64/libodbc.so: symbolic link to `libodbc.so.2.0.0'
$ file /usr/lib64/libodbc.so.2.0.0
/usr/lib64/libodbc.so.2.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, stripped

2)
odbc ставили из репозитария?
OS какая?
проверьте как разрешается поиск библиотек:

Код: plsql

1.
2.

ldd $ORACLE_HOME/bin/dg4odbc
ldd /opt/cloudera/hiveodbc/lib/64/libclouderahiveodbc64.so

3)
listener.ora

Код: plsql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

SID_LIST_LISTENER =
(SID_LIST =
(SID_DESC =
(PROGRAM = dg4odbc)
# LD_LIBRARY_PATH - Это директория
# (ARGS = ENVS=LD_LIBRARY_PATH= /opt/cloudera/hiveodbc/lib/64/libclouderahiveodbc64.so)
(ARGS = ENVS=LD_LIBRARY_PATH= /opt/cloudera/hiveodbc/lib/64)
(SID_NAME = HIVEDSN)
(ORACLE_HOME = /oracle/product/12.1.0.2)
)
)

4) Что в файлах трассировки?

$ORACLE_HOME/hs/trace

...

Рейтинг:

0 / 0

19.05.2017, 17:29

| Ответить | Цитировать | Написать

DB link to Hive

#39456451

Vladml

Гость

Vadim Lejnin,

1. Заменил
2. odbc из репозитария RHEL 6.5, с правами все нормально
3. Исправил

Теперь в логе так

HOSGIP for "HS_FDS_REPORT_REAL_AS_DOUBLE" returned "FALSE"
using MAPR as default schema
HOSGIP for "HS_SQL_HANDLE_STMT_REUSE" returned "FALSE"
Entered hgocont at 2017/05/19-12:20:51
HS_FDS_CONNECT_INFO = "HIVEDSN"
RC=-1 from HOSGIP for "HS_FDS_CONNECT_STRING"
Entered hgogenconstr at 2017/05/19-12:20:51
dsn:HIVEDSN, name:MAPR
optn:
Entered hgocip at 2017/05/19-12:20:51
dsn:HIVEDSN
Exiting hgocip, rc=0 at 2017/05/19-12:20:51
##>Connect Parameters (len=29)<##
## DSN=HIVEDSN;
#! UID=MAPR;
#! PWD=*
Exiting hgogenconstr, rc=0 at 2017/05/19-12:20:51
Entered hgopoer at 2017/05/19-12:20:51
hgopoer, line 240: got native error 0 and sqlstate I; message follows...
[
Exiting hgopoer, rc=0 at 2017/05/19-12:20:51
hgocont, line 2812: calling SqlDriverConnect got sqlstate I
Exiting hgocont, rc=28500 at 2017/05/19-12:20:51 with error ptr FILE:hgocont.c LINE:2832 ID:Something other than invalid authorization
Exiting hgolgon, rc=28500 at 2017/05/19-12:20:51 with error ptr FILE:hgolgon.c LINE:751 ID:Calling hgocont

В файле odbc.ini и PWD и Password прописал, без результатов, хотя isql работет

...

Рейтинг:

0 / 0

19.05.2017, 19:33

| Ответить | Цитировать | Написать

DB link to Hive

#39456733

Vadim Lejnin

Участник

Сообщения: 7 675

Рейтинг: 0 / 0

Hive имеет case sensetiv пароли?
Если да
то попробуйте

Код: plsql

create public database link hivedsn connect to "mapr" identified by mapr using 'HIVEDSN';

...

Рейтинг:

0 / 0

20.05.2017, 23:20

| Ответить | Цитировать | Написать

DB link to Hive

#39456735

Vadim Lejnin

Участник

Сообщения: 7 675

Рейтинг: 0 / 0

Vladml,

Промахнулся

Код: plsql

create public database link hivedsn connect to "mapr" identified by "mapr" using 'HIVEDSN';

...

Рейтинг:

0 / 0

20.05.2017, 23:22

| Ответить | Цитировать | Написать

9 сообщений из 9, страница 1 из 1

Форумы / Oracle [игнор отключен] [закрыт для гостей] / DB link to Hive

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=52&msg=39455886&tid=1885906]:	0ms
get settings:	8ms
get forum list:	13ms
check forum access:	3ms
check topic access:	3ms
track hit:	171ms
get topic data:	8ms
get forum data:	2ms
get page messages:	44ms
get tp. blocked users:	1ms
others:	237ms

total:	490ms

	Необходимые cookie
	Cookie для сбора статистики
	Cookie для маркетинга и рекламы