Гость
Войти | Профиль | Очистить
Действия ...
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Запрос в hadoop через openqury / 8 сообщений из 8, страница 1 из 1
10.07.2019, 17:42
    #39836053
assmsk
assmsk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запрос в hadoop через openqury
Всем привет.
Я загружаю данные на sql сервер используя линкед сервер.

Запрос выглядит так :

Код: sql
1.
SELECT *  FROM OPENQUERY(HADOOP_1,'SELECT * FROM l_o.mytable')


Как засунуть в сюда инструкцию - set hive.query.result.fileformat = SequenceFile ?

Вот так как ниже код не компилируется

Код: sql
1.
SELECT *  FROM OPENQUERY(HADOOP_1,'set hive.query.result.fileformat = SequenceFile  ; SELECT * FROM l_o.mytable')
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.07.2019, 21:30
    #39836577
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запрос в hadoop через openqury
assmsk,

Попробуйте подключить как внешнюю таблицу
https://docs.microsoft.com/ru-ru/sql/t-sql/statements/create-external-table-transact-sql?view=sql-server-2017
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.07.2019, 21:20
    #39837265
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запрос в hadoop через openqury
exec ( ...) at HADOOP_1
работает?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.07.2019, 11:10
    #39840842
assmsk
assmsk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запрос в hadoop через openqury
мигель1,
Server 'HADOOP_1' is not configured for RPC.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.07.2019, 11:30
    #39840860
assmsk
assmsk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запрос в hadoop через openqury
assmsk, поменял настройки линка все получилось.
Но не понимаю теперь такой момент.

Код: sql
1.
EXEC('set hive.query.result.fileformat = SequenceFile;SELECT * FROM l_o.mytable') at HADOOP_1


- такая же ошибка как и через openquery

Но если сначала запустить
Код: sql
1.
EXEC('set hive.query.result.fileformat = SequenceFile') at HADOOP_1



После чего выполнить
Код: sql
1.
EXEC('SELECT * FROM l_o.mytable') at HADOOP_1



то к выводу второго запроса применяется настройка
Код: sql
1.
EXEC('set hive.query.result.fileformat = SequenceFile') at HADOOP_1



Но я от хадупа очень далек и не понимаю почему это работает
Предположим у меня есть некий линкед сервер, например mssql

И если я напишу 2 запроса через exec к серверу mssql где в первом некая надстройка а во втором select:

Код: sql
1.
2.
exec('SET ROWCOUNT 4;') at server1
exec('SET * from table;') at server1



Два этих запроса вообще никак не будут связаны между собой и второй запрос вернет не 4 строки, а столько сколько есть.


Почему так работает в хадупе?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.07.2019, 01:04
    #39841705
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запрос в hadoop через openqury
assmsk,

если я правильно понимаю:

запрос
Код: sql
1.
set hive.query.result.fileformat = SequenceFile

применяется ко всему конфигу

в случае
Код: sql
1.
SET ROWCOUNT 4;

это настройка живет в рамках 1 сессии


т.е. чтобы отработало попробуйте так

Код: sql
1.
exec('SET ROWCOUNT 4;SET * from table;') at server1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.07.2019, 19:32
    #39842716
assmsk
assmsk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запрос в hadoop через openqury
Еще один попутный вопрос.
С точки зрения написания запросов из MSSQL к Hadoop, более высокопроизводительный вариант это писать через openquery
или через создание EXTERNAL TABLE для хадупа?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.08.2019, 23:51
    #39844355
мигель1
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Запрос в hadoop через openqury
assmskЕще один попутный вопрос.
С точки зрения написания запросов из MSSQL к Hadoop, более высокопроизводительный вариант это писать через openquery
или через создание EXTERNAL TABLE для хадупа?

через openquery писать большие запросы вообще не стоит, т.к. в mssql кеширует в темпбд
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Запрос в hadoop через openqury / 8 сообщений из 8, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 508ms
Закрыть
start [/forum/topic.php?fid=48&mobile=1&tid=1856583]:
 0ms
get settings:
 10ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 176ms
get topic data:
 14ms
get forum data:
 3ms
get page messages:
 49ms
get tp. blocked users:
 2ms
others: 233ms
total:  508ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]