ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Запрос в hadoop через openqury
8 сообщений из 8, страница 1 из 1
Запрос в hadoop через openqury
    #39836053
assmsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
assmsk
Гость
Всем привет.
Я загружаю данные на sql сервер используя линкед сервер.

Запрос выглядит так :

Код: sql
1.
SELECT *  FROM OPENQUERY(HADOOP_1,'SELECT * FROM l_o.mytable')


Как засунуть в сюда инструкцию - set hive.query.result.fileformat = SequenceFile ?

Вот так как ниже код не компилируется

Код: sql
1.
SELECT *  FROM OPENQUERY(HADOOP_1,'set hive.query.result.fileformat = SequenceFile  ; SELECT * FROM l_o.mytable')
...
Рейтинг: 0 / 0
10.07.2019, 17:42
| Ответить | Цитировать | Написать  
Запрос в hadoop через openqury
    #39836577
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
assmsk,

Попробуйте подключить как внешнюю таблицу
https://docs.microsoft.com/ru-ru/sql/t-sql/statements/create-external-table-transact-sql?view=sql-server-2017
...
Рейтинг: 0 / 0
11.07.2019, 21:30
| Ответить | Цитировать | Написать  
Запрос в hadoop через openqury
    #39837265
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
exec ( ...) at HADOOP_1
работает?
...
Рейтинг: 0 / 0
14.07.2019, 21:20
| Ответить | Цитировать | Написать  
Запрос в hadoop через openqury
    #39840842
assmsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
assmsk
Гость
мигель1,
Server 'HADOOP_1' is not configured for RPC.
...
Рейтинг: 0 / 0
24.07.2019, 11:10
| Ответить | Цитировать | Написать  
Запрос в hadoop через openqury
    #39840860
assmsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
assmsk
Гость
assmsk, поменял настройки линка все получилось.
Но не понимаю теперь такой момент.

Код: sql
1.
EXEC('set hive.query.result.fileformat = SequenceFile;SELECT * FROM l_o.mytable') at HADOOP_1


- такая же ошибка как и через openquery

Но если сначала запустить
Код: sql
1.
EXEC('set hive.query.result.fileformat = SequenceFile') at HADOOP_1



После чего выполнить
Код: sql
1.
EXEC('SELECT * FROM l_o.mytable') at HADOOP_1



то к выводу второго запроса применяется настройка
Код: sql
1.
EXEC('set hive.query.result.fileformat = SequenceFile') at HADOOP_1



Но я от хадупа очень далек и не понимаю почему это работает
Предположим у меня есть некий линкед сервер, например mssql

И если я напишу 2 запроса через exec к серверу mssql где в первом некая надстройка а во втором select:

Код: sql
1.
2.
exec('SET ROWCOUNT 4;') at server1
exec('SET * from table;') at server1



Два этих запроса вообще никак не будут связаны между собой и второй запрос вернет не 4 строки, а столько сколько есть.


Почему так работает в хадупе?
...
Рейтинг: 0 / 0
24.07.2019, 11:30
| Ответить | Цитировать | Написать  
Запрос в hadoop через openqury
    #39841705
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
assmsk,

если я правильно понимаю:

запрос
Код: sql
1.
set hive.query.result.fileformat = SequenceFile

применяется ко всему конфигу

в случае
Код: sql
1.
SET ROWCOUNT 4;

это настройка живет в рамках 1 сессии


т.е. чтобы отработало попробуйте так

Код: sql
1.
exec('SET ROWCOUNT 4;SET * from table;') at server1
...
Рейтинг: 0 / 0
26.07.2019, 01:04
| Ответить | Цитировать | Написать  
Запрос в hadoop через openqury
    #39842716
assmsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
assmsk
Гость
Еще один попутный вопрос.
С точки зрения написания запросов из MSSQL к Hadoop, более высокопроизводительный вариант это писать через openquery
или через создание EXTERNAL TABLE для хадупа?
...
Рейтинг: 0 / 0
29.07.2019, 19:32
| Ответить | Цитировать | Написать  
Запрос в hadoop через openqury
    #39844355
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
assmskЕще один попутный вопрос.
С точки зрения написания запросов из MSSQL к Hadoop, более высокопроизводительный вариант это писать через openquery
или через создание EXTERNAL TABLE для хадупа?

через openquery писать большие запросы вообще не стоит, т.к. в mssql кеширует в темпбд
...
Рейтинг: 0 / 0
01.08.2019, 23:51
| Ответить | Цитировать | Написать  
8 сообщений из 8, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Запрос в hadoop через openqury
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=48&gotonew=1&tid=1856583]:
 0ms
get settings:
 10ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 170ms
get topic data:
 11ms
get first new msg:
 7ms
get forum data:
 2ms
get page messages:
 55ms
get tp. blocked users:
 3ms
others: 239ms
total:  521ms
созд. / загр.: 521ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]