Гость
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / hive / impala как оптимизировать запросы / 6 сообщений из 6, страница 1 из 1
30.03.2018, 22:33
    #39623601
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hive / impala как оптимизировать запросы
Подскажите пожалуйста

Есть десяток запросов, которые хочется ускорить.
Куда копать, что смотреть?

Спасибо
...
Рейтинг: 0 / 0
30.03.2018, 23:00
    #39623602
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hive / impala как оптимизировать запросы
в инете куча всевозможных мануалов по оптимизации хайвовых запросов.
от правильной готовки самого хайва (таблицы, партиции, векторизация...)
до техник написания запросов (там суть в том, что не нужно писать в "реляционном" стиле)
...
Рейтинг: 0 / 0
31.03.2018, 09:32
    #39623652
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hive / impala как оптимизировать запросы
мигель1Подскажите пожалуйста

Есть десяток запросов, которые хочется ускорить.
Куда копать, что смотреть?

Спасибо
как и везде, курить план. в impala-shell или в hue под кнопкой play, иконка книжка. там execution plan. ну а дальше переписывать запрос с применением CTE.
иногда помогает.
...
Рейтинг: 0 / 0
31.03.2018, 10:02
    #39623655
мигель1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hive / impala как оптимизировать запросы
Спасибо большое, друзья!

в том то и дело, что когда я гуглю hive optimization query

вылазят поверхностные
https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/
https://data-flair.training/blogs/hive-optimization-techniques/

А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE.
...
Рейтинг: 0 / 0
31.03.2018, 10:24
    #39623662
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hive / impala как оптимизировать запросы
мигель1Спасибо большое, друзья!

в том то и дело, что когда я гуглю hive optimization query

вылазят поверхностные
https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/
https://data-flair.training/blogs/hive-optimization-techniques/

А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE.
имхо ты не то смотришь. hive это просто прослойка, в твоем случае прослойка для impala. запросы выполняет у тебя импала, планы строит импала, соответственно гуглить тебе нужно советы по импале.
а ты похоже нагуглил советы к tez, это конкурирующий с cloudera impala энжин от hortonworks. если энжин под hive не указывают, то обычно имеет ввиду map-reduce энжин.
...
Рейтинг: 0 / 0
31.03.2018, 13:12
    #39623692
ОперацияПингвин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hive / impala как оптимизировать запросы
мигель1,

А есть опыт оптимизации запросов в обычных базах?
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / hive / impala как оптимизировать запросы / 6 сообщений из 6, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]