powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / hive / impala как оптимизировать запросы
6 сообщений из 6, страница 1 из 1
hive / impala как оптимизировать запросы
    #39623601
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Подскажите пожалуйста

Есть десяток запросов, которые хочется ускорить.
Куда копать, что смотреть?

Спасибо
...
Рейтинг: 0 / 0
hive / impala как оптимизировать запросы
    #39623602
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в инете куча всевозможных мануалов по оптимизации хайвовых запросов.
от правильной готовки самого хайва (таблицы, партиции, векторизация...)
до техник написания запросов (там суть в том, что не нужно писать в "реляционном" стиле)
...
Рейтинг: 0 / 0
hive / impala как оптимизировать запросы
    #39623652
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1Подскажите пожалуйста

Есть десяток запросов, которые хочется ускорить.
Куда копать, что смотреть?

Спасибо
как и везде, курить план. в impala-shell или в hue под кнопкой play, иконка книжка. там execution plan. ну а дальше переписывать запрос с применением CTE.
иногда помогает.
...
Рейтинг: 0 / 0
hive / impala как оптимизировать запросы
    #39623655
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо большое, друзья!

в том то и дело, что когда я гуглю hive optimization query

вылазят поверхностные
https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/
https://data-flair.training/blogs/hive-optimization-techniques/

А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE.
...
Рейтинг: 0 / 0
hive / impala как оптимизировать запросы
    #39623662
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1Спасибо большое, друзья!

в том то и дело, что когда я гуглю hive optimization query

вылазят поверхностные
https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/
https://data-flair.training/blogs/hive-optimization-techniques/

А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE.
имхо ты не то смотришь. hive это просто прослойка, в твоем случае прослойка для impala. запросы выполняет у тебя импала, планы строит импала, соответственно гуглить тебе нужно советы по импале.
а ты похоже нагуглил советы к tez, это конкурирующий с cloudera impala энжин от hortonworks. если энжин под hive не указывают, то обычно имеет ввиду map-reduce энжин.
...
Рейтинг: 0 / 0
hive / impala как оптимизировать запросы
    #39623692
Фотография ОперацияПингвин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

А есть опыт оптимизации запросов в обычных базах?
...
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / hive / impala как оптимизировать запросы
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]