Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
hive / impala как оптимизировать запросы
|
|||
|---|---|---|---|
|
#18+
Подскажите пожалуйста Есть десяток запросов, которые хочется ускорить. Куда копать, что смотреть? Спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2018, 22:33 |
|
||
|
hive / impala как оптимизировать запросы
|
|||
|---|---|---|---|
|
#18+
в инете куча всевозможных мануалов по оптимизации хайвовых запросов. от правильной готовки самого хайва (таблицы, партиции, векторизация...) до техник написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2018, 23:00 |
|
||
|
hive / impala как оптимизировать запросы
|
|||
|---|---|---|---|
|
#18+
мигель1Подскажите пожалуйста Есть десяток запросов, которые хочется ускорить. Куда копать, что смотреть? Спасибо как и везде, курить план. в impala-shell или в hue под кнопкой play, иконка книжка. там execution plan. ну а дальше переписывать запрос с применением CTE. иногда помогает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.03.2018, 09:32 |
|
||
|
hive / impala как оптимизировать запросы
|
|||
|---|---|---|---|
|
#18+
Спасибо большое, друзья! в том то и дело, что когда я гуглю hive optimization query вылазят поверхностные https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/ https://data-flair.training/blogs/hive-optimization-techniques/ А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.03.2018, 10:02 |
|
||
|
hive / impala как оптимизировать запросы
|
|||
|---|---|---|---|
|
#18+
мигель1Спасибо большое, друзья! в том то и дело, что когда я гуглю hive optimization query вылазят поверхностные https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/ https://data-flair.training/blogs/hive-optimization-techniques/ А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE. имхо ты не то смотришь. hive это просто прослойка, в твоем случае прослойка для impala. запросы выполняет у тебя импала, планы строит импала, соответственно гуглить тебе нужно советы по импале. а ты похоже нагуглил советы к tez, это конкурирующий с cloudera impala энжин от hortonworks. если энжин под hive не указывают, то обычно имеет ввиду map-reduce энжин. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.03.2018, 10:24 |
|
||
|
|

start [/forum/topic.php?fid=48&tid=1856627]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
67ms |
get topic data: |
13ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
2ms |
| others: | 281ms |
| total: | 451ms |

| 0 / 0 |
