|
hive / impala как оптимизировать запросы
|
|||
---|---|---|---|
#18+
Подскажите пожалуйста Есть десяток запросов, которые хочется ускорить. Куда копать, что смотреть? Спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
30.03.2018, 22:33 |
|
hive / impala как оптимизировать запросы
|
|||
---|---|---|---|
#18+
в инете куча всевозможных мануалов по оптимизации хайвовых запросов. от правильной готовки самого хайва (таблицы, партиции, векторизация...) до техник написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) ... |
|||
:
Нравится:
Не нравится:
|
|||
30.03.2018, 23:00 |
|
hive / impala как оптимизировать запросы
|
|||
---|---|---|---|
#18+
мигель1Подскажите пожалуйста Есть десяток запросов, которые хочется ускорить. Куда копать, что смотреть? Спасибо как и везде, курить план. в impala-shell или в hue под кнопкой play, иконка книжка. там execution plan. ну а дальше переписывать запрос с применением CTE. иногда помогает. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.03.2018, 09:32 |
|
hive / impala как оптимизировать запросы
|
|||
---|---|---|---|
#18+
Спасибо большое, друзья! в том то и дело, что когда я гуглю hive optimization query вылазят поверхностные https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/ https://data-flair.training/blogs/hive-optimization-techniques/ А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.03.2018, 10:02 |
|
hive / impala как оптимизировать запросы
|
|||
---|---|---|---|
#18+
мигель1Спасибо большое, друзья! в том то и дело, что когда я гуглю hive optimization query вылазят поверхностные https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/ https://data-flair.training/blogs/hive-optimization-techniques/ А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE. имхо ты не то смотришь. hive это просто прослойка, в твоем случае прослойка для impala. запросы выполняет у тебя импала, планы строит импала, соответственно гуглить тебе нужно советы по импале. а ты похоже нагуглил советы к tez, это конкурирующий с cloudera impala энжин от hortonworks. если энжин под hive не указывают, то обычно имеет ввиду map-reduce энжин. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.03.2018, 10:24 |
|
|
start [/forum/topic.php?fid=48&msg=39623601&tid=1856627]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
37ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
2ms |
others: | 240ms |
total: | 379ms |
0 / 0 |