Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
30.03.2018, 22:33
|
|||
---|---|---|---|
hive / impala как оптимизировать запросы |
|||
#18+
Подскажите пожалуйста Есть десяток запросов, которые хочется ускорить. Куда копать, что смотреть? Спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
|
30.03.2018, 23:00
|
|||
---|---|---|---|
hive / impala как оптимизировать запросы |
|||
#18+
в инете куча всевозможных мануалов по оптимизации хайвовых запросов. от правильной готовки самого хайва (таблицы, партиции, векторизация...) до техник написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) ... |
|||
:
Нравится:
Не нравится:
|
|||
|
31.03.2018, 09:32
|
|||
---|---|---|---|
hive / impala как оптимизировать запросы |
|||
#18+
мигель1Подскажите пожалуйста Есть десяток запросов, которые хочется ускорить. Куда копать, что смотреть? Спасибо как и везде, курить план. в impala-shell или в hue под кнопкой play, иконка книжка. там execution plan. ну а дальше переписывать запрос с применением CTE. иногда помогает. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
31.03.2018, 10:02
|
|||
---|---|---|---|
hive / impala как оптимизировать запросы |
|||
#18+
Спасибо большое, друзья! в том то и дело, что когда я гуглю hive optimization query вылазят поверхностные https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/ https://data-flair.training/blogs/hive-optimization-techniques/ А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
31.03.2018, 10:24
|
|||
---|---|---|---|
hive / impala как оптимизировать запросы |
|||
#18+
мигель1Спасибо большое, друзья! в том то и дело, что когда я гуглю hive optimization query вылазят поверхностные https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/ https://data-flair.training/blogs/hive-optimization-techniques/ А где прочитать про технику написания запросов (там суть в том, что не нужно писать в "реляционном" стиле) и как переписыват запрос с применением CTE. имхо ты не то смотришь. hive это просто прослойка, в твоем случае прослойка для impala. запросы выполняет у тебя импала, планы строит импала, соответственно гуглить тебе нужно советы по импале. а ты похоже нагуглил советы к tez, это конкурирующий с cloudera impala энжин от hortonworks. если энжин под hive не указывают, то обычно имеет ввиду map-reduce энжин. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/moderation_log.php?user_name=%D0%BC%D0%B8%D1%82%D1%80%D0%BE%D1%84%D0%B0%D0%BD2009]: |
0ms |
get settings: |
11ms |
get forum list: |
11ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
175ms |
get topic data: |
13ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
2ms |
others: | 452ms |
total: | 746ms |
0 / 0 |