Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
02.03.2018, 16:54
|
|||
---|---|---|---|
Hive count(*) from 15Gb parquet on HDFS - OutOfMemoryError |
|||
#18+
Есть учебный кластер hadoop 3.0, 1 name node + 3 slaves. В hdfs загружен paruqet файл, размером 15Гб. Структурой: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
На namenode поднят hive (metastore+hiveserver2) parquet создан так: Код: sql 1. 2. 3.
К hive подключаюсь через DBeaver и выполняю запрос Код: sql 1.
Запрос падает и в консоли, где запущен hiveserver2 пишет Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22.
При этом код (Spark локальный, не на сервере) выполняется Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
и позвращает Код: sql 1. 2. 3. 4. 5.
Правильно понимаю, что проблемы в настройках памяти для Hive? по идее же hive разбирает SQL на цепочки MR, которые должны выполниться в Hadoop кластере, почему ему памяти то не хватает. Или как раз вот это WARNING: Hive-on-MR is deprecated in Hive 2 и говорит о том, это не так. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=48&mobile=1&tid=1856631]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
176ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
44ms |
get tp. blocked users: |
2ms |
others: | 11ms |
total: | 280ms |
0 / 0 |