Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Hive count(*) from 15Gb parquet on HDFS - OutOfMemoryError
|
|||
|---|---|---|---|
|
#18+
Есть учебный кластер hadoop 3.0, 1 name node + 3 slaves. В hdfs загружен paruqet файл, размером 15Гб. Структурой: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. На namenode поднят hive (metastore+hiveserver2) parquet создан так: Код: sql 1. 2. 3. К hive подключаюсь через DBeaver и выполняю запрос Код: sql 1. Запрос падает и в консоли, где запущен hiveserver2 пишет Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. При этом код (Spark локальный, не на сервере) выполняется Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. и позвращает Код: sql 1. 2. 3. 4. 5. Правильно понимаю, что проблемы в настройках памяти для Hive? по идее же hive разбирает SQL на цепочки MR, которые должны выполниться в Hadoop кластере, почему ему памяти то не хватает. Или как раз вот это WARNING: Hive-on-MR is deprecated in Hive 2 и говорит о том, это не так. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.03.2018, 16:54 |
|
||
|
|

start [/forum/topic.php?fid=48&msg=39609737&tid=1856631]: |
0ms |
get settings: |
9ms |
get forum list: |
11ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
57ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
38ms |
get tp. blocked users: |
2ms |
| others: | 16ms |
| total: | 153ms |

| 0 / 0 |
