|
вопросы по spark
|
|||
---|---|---|---|
#18+
пишите, будем отвечать ... |
|||
:
Нравится:
Не нравится:
|
|||
03.09.2020, 00:12 |
|
вопросы по spark
|
|||
---|---|---|---|
#18+
Имеется кластер 1тб ОЗУ, 6тб свободного места пытаюсь соединить две таблички по 1тб и приземлить. Уровень репликации 1. Во время выполнения запроса когда на HDFS остается места ~2тб ноды начинают падать и запрос может висеть 15часов и не выполняется приходится делать kill джобы. Проблема связана с ресурсами ? или есть параметры, которые необходимо использовать? Куда копать? сам результат запроса в итоге должен получится не более 2тб. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.07.2021, 17:00 |
|
вопросы по spark
|
|||
---|---|---|---|
#18+
valdemar_ru Имеется кластер 1тб ОЗУ, 6тб свободного места пытаюсь соединить две таблички по 1тб и приземлить. Уровень репликации 1. Во время выполнения запроса когда на HDFS остается места ~2тб ноды начинают падать и запрос может висеть 15часов и не выполняется приходится делать kill джобы. Проблема связана с ресурсами ? или есть параметры, которые необходимо использовать? Куда копать? сам результат запроса в итоге должен получится не более 2тб. начать со спарк UI, там видны стейджи, таски. вероятно что-то падает и рестартится. потом выкачивать лог драйвера и смотреть причину падений тасков ... |
|||
:
Нравится:
Не нравится:
|
|||
23.07.2021, 18:18 |
|
вопросы по spark
|
|||
---|---|---|---|
#18+
H5N1 valdemar_ru Имеется кластер 1тб ОЗУ, 6тб свободного места пытаюсь соединить две таблички по 1тб и приземлить. Уровень репликации 1. Во время выполнения запроса когда на HDFS остается места ~2тб ноды начинают падать и запрос может висеть 15часов и не выполняется приходится делать kill джобы. Проблема связана с ресурсами ? или есть параметры, которые необходимо использовать? Куда копать? сам результат запроса в итоге должен получится не более 2тб. начать со спарк UI, там видны стейджи, таски. вероятно что-то падает и рестартится. потом выкачивать лог драйвера и смотреть причину падений тасков не подскажете, где можно найти лог драйвера ? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.07.2021, 21:44 |
|
вопросы по spark
|
|||
---|---|---|---|
#18+
valdemar_ru не подскажете, где можно найти лог драйвера ? полагаю вы стартуете спарк в режиме yarn-cluster, тогда драйвер программа спарка стартует где-то на кластере. первый вариант когда стартуете джобу spark-submit пишет урл джобы, по этому урлу выйти на экран джоба. второй вариант смотреть в админке вашего хадупа (cloudera manager или ambari ) yarn applications. должен быть список yarn джобов, что бежит на кластере. найти ваш джоб со спарком справа внизу ссылка log, там stdout смотреть, обычно он огромный и схлопнут. надо тыкать на "Click here for the full log." ... |
|||
:
Нравится:
Не нравится:
|
|||
24.07.2021, 11:17 |
|
|
start [/forum/topic.php?fid=48&tid=1856522]: |
0ms |
get settings: |
20ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
36ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
148ms |
get tp. blocked users: |
3ms |
others: | 381ms |
total: | 624ms |
0 / 0 |