|
|
|
удаленная отладка MapReduce
|
|||
|---|---|---|---|
|
#18+
Доброго времени суток! Есть вопрос который меня очень волнует. Возможно ли в Hadoop сделать remote debugger MapReduce приложения. Поиски в гугле привели меня к HADOOP_OPTS Код: vbnet 1. такая настройка дает возможность дебажить только main class. А вот сам Mapper таим способом неудается отладить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.10.2018, 16:04 |
|
||
|
удаленная отладка MapReduce
|
|||
|---|---|---|---|
|
#18+
локально имхо надо дебажить в stand-alone режиме, там где тесты пишешь. а на реальном кластере сомневаюсь что это возможно. ну стартануло 100500 маперов, который из тысяч дебажить хочешь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.10.2018, 16:20 |
|
||
|
удаленная отладка MapReduce
|
|||
|---|---|---|---|
|
#18+
H5N1, На сколько я понял есть несколько режимов работы 1) Standalone 2) Pseudo distributed 3) Fully distributed У меня есть sandbox vm от hortonworks в которой запускается один локальный mapper, неужели его нельзя отдебжить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.10.2018, 17:03 |
|
||
|
удаленная отладка MapReduce
|
|||
|---|---|---|---|
|
#18+
noTpyJIНа сколько я понял есть несколько режимов работы 1) Standalone 2) Pseudo distributed 3) Fully distributed У меня есть sandbox vm от hortonworks в которой запускается один локальный mapper, неужели его нельзя отдебжить? на сколько я видел в этих vm идет совершенно полноценный кластер, просто one node cluster. т.е. он нормально поднимает тучи маперов в параллель, каждый мапер в своей jvm. наверняка есть способ, но не думаю что он тривиальный. для отладки я запускаю из идеи в винде и standalone режиме, с заглушкой вместо хадупа, без всяких ярнов. на кластере тесты того что уже как-то отлажено. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.11.2018, 14:41 |
|
||
|
удаленная отладка MapReduce
|
|||
|---|---|---|---|
|
#18+
noTpyJIH5N1, На сколько я понял есть несколько режимов работы 1) Standalone 2) Pseudo distributed 3) Fully distributed У меня есть sandbox vm от hortonworks в которой запускается один локальный mapper, неужели его нельзя отдебжить? Берёшь hadoop mini cluster и пишешь unit-test'ы. Не работает в windows, но это нафиг не надо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.11.2018, 15:23 |
|
||
|
удаленная отладка MapReduce
|
|||
|---|---|---|---|
|
#18+
H5N1, к сожалению не всегда есть возможность запустить в винде в standalone режиме. Например у меня приложение в качестве вывода использует HCatOutput и для работы mapper - а нужно metastore. Я так и не нашел как сделать заглушку для hive. Можно написать junit тест, как я и поступил но так и не получилось словить ошибку. а писать print ы тоже занятие не из приятных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.11.2018, 11:49 |
|
||
|
удаленная отладка MapReduce
|
|||
|---|---|---|---|
|
#18+
noTpyJIH5N1, к сожалению не всегда есть возможность запустить в винде в standalone режиме. Например у меня приложение в качестве вывода использует HCatOutput и для работы mapper - а нужно metastore. Я так и не нашел как сделать заглушку для hive. Можно написать junit тест, как я и поступил но так и не получилось словить ошибку. а писать print ы тоже занятие не из приятных. Когда HiveMetaStoreClient создается он проверяет в каком режиме его запустили, если режим локальный, то он локально же Derby разворачивает с metastore. Так что в тестах можно все это заставить работать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.01.2019, 02:17 |
|
||
|
|
start [/forum/topic.php?fid=48&fpage=3&tid=1856601]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
59ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
45ms |
get tp. blocked users: |
1ms |
| others: | 238ms |
| total: | 384ms |
| 0 / 0 |
