Запуск на удалённом хадупе / NoSQL, Big Data

2.0.49

Планшетная версия Контакт Правила FAQ Помощь

Гость

Нов. | Гор. | Избр.

Действия ...

Доб. в избранное
Игнор. тему
Прикреп. тему
Пометить прочит. / непрочит.
Фильтр:
Сообщения автора темы
Сообщение содержит вложения
Сообщение содержит картинки
Сообщение содержит видеоклипы
Сообщение содержит аудиоклипы
Сообщение содержит картинки или видео 18+

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Запуск на удалённом хадупе / 1 сообщений из 1, страница 1 из 1

06.05.2016, 09:22

#39230524

Alexey Tomin

Участник

Откуда: Самара
Сообщения: 1 715
Рейтинг: 0 / 0

Запуск на удалённом хадупе

Есть некий jar, который надо запустить на hadoop-кластере.
Пока использовался mr1 (даже в CDH5.4) всё было так- jar заранее выкладывался на hdfs и при запуске в качестве jar-path был путь "hdfs://nameserver1/bin/..."
yarn так не позволяет- при попытке передать этот путь mapreduce.job.jar (или mapred.jar - без разницы) позникает ошибка

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

2016-05-06 08:15:50,829 FATAL [IPC Server handler 25 on 41013] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1461254908039_1337_m_000008_2 - exited : java.lang.RuntimeException: java.lang.ClassNotFoundException: Class MyMapper not found
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2112)
	at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:196)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:745)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.ClassNotFoundException: Class MyMapper not found
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2018)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2110)
	... 8 more

При этом, кстати, наличие файла в hdfs проверяется- если его там нет, то ругань будет другая.

Итого- как запустить на сервере mr-задачу там, чтобы не передавать туда локальный файл?
Локальный неудобно, т.к. его непонятно как правильно положить в основную программу. Но если решить эту проблему- то можно и передавать локальный :)

--
Алексей.

...

Рейтинг:

0 / 0

| Ответить | Цитировать | Написать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=48&mobile=1&tid=1856759]:	0ms
get settings:	10ms
get forum list:	13ms
check forum access:	4ms
check topic access:	4ms
track hit:	37ms
get topic data:	13ms
get forum data:	3ms
get page messages:	40ms
get tp. blocked users:	2ms
others:	13ms

total:	139ms