помогите в установке hadoop(форматирование hdfs) / NoSQL, Big Data

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / помогите в установке hadoop(форматирование hdfs)

20 сообщений из 20, страница 1 из 1

помогите в установке hadoop(форматирование hdfs)

#38537270

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

форматирую HDFS /usr/lib/hadoop/bin/hadoop namenode -format

получаю Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted.
как изменить директорию форматирования на домашнюю папку, например home/hadoop/grid/hadoop/hdfs

Если кто нибудь сталкивался прошу совета, спасибо.

...

Рейтинг:

0 / 0

24.01.2014, 18:01

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38537286

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

при запуске name node получаю такую ошибку: ERROR namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
конфиги все правились по документации Hortonworks

...

Рейтинг:

0 / 0

24.01.2014, 18:09

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38538776

GASTROPODA

Гость

Пути править нужно в hdfs-site.xml
Слишком мало информации.
Distributed mode или pseudo-distributed mode?
Тип инсталляции manual?
Что пишет в лог namenode?

...

Рейтинг:

0 / 0

27.01.2014, 12:10

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540397

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,
пути проверял, папки созданы как в мануале и в писаны в конфиге. Установка по этому мануалу:
http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.2.0/bk_installing_manually_book/content/rpm-chap14.html

Код: java

2014-01-20 12:26:30,875 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0.1.3.3.0-58
STARTUP_MSG:   build = git://c64-s15/ on branch condorM30-1.2.0 -r 7f8bae036417f4e4bcae4e5752252e05b92d54ef; compiled by 'jenkins' on Sun Nov 17 17:17:23 PST 2013
STARTUP_MSG:   java = 1.7.0_45
************************************************************/
2014-01-20 12:26:30,972 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-namenode.properties, hadoop-metrics2.properties
2014-01-20 12:26:31,019 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:165)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:215)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:247)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:283)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:585)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1523)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1532)

2014-01-20 12:26:31,020 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/
2014-01-20 12:34:06,992 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0.1.3.3.0-58
STARTUP_MSG:   build = git://c64-s15/ on branch condorM30-1.2.0 -r 7f8bae036417f4e4bcae4e5752252e05b92d54ef; compiled by 'jenkins' on Sun Nov 17 17:17:23 PST 2013
STARTUP_MSG:   java = 1.7.0_45
************************************************************/
2014-01-20 12:34:07,089 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-namenode.properties, hadoop-metrics2.properties
2014-01-20 12:34:07,135 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:165)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:215)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:247)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:283)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:585)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1523)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1532)

2014-01-20 12:34:07,136 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/
2014-01-20 12:40:36,881 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0.1.3.3.0-58
STARTUP_MSG:   build = git://c64-s15/ on branch condorM30-1.2.0 -r 7f8bae036417f4e4bcae4e5752252e05b92d54ef; compiled by 'jenkins' on Sun Nov 17 17:17:23 PST 2013
STARTUP_MSG:   java = 1.7.0_45
************************************************************/
2014-01-20 12:40:36,978 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-namenode.properties, hadoop-metrics2.properties
2014-01-20 12:40:37,024 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:165)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:215)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:247)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:283)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:585)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1523)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1532)

2014-01-20 12:40:37,025 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/

...

Рейтинг:

0 / 0

28.01.2014, 13:16

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540566

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,
вот конкретно место по которому настраивались все конфиги http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.2.0/bk_installing_manually_book/content/rpm-chap3-2.html

я там не наблюдаю такого: "file:///"

...

Рейтинг:

0 / 0

28.01.2014, 14:43

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540753

GASTROPODA

Гость

Похоже не видит конф. файлы.
Где лежит hdfs-site.xml и что в нем указано в для dfs.name.dir и dfs.data.dir?

...

Рейтинг:

0 / 0

28.01.2014, 16:14

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540763

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,
все конфиги лежат в /etc/hadoop/conf/core_hadoop

hdfs-site.xml
---------------
<property>
<name>dfs.name.dir</name>

<value>/home/hadoop/grid/hadoop/hdfs/nn</value>
<description>
Determines where on the local filesystem the DFS name node
should store the name table. If this is a comma-delimited list
of directories then the name table is replicated in all of the
directories, for redundancy.
</description>
<final>true</final>
</property>

<property>
<name>dfs.data.dir</name>
<value>home/hadoop/grid/hadoop/hdfs/dn</value>
<description>
Determines where on the local filesystem an DFS data node
should store its blocks. If this is a comma-delimited
list of directories, then data will be stored in all named
directories, typically on different devices.
Directories that do not exist are ignored.
</description>
<final>true</final>
</property>

...

Рейтинг:

0 / 0

28.01.2014, 16:19

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540807

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,
в dfs.data.dir в пути перед home не поставил \, исправил, сейчас другие ошибки в логе, посмотрите?

...

Рейтинг:

0 / 0

28.01.2014, 16:36

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540818

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA, если запускать от рута то имеем лог:

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.

2014-01-28 16:22:09,795 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.1.2.21
STARTUP_MSG:   build =  -r ; compiled by 'jenkins' on Thu Jan 10 03:38:39 PST 2013
************************************************************/
2014-01-28 16:22:09,890 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-namenode.properties, hadoop-metrics2.properties
2014-01-28 16:22:09,936 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:204)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:234)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:268)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)

2014-01-28 16:22:09,937 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/

если от пользователя HDFS специально созданого для этого:

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.

log4j:ERROR setFile(null,true) call failed.
java.io.FileNotFoundException: /usr/lib/hadoop/libexec/../logs/hadoop-hdfs-namenode-*.log (Permission denied)
	at java.io.FileOutputStream.open(Native Method)
	at java.io.FileOutputStream.<init>(FileOutputStream.java:221)
	at java.io.FileOutputStream.<init>(FileOutputStream.java:142)
	at org.apache.log4j.FileAppender.setFile(FileAppender.java:290)
	at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:164)
	at org.apache.log4j.DailyRollingFileAppender.activateOptions(DailyRollingFileAppender.java:216)
	at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:257)
	at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:133)
	at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:97)
	at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:689)
	at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:647)
	at org.apache.log4j.PropertyConfigurator.configureRootCategory(PropertyConfigurator.java:544)
	at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:440)
	at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:476)
	at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:471)
	at org.apache.log4j.LogManager.<clinit>(LogManager.java:125)
	at org.apache.log4j.Logger.getLogger(Logger.java:105)
	at org.apache.commons.logging.impl.Log4JLogger.getLogger(Log4JLogger.java:289)
	at org.apache.commons.logging.impl.Log4JLogger.<init>(Log4JLogger.java:109)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at org.apache.commons.logging.impl.LogFactoryImpl.createLogFromClass(LogFactoryImpl.java:1116)
	at org.apache.commons.logging.impl.LogFactoryImpl.discoverLogImplementation(LogFactoryImpl.java:914)
	at org.apache.commons.logging.impl.LogFactoryImpl.newInstance(LogFactoryImpl.java:604)
	at org.apache.commons.logging.impl.LogFactoryImpl.getInstance(LogFactoryImpl.java:336)
	at org.apache.commons.logging.impl.LogFactoryImpl.getInstance(LogFactoryImpl.java:310)
	at org.apache.commons.logging.LogFactory.getLog(LogFactory.java:685)
	at org.apache.hadoop.conf.Configuration.<clinit>(Configuration.java:146)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<clinit>(NameNode.java:136)
log4j:ERROR Either File or DatePattern options are not set for appender [DRFA].

...

Рейтинг:

0 / 0

28.01.2014, 16:39

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540848

GASTROPODA

Гость

alex_101010все конфиги лежат в /etc/hadoop/conf/core_hadoop

Copy all the modified configuration files in core_hadoop to $HADOOP_CONF_DIR on all nodes.

Конф. файлы должны лежать в /etc/hadoop/conf , а не в /etc/hadoop/conf/core_hadoop

...

Рейтинг:

0 / 0

28.01.2014, 16:53

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540933

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,
сппасибо, дальше я запускаю формат и получаю

root]$ /usr/lib/hadoop/bin/hadoop namenode -format
/usr/lib/hadoop/bin/hadoop: line 320: /usr/java/default/bin/java: No such file or directory
/usr/lib/hadoop/bin/hadoop: line 390: /usr/java/default/bin/java: No such file or directory
/usr/lib/hadoop/bin/hadoop: line 390: exec: /usr/java/default/bin/java: cannot execute: No such file or directory

логов я теперь вообще не нашел.
Я подумал, что не видит яву, сделал команды
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64
export PATH=$PATH:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/bin

не помогло наверное

...

Рейтинг:

0 / 0

28.01.2014, 17:27

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38540944

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,
еще надо выдать права на каталоги?

...

Рейтинг:

0 / 0

28.01.2014, 17:31

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38541014

GASTROPODA

Гость

alex_101010/usr/lib/hadoop/bin/hadoop: line 320: /usr/java/default/bin/java: No such file or directory

Выполняли п.1.8?
Install the Java Development Kit. The correct JDK must be installed on all the nodes in your cluster.
...
ln -s ... /usr/java/default

...

Рейтинг:

0 / 0

28.01.2014, 17:59

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38541049

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,

да, я разобрался изменил /etc/hadoop/hadoop-env.sh вместо пути на который ругался вписал ${JAVA_HOME}

http://stackoverflow.com/questions/14286381/from-where-hadoop-gets-java-home-variable-value

Далее формат прошел успешно и в тех папках, где я прописывал в конфигах, это радует спасибо что подсказали, но есть еще ошибки
выкладываю лог.

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.

2014-01-28 18:06:01,668 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.1.2.21
STARTUP_MSG:   build =  -r ; compiled by 'jenkins' on Thu Jan 10 03:38:39 PST 2013
************************************************************/
2014-01-28 18:06:01,816 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2014-01-28 18:06:01,869 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2014-01-28 18:06:01,870 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 60 second(s).
2014-01-28 18:06:01,870 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started
2014-01-28 18:06:02,001 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2014-01-28 18:06:02,007 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
2014-01-28 18:06:02,008 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.
2014-01-28 18:06:02,021 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 64-bit
2014-01-28 18:06:02,022 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 19.2 MB
2014-01-28 18:06:02,022 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^21 = 2097152 entries
2014-01-28 18:06:02,022 INFO org.apache.hadoop.hdfs.util.GSet: recommended=2097152, actual=2097152
2014-01-28 18:06:02,036 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=hdfs
2014-01-28 18:06:02,036 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=hdfs
2014-01-28 18:06:02,036 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true
2014-01-28 18:06:02,040 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100
2014-01-28 18:06:02,040 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: The dfs.support.append option is in your configuration, however append is not supported. This configuration option is no longer required to enable sync
2014-01-28 18:06:02,040 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=true accessKeyUpdateInterval=600 min(s), accessTokenLifetime=600 min(s)
2014-01-28 18:06:02,060 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean
2014-01-28 18:06:02,074 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times 
2014-01-28 18:06:02,076 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot access storage directory /home/hadoop/grid/hadoop/hdfs/nn
2014-01-28 18:06:02,077 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:303)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:287)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)
2014-01-28 18:06:02,078 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:303)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:287)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)

2014-01-28 18:06:02,079 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/
2014-01-28 18:06:20,662 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.1.2.21
STARTUP_MSG:   build =  -r ; compiled by 'jenkins' on Thu Jan 10 03:38:39 PST 2013
************************************************************/
2014-01-28 18:06:20,793 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2014-01-28 18:06:20,843 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2014-01-28 18:06:20,844 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 60 second(s).
2014-01-28 18:06:20,844 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started
2014-01-28 18:06:20,976 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2014-01-28 18:06:20,982 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
2014-01-28 18:06:20,983 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.
2014-01-28 18:06:20,996 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 64-bit
2014-01-28 18:06:20,996 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 19.2 MB
2014-01-28 18:06:20,996 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^21 = 2097152 entries
2014-01-28 18:06:20,997 INFO org.apache.hadoop.hdfs.util.GSet: recommended=2097152, actual=2097152
2014-01-28 18:06:21,011 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=hdfs
2014-01-28 18:06:21,011 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=hdfs
2014-01-28 18:06:21,011 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true
2014-01-28 18:06:21,014 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100
2014-01-28 18:06:21,015 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: The dfs.support.append option is in your configuration, however append is not supported. This configuration option is no longer required to enable sync
2014-01-28 18:06:21,015 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=true accessKeyUpdateInterval=600 min(s), accessTokenLifetime=600 min(s)
2014-01-28 18:06:21,035 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean
2014-01-28 18:06:21,048 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times 
2014-01-28 18:06:21,051 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot access storage directory /home/hadoop/grid/hadoop/hdfs/nn
2014-01-28 18:06:21,052 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:303)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:287)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)
2014-01-28 18:06:21,053 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:303)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:287)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)

2014-01-28 18:06:21,054 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/

...

Рейтинг:

0 / 0

28.01.2014, 18:14

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38541096

GASTROPODA

Гость

alex_101010org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.

Сама директория создана и с правильными путями?

Define Directories.
DFS_NAME_DIR ...

4.1. Create the NameNode Directories
On the node that hosts the NameNode service, execute the following commands:
mkdir -p $DFS_NAME_DIR
chown -R $HDFS_USER:$HADOOP_GROUP $DFS_NAME_DIR
chmod -R 755 $DFS_NAME_DIR

...

Рейтинг:

0 / 0

28.01.2014, 18:34

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38541175

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,
директорию по name node создавал руками /home/hadoop/grid/hadoop/hdfs/nn

выдавал права тоже

chown -R hdfs:hadoop /home/hadoop/grid/hadoop/hdfs/nn
chmod -R 755 /home/hadoop/grid/hadoop/hdfs/nn

...

Рейтинг:

0 / 0

28.01.2014, 19:39

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38541209

GASTROPODA

Гость

После того как поменяли конф. файлы выполните
- переформатирование (#hadoop namenode -format) - что выводит?
- ls -al /home/hadoop/grid/hadoop/hdfs/nn
- stop и start hadoop - что выводит?
- перегрузить сервер

...

Рейтинг:

0 / 0

28.01.2014, 20:11

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38541609

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.

Re-format filesystem in /home/hadoop/grid/hadoop/hdfs/nn ? (Y or N) Y
14/01/29 10:23:07 INFO util.GSet: VM type       = 64-bit
14/01/29 10:23:07 INFO util.GSet: 2% max memory = 19.2 MB
14/01/29 10:23:07 INFO util.GSet: capacity      = 2^21 = 2097152 entries
14/01/29 10:23:07 INFO util.GSet: recommended=2097152, actual=2097152
14/01/29 10:23:07 INFO namenode.FSNamesystem: fsOwner=hdfs
14/01/29 10:23:07 INFO namenode.FSNamesystem: supergroup=hdfs
14/01/29 10:23:07 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/01/29 10:23:07 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
14/01/29 10:23:07 WARN namenode.FSNamesystem: The dfs.support.append option is in your configuration, however append is not supporte                   d. This configuration option is no longer required to enable sync
14/01/29 10:23:07 INFO namenode.FSNamesystem: isAccessTokenEnabled=true accessKeyUpdateInterval=600 min(s), accessTokenLifetime=600                    min(s)
14/01/29 10:23:07 INFO namenode.NameNode: Caching file names occuring more than 10 times
14/01/29 10:23:07 INFO common.Storage: Image file of size 104 saved in 0 seconds.
14/01/29 10:23:07 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/hadoop/grid/hadoop/hdfs/nn/current/edits
14/01/29 10:23:07 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/hadoop/grid/hadoop/hdfs/nn/current/edits
14/01/29 10:23:07 INFO common.Storage: Storage directory /home/hadoop/grid/hadoop/hdfs/nn has been successfully formatted.
14/01/29 10:23:07 INFO namenode.NameNode: SHUTDOWN_MSG:

Код: java

1.
2.
3.
4.
5.
6.

$ ls -al /home/hadoop/grid/hadoop/hdfs/nn
total 16
drwxr-xr-x 4 hdfs hadoop 4096 Jan 29 10:23 .
drwxr-xr-x 6 root root   4096 Jan 24 16:55 ..
drwxrwxr-x 2 hdfs hdfs   4096 Jan 29 10:23 current
drwxrwxr-x 2 hdfs hdfs   4096 Jan 29 10:23 image

Код: java

1.
2.
3.
4.
5.

$ /usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf/  stop namenode
stopping namenode
$ /usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf/  start namenode
mv: try to overwrite `/var/log/hadoop/hdfs/hadoop-hdfs-namenode-disHadoopSrv11.out.5', overriding mode 0644 (rw-r--r--)? Y
starting namenode, logging to /var/log/hadoop/hdfs/hadoop-hdfs-namenode-HadoopSrv11.out

...

Рейтинг:

0 / 0

29.01.2014, 10:30

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38541884

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA, все вроде заработало, спасибо вам огромное.

...

Рейтинг:

0 / 0

29.01.2014, 12:31

| Ответить | Цитировать | Написать

помогите в установке hadoop(форматирование hdfs)

#38543358

alex_101010

Участник

Сообщения: 158

Рейтинг: 0 / 0

GASTROPODA,
namenode and datanode запустились успешно, протестились, а jobtracker нет.
ошибка в логе FATAL org.apache.hadoop.mapred.JobTracker: ENOENT: No such file or directory

...

Рейтинг:

0 / 0

30.01.2014, 12:11

| Ответить | Цитировать | Написать

20 сообщений из 20, страница 1 из 1

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / помогите в установке hadoop(форматирование hdfs)

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

Start [/forum/topic.php?fid=48&fpage=11&tid=1856908]:	0ms
get settings:	16ms
get forum list:	9ms
check forum access:	1ms
check topic access:	1ms
track hit:	38ms
get topic data:	5ms
get forum data:	1ms
get page messages:	418ms
get tp. blocked users:	1ms
others:	195ms

total:	685ms