Гость
Войти | Профиль | Очистить
Map
Действия ...
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / помогите в установке hadoop(форматирование hdfs) / 20 сообщений из 20, страница 1 из 1
24.01.2014, 18:01
    #38537270
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
форматирую HDFS /usr/lib/hadoop/bin/hadoop namenode -format

получаю Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted.
как изменить директорию форматирования на домашнюю папку, например home/hadoop/grid/hadoop/hdfs

Если кто нибудь сталкивался прошу совета, спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.01.2014, 18:09
    #38537286
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
при запуске name node получаю такую ошибку: ERROR namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
конфиги все правились по документации Hortonworks
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.01.2014, 12:10
    #38538776
GASTROPODA
GASTROPODA
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
Пути править нужно в hdfs-site.xml
Слишком мало информации.
Distributed mode или pseudo-distributed mode?
Тип инсталляции manual?
Что пишет в лог namenode?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 13:16
    #38540397
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
пути проверял, папки созданы как в мануале и в писаны в конфиге. Установка по этому мануалу:
http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.2.0/bk_installing_manually_book/content/rpm-chap14.html

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
2014-01-20 12:26:30,875 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0.1.3.3.0-58
STARTUP_MSG:   build = git://c64-s15/ on branch condorM30-1.2.0 -r 7f8bae036417f4e4bcae4e5752252e05b92d54ef; compiled by 'jenkins' on Sun Nov 17 17:17:23 PST 2013
STARTUP_MSG:   java = 1.7.0_45
************************************************************/
2014-01-20 12:26:30,972 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-namenode.properties, hadoop-metrics2.properties
2014-01-20 12:26:31,019 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:165)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:215)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:247)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:283)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:585)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1523)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1532)

2014-01-20 12:26:31,020 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/
2014-01-20 12:34:06,992 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0.1.3.3.0-58
STARTUP_MSG:   build = git://c64-s15/ on branch condorM30-1.2.0 -r 7f8bae036417f4e4bcae4e5752252e05b92d54ef; compiled by 'jenkins' on Sun Nov 17 17:17:23 PST 2013
STARTUP_MSG:   java = 1.7.0_45
************************************************************/
2014-01-20 12:34:07,089 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-namenode.properties, hadoop-metrics2.properties
2014-01-20 12:34:07,135 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:165)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:215)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:247)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:283)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:585)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1523)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1532)

2014-01-20 12:34:07,136 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/
2014-01-20 12:40:36,881 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0.1.3.3.0-58
STARTUP_MSG:   build = git://c64-s15/ on branch condorM30-1.2.0 -r 7f8bae036417f4e4bcae4e5752252e05b92d54ef; compiled by 'jenkins' on Sun Nov 17 17:17:23 PST 2013
STARTUP_MSG:   java = 1.7.0_45
************************************************************/
2014-01-20 12:40:36,978 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-namenode.properties, hadoop-metrics2.properties
2014-01-20 12:40:37,024 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:165)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:215)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:247)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:283)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:585)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1523)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1532)

2014-01-20 12:40:37,025 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 14:43
    #38540566
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
вот конкретно место по которому настраивались все конфиги http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.2.0/bk_installing_manually_book/content/rpm-chap3-2.html

я там не наблюдаю такого: "file:///"
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 16:14
    #38540753
GASTROPODA
GASTROPODA
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
Похоже не видит конф. файлы.
Где лежит hdfs-site.xml и что в нем указано в для dfs.name.dir и dfs.data.dir?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 16:19
    #38540763
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
все конфиги лежат в /etc/hadoop/conf/core_hadoop


hdfs-site.xml
---------------
<property>
<name>dfs.name.dir</name>
<!-- cluster variant -->
<value>/home/hadoop/grid/hadoop/hdfs/nn</value>
<description>
Determines where on the local filesystem the DFS name node
should store the name table. If this is a comma-delimited list
of directories then the name table is replicated in all of the
directories, for redundancy.
</description>
<final>true</final>
</property>

<property>
<name>dfs.data.dir</name>
<value>home/hadoop/grid/hadoop/hdfs/dn</value>
<description>
Determines where on the local filesystem an DFS data node
should store its blocks. If this is a comma-delimited
list of directories, then data will be stored in all named
directories, typically on different devices.
Directories that do not exist are ignored.
</description>
<final>true</final>
</property>
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 16:36
    #38540807
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
в dfs.data.dir в пути перед home не поставил \, исправил, сейчас другие ошибки в логе, посмотрите?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 16:39
    #38540818
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA, если запускать от рута то имеем лог:

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
2014-01-28 16:22:09,795 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.1.2.21
STARTUP_MSG:   build =  -r ; compiled by 'jenkins' on Thu Jan 10 03:38:39 PST 2013
************************************************************/
2014-01-28 16:22:09,890 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Metrics system not started: Cannot locate configuration: tried hadoop-metrics2-namenode.properties, hadoop-metrics2.properties
2014-01-28 16:22:09,936 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:204)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:234)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:268)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)

2014-01-28 16:22:09,937 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/



если от пользователя HDFS специально созданого для этого:
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
log4j:ERROR setFile(null,true) call failed.
java.io.FileNotFoundException: /usr/lib/hadoop/libexec/../logs/hadoop-hdfs-namenode-*.log (Permission denied)
	at java.io.FileOutputStream.open(Native Method)
	at java.io.FileOutputStream.<init>(FileOutputStream.java:221)
	at java.io.FileOutputStream.<init>(FileOutputStream.java:142)
	at org.apache.log4j.FileAppender.setFile(FileAppender.java:290)
	at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:164)
	at org.apache.log4j.DailyRollingFileAppender.activateOptions(DailyRollingFileAppender.java:216)
	at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:257)
	at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:133)
	at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:97)
	at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:689)
	at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:647)
	at org.apache.log4j.PropertyConfigurator.configureRootCategory(PropertyConfigurator.java:544)
	at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:440)
	at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:476)
	at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:471)
	at org.apache.log4j.LogManager.<clinit>(LogManager.java:125)
	at org.apache.log4j.Logger.getLogger(Logger.java:105)
	at org.apache.commons.logging.impl.Log4JLogger.getLogger(Log4JLogger.java:289)
	at org.apache.commons.logging.impl.Log4JLogger.<init>(Log4JLogger.java:109)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at org.apache.commons.logging.impl.LogFactoryImpl.createLogFromClass(LogFactoryImpl.java:1116)
	at org.apache.commons.logging.impl.LogFactoryImpl.discoverLogImplementation(LogFactoryImpl.java:914)
	at org.apache.commons.logging.impl.LogFactoryImpl.newInstance(LogFactoryImpl.java:604)
	at org.apache.commons.logging.impl.LogFactoryImpl.getInstance(LogFactoryImpl.java:336)
	at org.apache.commons.logging.impl.LogFactoryImpl.getInstance(LogFactoryImpl.java:310)
	at org.apache.commons.logging.LogFactory.getLog(LogFactory.java:685)
	at org.apache.hadoop.conf.Configuration.<clinit>(Configuration.java:146)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<clinit>(NameNode.java:136)
log4j:ERROR Either File or DatePattern options are not set for appender [DRFA].
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 16:53
    #38540848
GASTROPODA
GASTROPODA
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
alex_101010все конфиги лежат в /etc/hadoop/conf/core_hadoop

Copy all the modified configuration files in core_hadoop to $HADOOP_CONF_DIR on all nodes.

Конф. файлы должны лежать в /etc/hadoop/conf , а не в /etc/hadoop/conf/core_hadoop
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 17:27
    #38540933
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
сппасибо, дальше я запускаю формат и получаю

root]$ /usr/lib/hadoop/bin/hadoop namenode -format
/usr/lib/hadoop/bin/hadoop: line 320: /usr/java/default/bin/java: No such file or directory
/usr/lib/hadoop/bin/hadoop: line 390: /usr/java/default/bin/java: No such file or directory
/usr/lib/hadoop/bin/hadoop: line 390: exec: /usr/java/default/bin/java: cannot execute: No such file or directory

логов я теперь вообще не нашел.
Я подумал, что не видит яву, сделал команды
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64
export PATH=$PATH:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/bin

не помогло наверное
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 17:31
    #38540944
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
еще надо выдать права на каталоги?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 17:59
    #38541014
GASTROPODA
GASTROPODA
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
alex_101010/usr/lib/hadoop/bin/hadoop: line 320: /usr/java/default/bin/java: No such file or directory

Выполняли п.1.8?
Install the Java Development Kit. The correct JDK must be installed on all the nodes in your cluster.
...
ln -s ... /usr/java/default
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 18:14
    #38541049
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,

да, я разобрался изменил /etc/hadoop/hadoop-env.sh вместо пути на который ругался вписал ${JAVA_HOME}

http://stackoverflow.com/questions/14286381/from-where-hadoop-gets-java-home-variable-value


Далее формат прошел успешно и в тех папках, где я прописывал в конфигах, это радует спасибо что подсказали, но есть еще ошибки
выкладываю лог.

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
2014-01-28 18:06:01,668 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.1.2.21
STARTUP_MSG:   build =  -r ; compiled by 'jenkins' on Thu Jan 10 03:38:39 PST 2013
************************************************************/
2014-01-28 18:06:01,816 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2014-01-28 18:06:01,869 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2014-01-28 18:06:01,870 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 60 second(s).
2014-01-28 18:06:01,870 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started
2014-01-28 18:06:02,001 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2014-01-28 18:06:02,007 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
2014-01-28 18:06:02,008 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.
2014-01-28 18:06:02,021 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 64-bit
2014-01-28 18:06:02,022 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 19.2 MB
2014-01-28 18:06:02,022 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^21 = 2097152 entries
2014-01-28 18:06:02,022 INFO org.apache.hadoop.hdfs.util.GSet: recommended=2097152, actual=2097152
2014-01-28 18:06:02,036 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=hdfs
2014-01-28 18:06:02,036 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=hdfs
2014-01-28 18:06:02,036 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true
2014-01-28 18:06:02,040 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100
2014-01-28 18:06:02,040 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: The dfs.support.append option is in your configuration, however append is not supported. This configuration option is no longer required to enable sync
2014-01-28 18:06:02,040 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=true accessKeyUpdateInterval=600 min(s), accessTokenLifetime=600 min(s)
2014-01-28 18:06:02,060 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean
2014-01-28 18:06:02,074 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times 
2014-01-28 18:06:02,076 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot access storage directory /home/hadoop/grid/hadoop/hdfs/nn
2014-01-28 18:06:02,077 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:303)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:287)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)
2014-01-28 18:06:02,078 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:303)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:287)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)

2014-01-28 18:06:02,079 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/
2014-01-28 18:06:20,662 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = 192.168.2.129
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.1.2.21
STARTUP_MSG:   build =  -r ; compiled by 'jenkins' on Thu Jan 10 03:38:39 PST 2013
************************************************************/
2014-01-28 18:06:20,793 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2014-01-28 18:06:20,843 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2014-01-28 18:06:20,844 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 60 second(s).
2014-01-28 18:06:20,844 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started
2014-01-28 18:06:20,976 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2014-01-28 18:06:20,982 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
2014-01-28 18:06:20,983 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered.
2014-01-28 18:06:20,996 INFO org.apache.hadoop.hdfs.util.GSet: VM type       = 64-bit
2014-01-28 18:06:20,996 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 19.2 MB
2014-01-28 18:06:20,996 INFO org.apache.hadoop.hdfs.util.GSet: capacity      = 2^21 = 2097152 entries
2014-01-28 18:06:20,997 INFO org.apache.hadoop.hdfs.util.GSet: recommended=2097152, actual=2097152
2014-01-28 18:06:21,011 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=hdfs
2014-01-28 18:06:21,011 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=hdfs
2014-01-28 18:06:21,011 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true
2014-01-28 18:06:21,014 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100
2014-01-28 18:06:21,015 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: The dfs.support.append option is in your configuration, however append is not supported. This configuration option is no longer required to enable sync
2014-01-28 18:06:21,015 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=true accessKeyUpdateInterval=600 min(s), accessTokenLifetime=600 min(s)
2014-01-28 18:06:21,035 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean
2014-01-28 18:06:21,048 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times 
2014-01-28 18:06:21,051 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot access storage directory /home/hadoop/grid/hadoop/hdfs/nn
2014-01-28 18:06:21,052 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:303)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:287)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)
2014-01-28 18:06:21,053 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:303)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:379)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:287)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:548)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1431)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1440)

2014-01-28 18:06:21,054 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 192.168.2.129
************************************************************/
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 18:34
    #38541096
GASTROPODA
GASTROPODA
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
alex_101010org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/hadoop/grid/hadoop/hdfs/nn is in an inconsistent state: storage directory does not exist or is not accessible.


Сама директория создана и с правильными путями?


Define Directories.
DFS_NAME_DIR ...


4.1. Create the NameNode Directories
On the node that hosts the NameNode service, execute the following commands:
mkdir -p $DFS_NAME_DIR
chown -R $HDFS_USER:$HADOOP_GROUP $DFS_NAME_DIR
chmod -R 755 $DFS_NAME_DIR
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 19:39
    #38541175
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
директорию по name node создавал руками /home/hadoop/grid/hadoop/hdfs/nn

выдавал права тоже

chown -R hdfs:hadoop /home/hadoop/grid/hadoop/hdfs/nn
chmod -R 755 /home/hadoop/grid/hadoop/hdfs/nn
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.01.2014, 20:11
    #38541209
GASTROPODA
GASTROPODA
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
После того как поменяли конф. файлы выполните
- переформатирование (#hadoop namenode -format) - что выводит?
- ls -al /home/hadoop/grid/hadoop/hdfs/nn
- stop и start hadoop - что выводит?
- перегрузить сервер
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.01.2014, 10:30
    #38541609
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
Re-format filesystem in /home/hadoop/grid/hadoop/hdfs/nn ? (Y or N) Y
14/01/29 10:23:07 INFO util.GSet: VM type       = 64-bit
14/01/29 10:23:07 INFO util.GSet: 2% max memory = 19.2 MB
14/01/29 10:23:07 INFO util.GSet: capacity      = 2^21 = 2097152 entries
14/01/29 10:23:07 INFO util.GSet: recommended=2097152, actual=2097152
14/01/29 10:23:07 INFO namenode.FSNamesystem: fsOwner=hdfs
14/01/29 10:23:07 INFO namenode.FSNamesystem: supergroup=hdfs
14/01/29 10:23:07 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/01/29 10:23:07 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
14/01/29 10:23:07 WARN namenode.FSNamesystem: The dfs.support.append option is in your configuration, however append is not supporte                   d. This configuration option is no longer required to enable sync
14/01/29 10:23:07 INFO namenode.FSNamesystem: isAccessTokenEnabled=true accessKeyUpdateInterval=600 min(s), accessTokenLifetime=600                    min(s)
14/01/29 10:23:07 INFO namenode.NameNode: Caching file names occuring more than 10 times
14/01/29 10:23:07 INFO common.Storage: Image file of size 104 saved in 0 seconds.
14/01/29 10:23:07 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/home/hadoop/grid/hadoop/hdfs/nn/current/edits
14/01/29 10:23:07 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/home/hadoop/grid/hadoop/hdfs/nn/current/edits
14/01/29 10:23:07 INFO common.Storage: Storage directory /home/hadoop/grid/hadoop/hdfs/nn has been successfully formatted.
14/01/29 10:23:07 INFO namenode.NameNode: SHUTDOWN_MSG:



Код: java
1.
2.
3.
4.
5.
6.
$ ls -al /home/hadoop/grid/hadoop/hdfs/nn
total 16
drwxr-xr-x 4 hdfs hadoop 4096 Jan 29 10:23 .
drwxr-xr-x 6 root root   4096 Jan 24 16:55 ..
drwxrwxr-x 2 hdfs hdfs   4096 Jan 29 10:23 current
drwxrwxr-x 2 hdfs hdfs   4096 Jan 29 10:23 image




Код: java
1.
2.
3.
4.
5.
$ /usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf/  stop namenode
stopping namenode
$ /usr/lib/hadoop/bin/hadoop-daemon.sh --config /etc/hadoop/conf/  start namenode
mv: try to overwrite `/var/log/hadoop/hdfs/hadoop-hdfs-namenode-disHadoopSrv11.out.5', overriding mode 0644 (rw-r--r--)? Y
starting namenode, logging to /var/log/hadoop/hdfs/hadoop-hdfs-namenode-HadoopSrv11.out
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.01.2014, 12:31
    #38541884
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA, все вроде заработало, спасибо вам огромное.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.01.2014, 12:11
    #38543358
alex_101010
alex_101010
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
помогите в установке hadoop(форматирование hdfs)
GASTROPODA,
namenode and datanode запустились успешно, протестились, а jobtracker нет.
ошибка в логе FATAL org.apache.hadoop.mapred.JobTracker: ENOENT: No such file or directory
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / помогите в установке hadoop(форматирование hdfs) / 20 сообщений из 20, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 844ms
Закрыть
start [/forum/topic.php?fid=48&tablet=1&tid=1856908]:
 0ms
get settings:
 20ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 45ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 410ms
get tp. blocked users:
 2ms
others: 331ms
total:  844ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]