Hadoop 3.0.0 HDFS dfs.replication не применяется / NoSQL, Big Data

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop 3.0.0 HDFS dfs.replication не применяется

6 сообщений из 6, страница 1 из 1

Hadoop 3.0.0 HDFS dfs.replication не применяется

#39607693

AlexGru

Участник

Откуда: Пермь рядом

Сообщения: 1 566

Рейтинг: 0 / 0

Есть кластер с одной неймнодой и 3-мя слейвами.,
везде есть hdfs-site.xml (и ни где нету hdfs-default.xml)

Содержимое

Код: xml

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
        <name>dfs.data.dir</name>
        <value>/opt/hadoop/dfs/data</value>
        <final>true</final>
</property>
<property>
        <name>dfs.name.dir</name>
        <value>/opt/hadoop/dfs/name</value>
        <final>true</final>
</property>
<property>
        <name>dfs.replication</name>
        <value>2</value>
        <description>Block Replication</description>
</property>
<property>
        <name>dfs.block.size</name>
        <value>67108864</value>
        <description>Block size</description>
</property>
</configuration>

Загружаю файл из Java через ParquetWriter, файл появляется, всё ок.
Но как ни крути, у него фактор репликации равен 3 и размер блока 128Мб.

как-будто не применяются настройки из файла hdfs-site.xml
Хотя если в нём ошибки, к примеру закрывающийся тэг такой <description>
то яростно ругается при старте start-dfs.sh

...

Рейтинг:

0 / 0

27.02.2018, 10:55

| Ответить | Цитировать | Написать

Hadoop 3.0.0 HDFS dfs.replication не применяется

#39607713

Дедушка

Участник

Откуда: Город трёх революций

Сообщения: 4 572

Рейтинг: 0 / 0

AlexGru,

А кластер перегружали после изменения параметра репликации?

...

Рейтинг:

0 / 0

27.02.2018, 11:18

| Ответить | Цитировать | Написать

Hadoop 3.0.0 HDFS dfs.replication не применяется

#39607736

AlexGru

Участник

Откуда: Пермь рядом

Сообщения: 1 566

Рейтинг: 0 / 0

Дедушка,

да, через stop-dfs.sh/start-dfs.sh

...

Рейтинг:

0 / 0

27.02.2018, 11:35

| Ответить | Цитировать | Написать

Hadoop 3.0.0 HDFS dfs.replication не применяется

#39607786

AlexGru

Участник

Откуда: Пермь рядом

Сообщения: 1 566

Рейтинг: 0 / 0

А это нормально что в конфиг каталоге нет файла hdfs-default.xml ?

Где поискать общий лог кластера?

Код: plsql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.

[hadoop@hadoop-master hadoop]$ pwd
/opt/hadoop/etc/hadoop
[hadoop@hadoop-master hadoop]$ ls -lh
итого 168K
-rw-r--r-- 1 hadoop hadoop 7,7K дек  8 22:30 capacity-scheduler.xml
-rw-r--r-- 1 hadoop hadoop 1,4K дек  8 22:32 configuration.xsl
-rw-r--r-- 1 hadoop hadoop 1,2K дек  8 22:30 container-executor.cfg
-rw-r--r-- 1 hadoop hadoop  315 фев 19 16:04 core-site.xml
-rw-r--r-- 1 hadoop hadoop 3,6K дек  8 22:17 hadoop-env.cmd
-rw-r--r-- 1 hadoop hadoop  16K фев 16 17:06 hadoop-env.sh
-rw-r--r-- 1 hadoop hadoop 3,3K дек  8 22:17 hadoop-metrics2.properties
-rw-r--r-- 1 hadoop hadoop  10K дек  8 22:17 hadoop-policy.xml
-rw-r--r-- 1 hadoop hadoop 3,4K дек  8 22:17 hadoop-user-functions.sh.example
-rw-r--r-- 1 hadoop hadoop  703 фев 27 12:21 hdfs-site.xml
-rw-r--r-- 1 hadoop hadoop 1,5K дек  8 22:19 httpfs-env.sh
-rw-r--r-- 1 hadoop hadoop 1,7K дек  8 22:19 httpfs-log4j.properties
-rw-r--r-- 1 hadoop hadoop   21 дек  8 22:19 httpfs-signature.secret
-rw-r--r-- 1 hadoop hadoop  620 дек  8 22:19 httpfs-site.xml
-rw-r--r-- 1 hadoop hadoop 3,5K дек  8 22:17 kms-acls.xml
-rw-r--r-- 1 hadoop hadoop 1,4K дек  8 22:17 kms-env.sh
-rw-r--r-- 1 hadoop hadoop 1,8K дек  8 22:17 kms-log4j.properties
-rw-r--r-- 1 hadoop hadoop  682 дек  8 22:17 kms-site.xml
-rw-r--r-- 1 hadoop hadoop  13K дек  8 22:17 log4j.properties
-rw-r--r-- 1 hadoop hadoop  951 дек  8 22:32 mapred-env.cmd
-rw-r--r-- 1 hadoop hadoop 1,8K дек  8 22:32 mapred-env.sh
-rw-r--r-- 1 hadoop hadoop 4,1K дек  8 22:32 mapred-queues.xml.template
-rw-r--r-- 1 hadoop hadoop  213 фев 16 16:58 mapred-site.xml
drwxr-xr-x 2 hadoop hadoop   23 дек  8 22:17 shellprofile.d
-rw-r--r-- 1 hadoop hadoop   45 фев 19 15:55 slaves
-rw-r--r-- 1 hadoop hadoop 2,3K дек  8 22:17 ssl-client.xml.example
-rw-r--r-- 1 hadoop hadoop 2,7K дек  8 22:17 ssl-server.xml.example
-rw-r--r-- 1 hadoop hadoop 2,6K дек  8 22:19 user_ec_policies.xml.template
-rw-r--r-- 1 hadoop hadoop   45 фев 19 15:52 workers
-rw-r--r-- 1 hadoop hadoop 2,2K дек  8 22:30 yarn-env.cmd
-rw-r--r-- 1 hadoop hadoop 5,3K дек  8 22:30 yarn-env.sh
-rw-r--r-- 1 hadoop hadoop  690 дек  8 22:30 yarn-site.xml

...

Рейтинг:

0 / 0

27.02.2018, 12:38

| Ответить | Цитировать | Написать

Hadoop 3.0.0 HDFS dfs.replication не применяется

#39608394

AlexGru

Участник

Откуда: Пермь рядом

Сообщения: 1 566

Рейтинг: 0 / 0

Встретил в доке такое

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.

<property>
  <name>dfs.replication</name>
  <value>3</value>
  <description>Default block replication. 
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>

The default is used if replication is not specified in create time.

Выходит у меня клиент где-то явно задаёт уровень 3. Иначе бы использовалась настройка из конфига = 2.

Так-же, если в клиенте прописываю,

Код: sql

1.
2.
3.

 conf.set("dfs.replication", "2");
			    FileSystem fs = hdfswritepath.getFileSystem(conf);
		        fs.setReplication(hdfswritepath,(short)2);

То файл создается с уровнем 2.

...

Рейтинг:

0 / 0

28.02.2018, 12:13

| Ответить | Цитировать | Написать

Hadoop 3.0.0 HDFS dfs.replication не применяется

#39608400

AlexGru

Участник

Откуда: Пермь рядом

Сообщения: 1 566

Рейтинг: 0 / 0

Добавил в hdfs-site.xml

Код: sql

1.
2.
3.
4.
5.

<property>
  <name>dfs.replication.max</name>
  <value>2</value>
  <final>true</final>
</property>

Запустил своё приложение загрузки, без указания фактора репликации, и получил такую ошибку

Код: sql

1.
2.

[main] WARN  gdev.WriteParquetMR  - org.apache.hadoop.ipc.RemoteException(java.io.IOException): 
Requested replication factor of 3 exceeds maximum of 2 for /user/data/cam_car2.parquet, clientName=10.242.4.61

...

Рейтинг:

0 / 0

28.02.2018, 12:23

| Ответить | Цитировать | Написать

6 сообщений из 6, страница 1 из 1

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop 3.0.0 HDFS dfs.replication не применяется

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=48&msg=39607693&tid=1856633]:	0ms
get settings:	9ms
get forum list:	11ms
check forum access:	4ms
check topic access:	4ms
track hit:	37ms
get topic data:	12ms
get forum data:	2ms
get page messages:	54ms
get tp. blocked users:	2ms
others:	15ms

total:	150ms