powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop: There are 1 datanode(s) running and 1 node(s) are excluded in this operation
1 сообщений из 1, страница 1 из 1
Hadoop: There are 1 datanode(s) running and 1 node(s) are excluded in this operation
    #39949088
mibin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет.
Я запустил horton sandbox (HDP) на VMWare. Все службы запустились корректно.
Имею 2е машины, первая с hadoop (HDP), вторая для разработки и с неё же запускаются все программы.
Я написал одну программу на JAVA которая считывает список файлов и папок с hadoop и она работает успешно:

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
package com.myhadooptest1;
 
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
 
/**
 * Hello world!
 */
public class App {
    public static void main(final String[] args) throws IOException, URISyntaxException
    {
        final Path path = new Path("hdfs://sandbox-hdp.hortonworks.com:8020/user/root/dmmdir");
        final Configuration conf = new Configuration();
        // conf.set("fs.defaultFS", "hdfs://sandbox-hdp.hortonworks.com:8020");
        final FileSystem fileSystem = FileSystem.get(new URI("hdfs://sandbox-hdp.hortonworks.com:8020"), conf);
 
        if (fileSystem.exists(path)) {
            System.out.println("YES");
        } else {
            System.out.println("NO");
        }
 
        final FileStatus[] fileStatuses = fileSystem.listStatus(path);
 
        for (final FileStatus fileStatus : fileStatuses) {
            System.out.println(fileStatus.getPath().getName());
        }
    }
}


Программа запускается с машины разработки и работает корректно.

Вторая программа должна была создать файл в hadoop и сам файл создается, а вот при попытке его заполнить вылетает ошибка:
There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
Код программы:

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
package com.myhadooptest2;
 
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.permission.FsPermission;
 
/**
 * Hello world!
 *
 */
public class App 
{
    public static void main( String[] args ) throws IOException, URISyntaxException
    {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://sandbox-hdp.hortonworks.com:8020");
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://sandbox-hdp.hortonworks.com:8020"), conf);
        
        Path path = new Path("hdfs://sandbox-hdp.hortonworks.com:8020/user/root/dmmdir/myhadooptest2.txt");
 
        FSDataOutputStream fdostream = fileSystem.create(path);
        fileSystem.setPermission(path, new FsPermission("777"));
 
        fdostream.write("Hello world!".getBytes());
        //fdostream.flush();
        fdostream.close();
        fileSystem.close();
 
        System.out.println( "Hello World!" );
    }
}


Файл на сервере со списком исключенных узлов пустой.

Программа запускается с машины разработки.
...
Рейтинг: 0 / 0
1 сообщений из 1, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop: There are 1 datanode(s) running and 1 node(s) are excluded in this operation
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]