powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
13 сообщений из 138, страница 6 из 6
Hadoop
    #39280606
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Решил проблему
https://community.cloudera.com/t5/Cloudera-Manager-Installation/Installation-failed-Failed-to-receive-heartbeat-from-agent/td-p/805

вкратце

ifconfig -a
/etc/hosts

--10.x.x.227 name1.domain name1
hostname name1
hostname -f

netstat -apn | grep 9001
kill -9 6330

service cloudera-scm-agent restart


пошел устанавливать дальше
...
Рейтинг: 0 / 0
Hadoop
    #39281520
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Установил )

Что ему нужно )

Concerning : NameNode summary: name0.domain (Availability: Active, Health: Concerning). This health test reflects the health of the active NameNode.

почему не good?
...
Рейтинг: 0 / 0
Hadoop
    #39281542
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

И теперь вопрос , что делать дальше?
Как в клоудере создать таблицы?
Как наполнить данными из flume, sqoope

вообщем начало пути)
...
Рейтинг: 0 / 0
Hadoop
    #39294284
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Вообщем
создал я табличку в hue, написал запрос. отработал. (отмечу что есть загвоздка, что создается на sql hive не всегда актуально для sql imapala)


Скачал impala odbc driver для mssql 2012
Далее я пытаюсь подключится через к серверу

прописываю
host виртуальной машины 192.168..
port 21050

получаю ошибку.

Слушаю порты и вижу запись
tcp6 0.0.0.0 21050

Если я правильно понял, порт висит на ipv6 значит нужно отключить ipv6, чтобы была такая строчка:
192.168... 21050

Верно?
...
Рейтинг: 0 / 0
Hadoop
    #39294731
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

нет, пробелма в другом экосистема хадуп не поддерживает ipv6

и вообще фаервол лучше отключать

service iptabels status
service ip6tables status

service iptabels stop
service ip6tables stop

chkconfig iptables off
chkconfig ip6tables off
...
Рейтинг: 0 / 0
Hadoop
    #39295132
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,
Может проблема в авторизации?
...
Рейтинг: 0 / 0
Hadoop
    #39295632
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Решил проблему скачав cloudera quick
Все заработало )
...
Рейтинг: 0 / 0
Hadoop
    #39305441
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

appendToFile добавляет с заголовком. можно как то исключить первую строку?
...
Рейтинг: 0 / 0
Hadoop
    #39306055
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,
Правильно ли я понимаю что "load data indath" не копирует файл в импалу ,а переносит, т.е. сам файлик не сохраняется?
...
Рейтинг: 0 / 0
Hadoop
    #39306058
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1мигель1,
Правильно ли я понимаю что "load data indath" не копирует файл в импалу ,а переносит, т.е. сам файлик не сохраняется?

Да
The loaded data files are moved, not copied, into the Impala data directory.
...
Рейтинг: 0 / 0
Hadoop
    #39306604
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
node в режиме safemode. Как отключить?
hdfs dfsadmin -safemode leave
...
Рейтинг: 0 / 0
Hadoop
    #39306632
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вообщем я сделал следующее, сделал 2 машины : "cloudera quick " и "cloudera manager"

у "cloudera quick" есть 2 (manager и worker) причем IP одинаковый
у "cloudera manager" есть 1 (host) как я понимаю = manager


Вопрос: как добавить worker т.е как я понимаю Node
...
Рейтинг: 0 / 0
Hadoop
    #39306711
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

За NameNode и dataNode отвечает раздел HDFS в (Cloudera manager)
...
Рейтинг: 0 / 0
13 сообщений из 138, страница 6 из 6
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]