Приветствую!
Дабы не плодить тем...
Подскажите, для кластера hadoop возможно ли сделать например 10 серверов(нодов) и все на виртуалках(Vmware, в котором также создан кластер из нескольких гипервизоров)?
Сильно ли важно количество оперативной памяти по сравнению с процессорами?
И какое оптимально соотношение?
И есть ли смысл все пилить с нуля и настраивать самому, или же достаточно воспользоваться HDP_2.4 например?

Гуру hadoop вы где :)

Пытаюсь поставить HUE на Hadoop, поставил пакет, изменил хост в конфиге , запустил hue, все ОК
Но когда вхожу на ip:8000 то вылетает эта страница:



line 427




Может у кого есть конфиги рабочие?
И есть ли аналог лучше hue?

Apex,
hue-2.6.1.2.4.0.0-169.el6.x86_64

Apex,

Package hue-2.6.1.2.4.0.0-169.el6.x86_64 already installed and latest version
Nothing to do

авторInstalled Packages
hue.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-beeswax.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-common.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-hcatalog.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-oozie.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-pig.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-sandbox.noarch 1.2.1-88 @sandbox
hue-server.x86_64 2.6.1.2.4.0.0-169.el6 @HDP-2.4
hue-tutorials.noarch 1.2.1-88 @sandbox

не пойму толи вендерлок на дальнейший update hue, толи хз, попробую поверх него отдельную 3.9 накатить.

поставил с нуля hadoop накатил hue, это конечно писец гемороина.
я правильно понимаю, что вот это старая версия - https://yandex.ru/images/search?text=hadoop hue&img_url=http://2.bp.blogspot.com/-AE49MfG0ZtM/UoO3Nbr-miI/AAAAAAAAA14/V3bipocogb8/s1600/File_Browser.jpg&pos=27&rpt=simage
А вот это новая - https://yandex.ru/images/search?text=hadoop hue&img_url=http://gethue.com/wp-content/uploads/2015/06/solr-bike-dashboard.png&pos=4&rpt=simage

И подскажите какого еще вендора можно попробовать, кроме hortonworks?

А ставил кто-нибудь Cloudera на vmware я про esxi а не workstation?

Alexey Tomin,

Что-то у меня не складывается с вендорами:)
качаю это: http://www.cloudera.com/downloads/quickstart_vms/5-7.html
дальше пытаюсь открыть на workstation или player на секунду начинает грузиться и вся нагрузка исчезает
закачиваю все на esxi он все жесткие конвертит в один размером 8 гб, делаю инвент виртуалки, запускаю, и вылетает ошибка, что не видит виртуальный диск, хотя он там есть :)
мзговынос какой-то, а не hadoop, конечно руки бы попримее, но довольствуемся, что есть...
Кто сталкивался с такой ерунддой?
У hortonwork все проще, скачиваешь готовый шаблон ovf и запускаешь, все проблем нет.

Alexey Tomin,

если не трудно накидайте план установки.

Alexey Tomin,

блин, мне аж сегодня приснился разговор про Hadoop с тобой

так, я может не то пытался поставить, надо Cloudera Manager ставить, quiсkstart это не то?

еще вопрос, как сделать импорт в вновь созданную базу :
sqoop import-all-tables --connect jdbc:mysql://192.168.3.224:3305/tc-db-main --driver com.mysql.jdbc.Driver --username root --hive-import
так он все в базу defoult кидает, пробовал менять по всякому, не хотит...

аддддддддд

как же мало инфы то...
Получилось только завести hortonworks HDP2.4
и импортнуть туда данные из mysql
дальше хочу забубенить кластер
ставлю еще 1 HDP2.4, но они по умолчанию ставятся с кластером по дефолту и уже своим Hostname, меняю hostname чтобы подвязать к кластеру, все сервисы падают, так как походу где-то есть глобальная привязка Hadoopa к старому Hostname
/////////dsfsd/gfdfgfd///////